【摘要】：大數(shù)據(jù)時代的來臨使數(shù)據(jù)分析和處理能力成為數(shù)據(jù)中心和互聯(lián)網(wǎng)公司日益倚重的技術(shù)手段.信息規(guī)模的擴大和數(shù)據(jù)結(jié)構(gòu)的多樣化,使海量數(shù)據(jù)存儲成為大數(shù)據(jù)分析研究的熱點.傳統(tǒng)的分布式文件系統(tǒng)在擴展性、可靠性和數(shù)據(jù)訪問性能等方面難以滿足新形勢下的需求.設(shè)計并實現(xiàn)了一個面向大數(shù)據(jù)分析、專為大規(guī)模集群應用的分布式文件系統(tǒng)Clover.該系統(tǒng)采用基于目錄劃分和一致性Hash映射的名字空間管理方法,解決了元數(shù)據(jù)擴展性問題;通過改進的兩階段提交協(xié)議,保證了多元數(shù)據(jù)服務器下分布式元數(shù)據(jù)操作的一致性;提出了基于共享存儲池的高可用機制,通過熱備和全局狀態(tài)恢復機制提高了元數(shù)據(jù)的可靠性.評測結(jié)果表明,Clover的元數(shù)據(jù)處理能力隨服務器的數(shù)量線性增長,增加單個服務器的元數(shù)據(jù)操作性能平均提升了5.13%~159.32%.由于名字空間管理和分布式事務的開銷,多元數(shù)據(jù)服務器會導致復雜操作的性能下降,但是這種下降的幅度很小(小于10%).與HDFS相比,Clover的文件讀寫帶寬與之接近,并能夠保證在元數(shù)據(jù)服務器失效后文件系統(tǒng)快速恢復,適合于構(gòu)建高可擴展和高可用的存儲系統(tǒng).
[Abstract]:......
【作者單位】： 中國科學院計算技術(shù)研究所計算機應用研究中心;中國科學院大學;中國科學院信息工程研究所;騰訊公司數(shù)據(jù)平臺部;
【基金】：國家“八六三”高技術(shù)研究發(fā)展計劃基金項目(2013AA013204) 中國科學院先導專項基金項目(XDA06030200) 國家自然科學基金項目(60903047) 國家科技支撐計劃基金項目(2012BAH46B03)
【分類號】：TP333;TP316.4

【參考文獻】

相關(guān)期刊論文 前2條

1 馮幼樂;朱六璋;;CEPH動態(tài)元數(shù)據(jù)管理方法分析與改進[J];電子技術(shù);2010年09期

2 熊勁,范志華,馬捷,唐榮鋒,李暉,孟丹;DCFS2的元數(shù)據(jù)一致性策略[J];計算機研究與發(fā)展;2005年06期

【共引文獻】

相關(guān)期刊論文 前10條

1 薛志強;劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識與技術(shù);2011年01期

2 蒙安泰;;分布式文件系統(tǒng)中元數(shù)據(jù)管理機制的研究[J];電腦知識與技術(shù);2011年35期

3 海深;陸陽;袁菲;;嵌入式存儲系統(tǒng)恢復機制的設(shè)計與實現(xiàn)[J];計算機工程;2006年24期

4 張軍偉;賈瑞勇;賈亞軍;張建剛;許魯;;藍鯨集群文件系統(tǒng)中資源交互一致性協(xié)議[J];計算機工程;2008年11期

5 海深;周燕艷;;嵌入式文件系統(tǒng)故障恢復機制設(shè)計[J];計算機工程與設(shè)計;2009年09期

6 海深;周燕艷;;嵌入式文件系統(tǒng)一致性設(shè)計[J];銅陵學院學報;2006年04期

7 周燕艷;海深;;基于FAT16元數(shù)據(jù)一致性的設(shè)計[J];銅陵學院學報;2010年05期

8 陳慧杰;李建偉;;動態(tài)散列目錄擴展算法的研究[J];太原科技大學學報;2013年05期

9 ;Design and Implementation of Two-Level Metadata Server in Small-Scale Cluster File System[J];Wuhan University Journal of Natural Sciences;2006年06期

10 吳紅莉;尹寶林;向剛;趙霞;;分布式存儲環(huán)境下工作流相關(guān)數(shù)據(jù)的一致性更新[J];系統(tǒng)仿真學報;2009年08期

相關(guān)博士學位論文 前4條

1 岳利群;基于分布式存儲的虛擬地理環(huán)境關(guān)鍵技術(shù)研究[D];解放軍信息工程大學;2011年

2 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務關(guān)鍵問題研究[D];中國科學院研究生院（計算技術(shù)研究所）;2008年

3 黃玉龍;基于GPU的查詢技術(shù)并行化研究[D];華南理工大學;2013年

4 劉勇;基于GPU的內(nèi)存數(shù)據(jù)庫索引技術(shù)研究[D];華南理工大學;2013年

相關(guān)碩士學位論文 前10條

1 蒲廷志;面向IPTV的分布式文件系統(tǒng)資源定位與調(diào)度模塊設(shè)計與實現(xiàn)[D];電子科技大學;2011年

2 海深;嵌入式系統(tǒng)的存儲卡接口技術(shù)研究[D];合肥工業(yè)大學;2006年

3 王志明;容災抗毀系統(tǒng)中數(shù)據(jù)一致性檢測及快速恢復方法[D];四川大學;2006年

4 潘磊穎;多元數(shù)據(jù)服務器環(huán)境下的元數(shù)據(jù)管理研究[D];華中科技大學;2007年

5 欒亞建;分布式文件系統(tǒng)元數(shù)據(jù)管理研究與優(yōu)化[D];華南理工大學;2010年

6 黃斌;并行文件存儲系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學;2012年

7 方圓;基于對象存儲元數(shù)據(jù)管理策略的研究與實現(xiàn)[D];解放軍信息工程大學;2012年

8 匡士杰;云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究[D];電子科技大學;2013年

9 張得震;基于Hadoop的分布式文件系統(tǒng)優(yōu)化技術(shù)研究[D];蘭州交通大學;2013年

10 王小強;一種基于消息重排序和消息數(shù)目檢驗消息日志恢復方法[D];山東大學;2013年

【二級參考文獻】

相關(guān)博士學位論文 前1條

1 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術(shù)研究所）;2005年

【相似文獻】

相關(guān)期刊論文 前10條

1 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲技術(shù)研究[J];計算機工程;2009年05期

2 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應用[J];廣播電視信息;2009年10期

3 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質(zhì)評測與分析[J];計算機學報;2010年10期

4 吳英;謝廣軍;劉t，

本文編號：2472653