本文關(guān)鍵詞： EB級 存儲 元數(shù)據(jù)服務(wù)器集群 全局命名空間 一致性 負(fù)載遷移　出處：《中國科學(xué):信息科學(xué)》2015年06期 　論文類型：期刊論文

【摘要】：隨著全球數(shù)據(jù)總量的快速增長,PB級存儲系統(tǒng)已無法滿足未來應(yīng)用對其數(shù)據(jù)容量的需求,通用、高擴(kuò)展且易于部署的EB級存儲系統(tǒng)的研發(fā)勢在必行,其核心技術(shù)為元數(shù)據(jù)服務(wù)器集群技術(shù).本文介紹了在p NFS和藍(lán)鯨塊設(shè)備文件系統(tǒng)EXFS基礎(chǔ)上研發(fā)的支持EB級存儲的藍(lán)鯨元數(shù)據(jù)服務(wù)器集群技術(shù).首先分析了支持EB級與PB級存儲的元數(shù)據(jù)服務(wù)器集群系統(tǒng)的區(qū)別;然后介紹了藍(lán)鯨元數(shù)據(jù)服務(wù)器集群原型系統(tǒng)的整體架構(gòu)及其全局命名空間的分布策略;之后介紹了基于分布式日志的一致性元數(shù)據(jù)原子操作協(xié)議,和細(xì)粒度、低延時的元數(shù)據(jù)負(fù)載遷移兩項關(guān)鍵技術(shù);最后進(jìn)行了測試.結(jié)果顯示,集群系統(tǒng)中每臺元數(shù)據(jù)服務(wù)器均可為EB級存儲系統(tǒng)提供超過10000 OPS的元數(shù)據(jù)操作支持.
[Abstract]:With the rapid growth of global data volume, PB storage system can not meet the needs of future applications for its data capacity, general, high expansion and easy to deploy EB storage system research and development is imperative. The core technology is metadata server cluster technology. Based on NFS and EXFS, blue whale metadata server cluster technology supporting EB class storage is developed. Firstly, the metadata server cluster system supporting EB level storage and PB level storage is analyzed. The distinction between unification; Then the architecture of the blue whale metadata server cluster prototype system and its global namespace distribution strategy are introduced. Then it introduces the distributed log based uniform metadata atom operation protocol and two key technologies of fine-grained and low-delay metadata load migration. Finally, the test results show that each metadata server in the cluster system can provide more than 10000 OPS metadata operation support for EB level storage system.
【作者單位】： 中國科學(xué)院計算技術(shù)研究所;中國科學(xué)院大學(xué);
【基金】：中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(批準(zhǔn)號:XDA06010401)資助
【分類號】：TP311.13;TP333
【正文快照】： 1引言2014年4月IDC發(fā)布的白皮書The Digital Universe of Opportunities[1]顯示,2013年全球新增數(shù)據(jù)總量4.4 ZB,并以每年40%的速度增長,預(yù)計到2020年全球新增數(shù)據(jù)總量將達(dá)到44 ZB.現(xiàn)有的企業(yè)級存儲系統(tǒng)面臨極大挑戰(zhàn),PB級的存儲容量無法滿足未來應(yīng)用對存儲系統(tǒng)的需求,研究通用

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉建亮;張永樂;楊琳;郭明陽;劉振軍;許魯;;SAC:Exploiting Stable Set Model to Enhance CacheFiles[J];Journal of Computer Science & Technology;2014年02期

2 邵冰清;張軍偉;鄭彩平;張浩;劉振軍;許魯;;A Non-Forced-Write Atomic Commit Protocol for Cluster File Systems[J];Journal of Computer Science & Technology;2014年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉健;張軍偉;張浩;邵冰清;楊洪章;劉振軍;;藍(lán)鯨元數(shù)據(jù)服務(wù)器集群的細(xì)粒度負(fù)載遷移[J];計算機(jī)研究與發(fā)展;2014年S1期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 邱元杰,劉心松,楊峰;一種高效的分布式并行數(shù)據(jù)庫日志機(jī)制[J];計算機(jī)研究與發(fā)展;2004年11期

2 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴(kuò)展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計算機(jī)研究與發(fā)展;2005年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉文潔;李戰(zhàn)懷;;一種面向服務(wù)器集群的自律計算模型[J];計算機(jī)應(yīng)用;2007年S1期

2 彭小娟;;服務(wù)器集群系統(tǒng)初探[J];黑龍江科技信息;2008年27期

3 李麗;;服務(wù)器集群技術(shù)探析[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

4 李波,潘清;一種新的服務(wù)器集群系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用與軟件;2005年10期

5 王玉峰;王懷民;劉必欣;;多層服務(wù)器集群的可用性能評價[J];計算機(jī)工程與科學(xué);2007年08期

6 饒磊;湯小春;侯增江;;服務(wù)器集群負(fù)載均衡策略的研究[J];計算機(jī)與現(xiàn)代化;2013年01期

7 沈海華;鞠大鵬;沈美明;;基于馬爾可夫過程模型的服務(wù)器集群數(shù)據(jù)可用性分析[J];小型微型計算機(jī)系統(tǒng);2006年07期

8 崔師京;;服務(wù)器集群系統(tǒng)的負(fù)載均衡和安全性的設(shè)計[J];今日科苑;2007年12期

9 ;一句話新聞[J];每周電腦報;2000年11期

10 程艾芝;;異構(gòu)服務(wù)器集群的一種通用負(fù)載平衡模型[J];現(xiàn)代計算機(jī);2006年11期

相關(guān)重要報紙文章 前5條

1 宋家雨;不中用的集群[N];網(wǎng)絡(luò)世界;2006年

2 陳翔;國內(nèi)首臺IBM Cell刀片服務(wù)器集群投入運(yùn)行[N];中國計算機(jī)報;2007年

3 ;網(wǎng)絡(luò)源頭 e動無限[N];科技日報;2000年

4 周建平;虛擬真實的存儲空間[N];中國計算機(jī)報;2002年

5 劉芳;服務(wù)器集群技術(shù)助力網(wǎng)絡(luò)游戲[N];中國計算機(jī)報;2003年

相關(guān)碩士學(xué)位論文 前5條

1 于晉達(dá);服務(wù)器集群技術(shù)在電視臺視頻編緝網(wǎng)絡(luò)中的擴(kuò)展應(yīng)用[D];山東大學(xué);2007年

2 鄭偉;服務(wù)器集群系統(tǒng)高可用性研究及管理軟件的實現(xiàn)[D];武漢大學(xué);2004年

3 常新苗;服務(wù)器集群在自助服務(wù)系統(tǒng)中的應(yīng)用與研究[D];華北電力大學(xué)（北京）;2003年

4 錢偉;元數(shù)據(jù)服務(wù)器集群負(fù)載均衡技術(shù)的研究[D];杭州電子科技大學(xué);2012年

5 郭緒晶;服務(wù)器集群系統(tǒng)高可用模塊設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2013年

，

本文編號：1445468