發(fā)布時(shí)間：2018-01-19 20:39

  本文關(guān)鍵詞： EB級(jí) 存儲(chǔ) 元數(shù)據(jù)服務(wù)器集群 全局命名空間 一致性 負(fù)載遷移　出處：《中國(guó)科學(xué):信息科學(xué)》2015年06期 　論文類型：期刊論文

【摘要】：隨著全球數(shù)據(jù)總量的快速增長(zhǎng),PB級(jí)存儲(chǔ)系統(tǒng)已無(wú)法滿足未來應(yīng)用對(duì)其數(shù)據(jù)容量的需求,通用、高擴(kuò)展且易于部署的EB級(jí)存儲(chǔ)系統(tǒng)的研發(fā)勢(shì)在必行,其核心技術(shù)為元數(shù)據(jù)服務(wù)器集群技術(shù).本文介紹了在p NFS和藍(lán)鯨塊設(shè)備文件系統(tǒng)EXFS基礎(chǔ)上研發(fā)的支持EB級(jí)存儲(chǔ)的藍(lán)鯨元數(shù)據(jù)服務(wù)器集群技術(shù).首先分析了支持EB級(jí)與PB級(jí)存儲(chǔ)的元數(shù)據(jù)服務(wù)器集群系統(tǒng)的區(qū)別;然后介紹了藍(lán)鯨元數(shù)據(jù)服務(wù)器集群原型系統(tǒng)的整體架構(gòu)及其全局命名空間的分布策略;之后介紹了基于分布式日志的一致性元數(shù)據(jù)原子操作協(xié)議,和細(xì)粒度、低延時(shí)的元數(shù)據(jù)負(fù)載遷移兩項(xiàng)關(guān)鍵技術(shù);最后進(jìn)行了測(cè)試.結(jié)果顯示,集群系統(tǒng)中每臺(tái)元數(shù)據(jù)服務(wù)器均可為EB級(jí)存儲(chǔ)系統(tǒng)提供超過10000 OPS的元數(shù)據(jù)操作支持.
[Abstract]:With the rapid growth of global data volume, PB storage system can not meet the needs of future applications for its data capacity, general, high expansion and easy to deploy EB storage system research and development is imperative. The core technology is metadata server cluster technology. Based on NFS and EXFS, blue whale metadata server cluster technology supporting EB class storage is developed. Firstly, the metadata server cluster system supporting EB level storage and PB level storage is analyzed. The distinction between unification; Then the architecture of the blue whale metadata server cluster prototype system and its global namespace distribution strategy are introduced. Then it introduces the distributed log based uniform metadata atom operation protocol and two key technologies of fine-grained and low-delay metadata load migration. Finally, the test results show that each metadata server in the cluster system can provide more than 10000 OPS metadata operation support for EB level storage system.
【作者單位】： 中國(guó)科學(xué)院計(jì)算技術(shù)研究所;中國(guó)科學(xué)院大學(xué);
【基金】：中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)(批準(zhǔn)號(hào):XDA06010401)資助
【分類號(hào)】：TP311.13;TP333
【正文快照】： 1引言2014年4月IDC發(fā)布的白皮書The Digital Universe of Opportunities[1]顯示,2013年全球新增數(shù)據(jù)總量4.4 ZB,并以每年40%的速度增長(zhǎng),預(yù)計(jì)到2020年全球新增數(shù)據(jù)總量將達(dá)到44 ZB.現(xiàn)有的企業(yè)級(jí)存儲(chǔ)系統(tǒng)面臨極大挑戰(zhàn),PB級(jí)的存儲(chǔ)容量無(wú)法滿足未來應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的需求,研究通用

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉建亮;張永樂;楊琳;郭明陽(yáng);劉振軍;許魯;;SAC:Exploiting Stable Set Model to Enhance CacheFiles[J];Journal of Computer Science & Technology;2014年02期

2 邵冰清;張軍偉;鄭彩平;張浩;劉振軍;許魯;;A Non-Forced-Write Atomic Commit Protocol for Cluster File Systems[J];Journal of Computer Science & Technology;2014年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉健;張軍偉;張浩;邵冰清;楊洪章;劉振軍;;藍(lán)鯨元數(shù)據(jù)服務(wù)器集群的細(xì)粒度負(fù)載遷移[J];計(jì)算機(jī)研究與發(fā)展;2014年S1期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 邱元杰,劉心松,楊峰;一種高效的分布式并行數(shù)據(jù)庫(kù)日志機(jī)制[J];計(jì)算機(jī)研究與發(fā)展;2004年11期

2 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴(kuò)展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉文潔;李戰(zhàn)懷;;一種面向服務(wù)器集群的自律計(jì)算模型[J];計(jì)算機(jī)應(yīng)用;2007年S1期

2 彭小娟;;服務(wù)器集群系統(tǒng)初探[J];黑龍江科技信息;2008年27期

3 李麗;;服務(wù)器集群技術(shù)探析[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

4 李波,潘清;一種新的服務(wù)器集群系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2005年10期

5 王玉峰;王懷民;劉必欣;;多層服務(wù)器集群的可用性能評(píng)價(jià)[J];計(jì)算機(jī)工程與科學(xué);2007年08期

6 饒磊;湯小春;侯增江;;服務(wù)器集群負(fù)載均衡策略的研究[J];計(jì)算機(jī)與現(xiàn)代化;2013年01期

7 沈海華;鞠大鵬;沈美明;;基于馬爾可夫過程模型的服務(wù)器集群數(shù)據(jù)可用性分析[J];小型微型計(jì)算機(jī)系統(tǒng);2006年07期

8 崔師京;;服務(wù)器集群系統(tǒng)的負(fù)載均衡和安全性的設(shè)計(jì)[J];今日科苑;2007年12期

9 ;一句話新聞[J];每周電腦報(bào);2000年11期

10 程艾芝;;異構(gòu)服務(wù)器集群的一種通用負(fù)載平衡模型[J];現(xiàn)代計(jì)算機(jī);2006年11期

相關(guān)重要報(bào)紙文章 前5條

1 宋家雨;不中用的集群[N];網(wǎng)絡(luò)世界;2006年

2 陳翔;國(guó)內(nèi)首臺(tái)IBM Cell刀片服務(wù)器集群投入運(yùn)行[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 ;網(wǎng)絡(luò)源頭 e動(dòng)無(wú)限[N];科技日?qǐng)?bào);2000年

4 周建平;虛擬真實(shí)的存儲(chǔ)空間[N];中國(guó)計(jì)算機(jī)報(bào);2002年

5 劉芳;服務(wù)器集群技術(shù)助力網(wǎng)絡(luò)游戲[N];中國(guó)計(jì)算機(jī)報(bào);2003年

相關(guān)碩士學(xué)位論文 前5條

1 于晉達(dá);服務(wù)器集群技術(shù)在電視臺(tái)視頻編緝網(wǎng)絡(luò)中的擴(kuò)展應(yīng)用[D];山東大學(xué);2007年

2 鄭偉;服務(wù)器集群系統(tǒng)高可用性研究及管理軟件的實(shí)現(xiàn)[D];武漢大學(xué);2004年

3 常新苗;服務(wù)器集群在自助服務(wù)系統(tǒng)中的應(yīng)用與研究[D];華北電力大學(xué)（北京）;2003年

4 錢偉;元數(shù)據(jù)服務(wù)器集群負(fù)載均衡技術(shù)的研究[D];杭州電子科技大學(xué);2012年

5 郭緒晶;服務(wù)器集群系統(tǒng)高可用模塊設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

，

本文編號(hào)：1445468