【摘要】：隨著大數(shù)據(jù)時代的到來,分布式存儲技術(shù)應(yīng)運而生。目前主流大數(shù)據(jù)技術(shù)Hadoop的HDFS分布式存儲系統(tǒng)的元數(shù)據(jù)存儲架構(gòu)上一直存在可擴展性差和寫延遲高等問題,其在官方2.0版本中針對可擴展性的解決方案(Federation)仍不完美,僅解決了原有HDFS擴展性的問題,在元數(shù)據(jù)分配的問題上沒有考慮NameNode的異構(gòu)性能差異,也未解決NameNode集群動態(tài)負(fù)載均衡的問題。針對該情況,提出了一種動態(tài)負(fù)載均衡的分布NameNode算法,通過元數(shù)據(jù)多副本異構(gòu)節(jié)點的動態(tài)適應(yīng)性備份,使元數(shù)據(jù)在考慮節(jié)點性能及負(fù)載的情況下實現(xiàn)了動態(tài)分布,保證了元數(shù)據(jù)服務(wù)器集群的性能;同時結(jié)合緩存策略及自動恢復(fù)機制,提高了元數(shù)據(jù)的讀寫性及可用性。該算法在試驗驗證中達(dá)到了較為理想的效果。
[Abstract]:With the advent of the era of large data, distributed storage technology emerges as the times require. At present, the metadata storage architecture of the HDFS distributed storage system based on Hadoop, which is the mainstream large data technology, has the problems of poor scalability and high write delay. The original HDFS scalability problem does not consider the heterogeneous performance difference of NameNode in metadata allocation, nor does it solve the problem of dynamic load balancing in NameNode cluster. To solve this problem, a distributed NameNode algorithm based on dynamic load balancing is proposed, which makes metadata multiple copies of heterogeneous nodes dynamic adaptive backup. Dynamic distribution is realized under the consideration of node performance and load, which ensures the performance of metadata server cluster. At the same time, cache strategy and automatic recovery mechanism are combined to improve the readability and availability of metadata.
【作者單位】： 電子科技大學(xué)計算機科學(xué)與工程學(xué)院;
【基金】：四川省科技廳應(yīng)用基礎(chǔ)(2015JY0228) 科技支撐計劃(2015SZ0045,2014GZ0174) 電子科大基礎(chǔ)研究(ZYGX2015J063) 海外留學(xué)回國人員科研啟動費項目基金資助
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲的熱點處理策略[J];計算機集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴(yán)曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲管理在多核設(shè)計中的高層建模[J];電子與信息學(xué)報;2008年11期

3 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(自然科學(xué)版);2010年04期

5 崔忠強;左德承;張展;;在云間可重構(gòu)的分布式存儲[J];系統(tǒng)工程理論與實踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹濤;;分布式存儲中的再生碼綜述[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2013年01期

7 唐京偉;;基于云計算的分布式存儲技術(shù)[J];中國傳媒科技;2013年15期

8 郭棟;王偉;曾國蓀;;基于一致性樹分布的數(shù)據(jù)分布式存儲方法[J];計算機應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負(fù)載均衡的研究與實現(xiàn)[J];電信科學(xué);2013年12期

10 謝然;;敢問存儲之路在何方?見分布式存儲搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

相關(guān)會議論文 前4條

1 蘇李亮;王云福;侯斌;;海量設(shè)計文檔分布式存儲及負(fù)載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

2 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲關(guān)鍵技術(shù)[A];2012全國無線及移動通信學(xué)術(shù)大會論文集（下）[C];2012年

3 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

4 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結(jié)構(gòu)[A];2009全國計算機網(wǎng)絡(luò)與通信學(xué)術(shù)會議論文集[C];2009年

相關(guān)重要報紙文章 前4條

1 京東架構(gòu)委員會主任 云平臺首席架構(gòu)師 系統(tǒng)技術(shù)部負(fù)責(zé)人 劉海鋒;京東:分布式存儲體系成為業(yè)務(wù)基石[N];中國信息化周報;2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 本報記者 郭濤;華為幫用戶定制HANA一體機[N];中國計算機報;2013年

相關(guān)博士學(xué)位論文 前8條

1 吳思;容錯分布式存儲系統(tǒng)擴容機制研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 胡q，

本文編號：2189448