【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),分布式存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。目前主流大數(shù)據(jù)技術(shù)Hadoop的HDFS分布式存儲(chǔ)系統(tǒng)的元數(shù)據(jù)存儲(chǔ)架構(gòu)上一直存在可擴(kuò)展性差和寫延遲高等問(wèn)題,其在官方2.0版本中針對(duì)可擴(kuò)展性的解決方案(Federation)仍不完美,僅解決了原有HDFS擴(kuò)展性的問(wèn)題,在元數(shù)據(jù)分配的問(wèn)題上沒(méi)有考慮NameNode的異構(gòu)性能差異,也未解決NameNode集群動(dòng)態(tài)負(fù)載均衡的問(wèn)題。針對(duì)該情況,提出了一種動(dòng)態(tài)負(fù)載均衡的分布NameNode算法,通過(guò)元數(shù)據(jù)多副本異構(gòu)節(jié)點(diǎn)的動(dòng)態(tài)適應(yīng)性備份,使元數(shù)據(jù)在考慮節(jié)點(diǎn)性能及負(fù)載的情況下實(shí)現(xiàn)了動(dòng)態(tài)分布,保證了元數(shù)據(jù)服務(wù)器集群的性能;同時(shí)結(jié)合緩存策略及自動(dòng)恢復(fù)機(jī)制,提高了元數(shù)據(jù)的讀寫性及可用性。該算法在試驗(yàn)驗(yàn)證中達(dá)到了較為理想的效果。
[Abstract]:With the advent of the era of large data, distributed storage technology emerges as the times require. At present, the metadata storage architecture of the HDFS distributed storage system based on Hadoop, which is the mainstream large data technology, has the problems of poor scalability and high write delay. The original HDFS scalability problem does not consider the heterogeneous performance difference of NameNode in metadata allocation, nor does it solve the problem of dynamic load balancing in NameNode cluster. To solve this problem, a distributed NameNode algorithm based on dynamic load balancing is proposed, which makes metadata multiple copies of heterogeneous nodes dynamic adaptive backup. Dynamic distribution is realized under the consideration of node performance and load, which ensures the performance of metadata server cluster. At the same time, cache strategy and automatic recovery mechanism are combined to improve the readability and availability of metadata.
【作者單位】： 電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【基金】：四川省科技廳應(yīng)用基礎(chǔ)(2015JY0228) 科技支撐計(jì)劃(2015SZ0045,2014GZ0174) 電子科大基礎(chǔ)研究(ZYGX2015J063) 海外留學(xué)回國(guó)人員科研啟動(dòng)費(fèi)項(xiàng)目基金資助
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲(chǔ)的熱點(diǎn)處理策略[J];計(jì)算機(jī)集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴(yán)曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲(chǔ)管理在多核設(shè)計(jì)中的高層建模[J];電子與信息學(xué)報(bào);2008年11期

3 劉翔;汪海玲;;分布式存儲(chǔ)中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲(chǔ)中文件分割的最優(yōu)化模型[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年04期

5 崔忠強(qiáng);左德承;張展;;在云間可重構(gòu)的分布式存儲(chǔ)[J];系統(tǒng)工程理論與實(shí)踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹(shù)濤;;分布式存儲(chǔ)中的再生碼綜述[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

7 唐京偉;;基于云計(jì)算的分布式存儲(chǔ)技術(shù)[J];中國(guó)傳媒科技;2013年15期

8 郭棟;王偉;曾國(guó)蓀;;基于一致性樹(shù)分布的數(shù)據(jù)分布式存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[J];電信科學(xué);2013年12期

10 謝然;;敢問(wèn)存儲(chǔ)之路在何方?見(jiàn)分布式存儲(chǔ)搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

相關(guān)會(huì)議論文 前4條

1 蘇李亮;王云福;侯斌;;海量設(shè)計(jì)文檔分布式存儲(chǔ)及負(fù)載均衡的研究與實(shí)現(xiàn)[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

2 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲(chǔ)關(guān)鍵技術(shù)[A];2012全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集（下）[C];2012年

3 付偉;肖儂;盧錫城;;QoS感知的副本放置問(wèn)題研究綜述[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

4 張彥;劉欣然;徐慧彬;;一種基于虛擬計(jì)算環(huán)境的分布式存儲(chǔ)體系結(jié)構(gòu)[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

相關(guān)重要報(bào)紙文章 前4條

1 京東架構(gòu)委員會(huì)主任 云平臺(tái)首席架構(gòu)師 系統(tǒng)技術(shù)部負(fù)責(zé)人 劉海鋒;京東:分布式存儲(chǔ)體系成為業(yè)務(wù)基石[N];中國(guó)信息化周報(bào);2014年

2 《網(wǎng)絡(luò)世界》記者 于翔;京東分布式存儲(chǔ)體系研發(fā)歷程[N];網(wǎng)絡(luò)世界;2014年

3 《網(wǎng)絡(luò)世界》記者 于翔;融合一體機(jī)投入大規(guī)模商用[N];網(wǎng)絡(luò)世界;2013年

4 本報(bào)記者 郭濤;華為幫用戶定制HANA一體機(jī)[N];中國(guó)計(jì)算機(jī)報(bào);2013年

相關(guān)博士學(xué)位論文 前8條

1 吳思;容錯(cuò)分布式存儲(chǔ)系統(tǒng)擴(kuò)容機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

2 胡q，

本文編號(hào)：2189448