【摘要】：為了改善HDFS中集群負(fù)載的均衡性,提高數(shù)據(jù)節(jié)點(diǎn)的資源利用率,提出了一種改進(jìn)的數(shù)據(jù)存放策略。在HDFS原始策略的基礎(chǔ)上充分考慮了節(jié)點(diǎn)的差異性,通過(guò)采集數(shù)據(jù)節(jié)點(diǎn)的CPU負(fù)載、內(nèi)存負(fù)載、網(wǎng)絡(luò)負(fù)載和存儲(chǔ)空間負(fù)載,引入負(fù)載因子計(jì)算數(shù)據(jù)的存放成本,以選擇一個(gè)最優(yōu)的數(shù)據(jù)節(jié)點(diǎn)存放數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的策略優(yōu)化了集群負(fù)載的均衡性,提高了數(shù)據(jù)塊副本的傳輸性能。
[Abstract]:In order to improve the balance of cluster load in HDFS and the resource utilization of data nodes, an improved data storage strategy is proposed. Based on the original strategy of HDFS, the differences of nodes are fully considered. By collecting the CPU load, memory load, network load and storage space load of the data node, the load factor is introduced to calculate the storage cost of the data. To select an optimal data node to store data. The experimental results show that the improved strategy optimizes the load balance of the cluster and improves the transmission performance of the replica of the data block.
【作者單位】： 四川大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61173159) 教育部重大項(xiàng)目培育基金項(xiàng)目(708075)
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

2 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 魏東澤;來(lái)學(xué)嘉;;一種安全的高可靠性P2P云存儲(chǔ)備份模型初探參考文獻(xiàn)[J];信息安全與技術(shù);2011年09期

2 王繼鵬;;高等教育云計(jì)算服務(wù)平臺(tái)構(gòu)建策略初探[J];安陽(yáng)師范學(xué)院學(xué)報(bào);2011年05期

3 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計(jì)算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應(yīng)用[J];北京交通大學(xué)學(xué)報(bào);2010年05期

4 徐小龍;程春玲;熊婧夷;王汝傳;;一種基于移動(dòng)Agent的云端計(jì)算任務(wù)安全分割與分配算法[J];北京理工大學(xué)學(xué)報(bào);2011年08期

5 李建卓;;云計(jì)算及其發(fā)展綜述[J];寶雞文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期

6 董曉霞;呂廷杰;;云計(jì)算研究綜述及未來(lái)發(fā)展[J];北京郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2010年05期

7 鄧仲華;朱秀芹;;云計(jì)算環(huán)境下的隱私權(quán)保護(hù)初探[J];圖書(shū)與情報(bào);2010年04期

8 馬曉亭;陳臣;;基于成本收益分析的云計(jì)算環(huán)境下數(shù)字圖書(shū)館建設(shè)研究[J];圖書(shū)與情報(bào);2011年06期

9 朱德新;宋雅娟;;海量數(shù)據(jù)分析及處理算法實(shí)現(xiàn)[J];長(zhǎng)春大學(xué)學(xué)報(bào);2011年08期

10 黃小龍;;淺談云計(jì)算技術(shù)在教育領(lǐng)域的應(yīng)用[J];成功(教育);2011年08期

相關(guān)會(huì)議論文 前10條

1 萬(wàn)丹丹;王宏;;云計(jì)算在編輯工作中的應(yīng)用探討[A];學(xué)術(shù)期刊編輯學(xué)理論與實(shí)踐[C];2010年

2 郭捷夫;;基于云計(jì)算模型的綠色I(xiàn)T數(shù)據(jù)中心構(gòu)建方案研究[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

3 汪云鳳;李心科;;云服務(wù)環(huán)境下的服務(wù)聚合方法研究[A];2011中國(guó)儀器儀表與測(cè)控技術(shù)大會(huì)論文集[C];2011年

4 張白蘭;楊向紅;李家龍;劉偉;林創(chuàng)燕;邱正能;;物聯(lián)網(wǎng)綜述[A];中國(guó)電子學(xué)會(huì)第十七屆信息論學(xué)術(shù)年會(huì)論文集[C];2010年

5 任偉;葉敏;劉宇靚;;云安全的信任管理研究[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

6 周軒;黃璞;;基于云計(jì)算的OMS平臺(tái)移動(dòng)業(yè)務(wù)測(cè)試系統(tǒng)[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

7 唐玲;;云計(jì)算及其安全問(wèn)題的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

8 丁輝;趙煒妹;;基于云計(jì)算應(yīng)用一級(jí)部署的研究[A];2011電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2011年

9 趙偉;陳承收;李立軍;;基于MapReduce云計(jì)算模型的碰撞檢測(cè)算法[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

10 潘松柏;張?jiān)朴?陳清金;魏進(jìn)武;;云計(jì)算安全需求和策略[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)博士學(xué)位論文 前10條

1 吳吉義;基于DHT的開(kāi)放對(duì)等云存儲(chǔ)服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

2 王鐵軍;非結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)資源定位技術(shù)研究[D];電子科技大學(xué);2010年

3 江頡;面向電子服務(wù)的訪問(wèn)控制關(guān)鍵技術(shù)研究[D];浙江大學(xué);2010年

4 張澤華;云計(jì)算聯(lián)盟建模及實(shí)現(xiàn)的關(guān)鍵技術(shù)研究[D];云南大學(xué);2010年

5 李錚;多媒體云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

6 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)與高效管理技術(shù)研究[D];浙江大學(xué);2011年

7 林云;汽車(chē)物流服務(wù)供應(yīng)鏈體系構(gòu)建與應(yīng)用研究[D];重慶大學(xué);2011年

8 朱智強(qiáng);混合云服務(wù)安全若干理論與關(guān)鍵技術(shù)研究[D];武漢大學(xué);2011年

9 方雷;基于云計(jì)算的土地資源服務(wù)高效處理平臺(tái)關(guān)鍵技術(shù)探索與研究[D];浙江大學(xué);2011年

10 葛顯龍;面向云配送模式的車(chē)輛調(diào)度問(wèn)題及算法研究[D];重慶大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 孔楠;基于云計(jì)算平臺(tái)的商業(yè)服務(wù)模式研究[D];上海外國(guó)語(yǔ)大學(xué);2010年

2 康興元;面向模具企業(yè)的注塑模設(shè)計(jì)知識(shí)網(wǎng)絡(luò)化管理系統(tǒng)研究[D];大連理工大學(xué);2010年

3 姜健;云計(jì)算在企業(yè)物資供應(yīng)系統(tǒng)的應(yīng)用研究[D];遼寧工程技術(shù)大學(xué);2009年

4 薛師;云計(jì)算與網(wǎng)格計(jì)算的比較研究[D];河南理工大學(xué);2010年

5 劉震宇;基于VMware vSphere4.0的PC服務(wù)器資源池構(gòu)建[D];大連海事大學(xué);2010年

6 梁文迪;一體化資產(chǎn)管理系統(tǒng)中財(cái)務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

7 胡清;基于云計(jì)算的券商網(wǎng)絡(luò)營(yíng)銷(xiāo)服務(wù)平臺(tái)研究與設(shè)計(jì)[D];南昌大學(xué);2010年

8 李嬋;基于云計(jì)算的智能手機(jī)數(shù)據(jù)挖掘平臺(tái)的架構(gòu)和實(shí)現(xiàn)[D];武漢理工大學(xué);2010年

9 賀鵬;云計(jì)算的開(kāi)發(fā)云的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

10 李克然;基于云計(jì)算的電子商務(wù)數(shù)據(jù)管理模式研究[D];西安電子科技大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 蔣秉天;邱衛(wèi)東;李萍;;基于云計(jì)算的密碼恢復(fù)系統(tǒng)模型[J];信息安全與通信保密;2011年04期

2 柴黃琪;蘇成;;基于HDFS的安全機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)安全;2010年12期

3 李彭軍;陳光杰;郭文明;;基于HDFS的區(qū)域醫(yī)學(xué)影像分布式存儲(chǔ)架構(gòu)設(shè)計(jì)[J];南方醫(yī)科大學(xué)學(xué)報(bào);2011年03期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

，

本文編號(hào)：2296644