【摘要】：為了改善HDFS中集群負載的均衡性,提高數(shù)據(jù)節(jié)點的資源利用率,提出了一種改進的數(shù)據(jù)存放策略。在HDFS原始策略的基礎上充分考慮了節(jié)點的差異性,通過采集數(shù)據(jù)節(jié)點的CPU負載、內存負載、網絡負載和存儲空間負載,引入負載因子計算數(shù)據(jù)的存放成本,以選擇一個最優(yōu)的數(shù)據(jù)節(jié)點存放數(shù)據(jù)。實驗結果表明,改進后的策略優(yōu)化了集群負載的均衡性,提高了數(shù)據(jù)塊副本的傳輸性能。
[Abstract]:In order to improve the balance of cluster load in HDFS and the resource utilization of data nodes, an improved data storage strategy is proposed. Based on the original strategy of HDFS, the differences of nodes are fully considered. By collecting the CPU load, memory load, network load and storage space load of the data node, the load factor is introduced to calculate the storage cost of the data. To select an optimal data node to store data. The experimental results show that the improved strategy optimizes the load balance of the cluster and improves the transmission performance of the replica of the data block.
【作者單位】： 四川大學計算機學院;
【基金】：國家自然科學基金項目(61173159) 教育部重大項目培育基金項目(708075)
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

2 王意潔;孫偉東;周松;裴曉強;李小勇;;云計算環(huán)境下的分布存儲關鍵技術[J];軟件學報;2012年04期

【共引文獻】

相關期刊論文 前10條

1 魏東澤;來學嘉;;一種安全的高可靠性P2P云存儲備份模型初探參考文獻[J];信息安全與技術;2011年09期

2 王繼鵬;;高等教育云計算服務平臺構建策略初探[J];安陽師范學院學報;2011年05期

3 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應用[J];北京交通大學學報;2010年05期

4 徐小龍;程春玲;熊婧夷;王汝傳;;一種基于移動Agent的云端計算任務安全分割與分配算法[J];北京理工大學學報;2011年08期

5 李建卓;;云計算及其發(fā)展綜述[J];寶雞文理學院學報(自然科學版);2010年03期

6 董曉霞;呂廷杰;;云計算研究綜述及未來發(fā)展[J];北京郵電大學學報(社會科學版);2010年05期

7 鄧仲華;朱秀芹;;云計算環(huán)境下的隱私權保護初探[J];圖書與情報;2010年04期

8 馬曉亭;陳臣;;基于成本收益分析的云計算環(huán)境下數(shù)字圖書館建設研究[J];圖書與情報;2011年06期

9 朱德新;宋雅娟;;海量數(shù)據(jù)分析及處理算法實現(xiàn)[J];長春大學學報;2011年08期

10 黃小龍;;淺談云計算技術在教育領域的應用[J];成功(教育);2011年08期

相關會議論文 前10條

1 萬丹丹;王宏;;云計算在編輯工作中的應用探討[A];學術期刊編輯學理論與實踐[C];2010年

2 郭捷夫;;基于云計算模型的綠色IT數(shù)據(jù)中心構建方案研究[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 汪云鳳;李心科;;云服務環(huán)境下的服務聚合方法研究[A];2011中國儀器儀表與測控技術大會論文集[C];2011年

4 張白蘭;楊向紅;李家龍;劉偉;林創(chuàng)燕;邱正能;;物聯(lián)網綜述[A];中國電子學會第十七屆信息論學術年會論文集[C];2010年

5 任偉;葉敏;劉宇靚;;云安全的信任管理研究[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

6 周軒;黃璞;;基于云計算的OMS平臺移動業(yè)務測試系統(tǒng)[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

7 唐玲;;云計算及其安全問題的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

8 丁輝;趙煒妹;;基于云計算應用一級部署的研究[A];2011電力通信管理暨智能電網通信技術論壇論文集[C];2011年

9 趙偉;陳承收;李立軍;;基于MapReduce云計算模型的碰撞檢測算法[A];'2010系統(tǒng)仿真技術及其應用學術會議論文集[C];2010年

10 潘松柏;張云勇;陳清金;魏進武;;云計算安全需求和策略[A];2010年全國通信安全學術會議論文集[C];2010年

相關博士學位論文 前10條

1 吳吉義;基于DHT的開放對等云存儲服務系統(tǒng)研究[D];浙江大學;2011年

2 王鐵軍;非結構化對等網絡資源定位技術研究[D];電子科技大學;2010年

3 江頡;面向電子服務的訪問控制關鍵技術研究[D];浙江大學;2010年

4 張澤華;云計算聯(lián)盟建模及實現(xiàn)的關鍵技術研究[D];云南大學;2010年

5 李錚;多媒體云計算平臺關鍵技術研究[D];中國科學技術大學;2011年

6 康俊鋒;云計算環(huán)境下高分辨率遙感影像存儲與高效管理技術研究[D];浙江大學;2011年

7 林云;汽車物流服務供應鏈體系構建與應用研究[D];重慶大學;2011年

8 朱智強;混合云服務安全若干理論與關鍵技術研究[D];武漢大學;2011年

9 方雷;基于云計算的土地資源服務高效處理平臺關鍵技術探索與研究[D];浙江大學;2011年

10 葛顯龍;面向云配送模式的車輛調度問題及算法研究[D];重慶大學;2011年

相關碩士學位論文 前10條

1 孔楠;基于云計算平臺的商業(yè)服務模式研究[D];上海外國語大學;2010年

2 康興元;面向模具企業(yè)的注塑模設計知識網絡化管理系統(tǒng)研究[D];大連理工大學;2010年

3 姜健;云計算在企業(yè)物資供應系統(tǒng)的應用研究[D];遼寧工程技術大學;2009年

4 薛師;云計算與網格計算的比較研究[D];河南理工大學;2010年

5 劉震宇;基于VMware vSphere4.0的PC服務器資源池構建[D];大連海事大學;2010年

6 梁文迪;一體化資產管理系統(tǒng)中財務模塊的設計與實現(xiàn)[D];華南理工大學;2010年

7 胡清;基于云計算的券商網絡營銷服務平臺研究與設計[D];南昌大學;2010年

8 李嬋;基于云計算的智能手機數(shù)據(jù)挖掘平臺的架構和實現(xiàn)[D];武漢理工大學;2010年

9 賀鵬;云計算的開發(fā)云的研究與實現(xiàn)[D];電子科技大學;2011年

10 李克然;基于云計算的電子商務數(shù)據(jù)管理模式研究[D];西安電子科技大學;2011年

【二級參考文獻】

相關期刊論文 前1條

1 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

【相似文獻】

相關期刊論文 前10條

1 蔣秉天;邱衛(wèi)東;李萍;;基于云計算的密碼恢復系統(tǒng)模型[J];信息安全與通信保密;2011年04期

2 柴黃琪;蘇成;;基于HDFS的安全機制設計[J];計算機安全;2010年12期

3 李彭軍;陳光杰;郭文明;;基于HDFS的區(qū)域醫(yī)學影像分布式存儲架構設計[J];南方醫(yī)科大學學報;2011年03期

4 ;[J];;年期

5 ;[J];;年期

6 ;[J];;年期

7 ;[J];;年期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

，

本文編號：2296644