發(fā)布時(shí)間：2016-11-23 15:46

  本文關(guān)鍵詞：“云”時(shí)代企業(yè)危機(jī)傳播機(jī)理及管理研究，由筆耕文化傳播整理發(fā)布。

《河北工程大學(xué)》 2015年

基于Hadoop的分布式副本策略研究

馮漢超  

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長趨勢(shì),如何對(duì)海量數(shù)據(jù)進(jìn)行高效的存取已經(jīng)成了計(jì)算機(jī)領(lǐng)域的一個(gè)研究熱點(diǎn)。HDFS(Hadoop Distributed File System)是Hadoop的一個(gè)分布式文件系統(tǒng),它可以部署運(yùn)行在普通的硬件服務(wù)器上。HDFS具有高可靠性,支持海量數(shù)據(jù)的高效存取。HDFS放開了部分POSIX約束,支持以流的形式讀寫數(shù)據(jù)。HDFS仍是一個(gè)處在發(fā)展和完善階段的云存儲(chǔ)系統(tǒng),現(xiàn)有的數(shù)據(jù)管理策略依然存在許多不足之處。HDFS現(xiàn)有的副本管理策略在創(chuàng)建副本時(shí),創(chuàng)建的副本個(gè)數(shù)是固定的;創(chuàng)建的副本在選取存儲(chǔ)節(jié)點(diǎn)Datanode時(shí),采用的是隨機(jī)選取的算法�，F(xiàn)有的副本管理策略存在系統(tǒng)存儲(chǔ)空間的浪費(fèi),集群負(fù)載不均衡,性能不高等問題。本文通過對(duì)HDFS分布式文件系統(tǒng)的存儲(chǔ)原理進(jìn)行分析,結(jié)合云存儲(chǔ)領(lǐng)域的相關(guān)知識(shí)、理論,對(duì)HDFS現(xiàn)有的副本管理策略進(jìn)行了改進(jìn)。主要包括以下方面的內(nèi)容:(1)對(duì)HDFS默認(rèn)的副本放置策略進(jìn)行了改進(jìn)。HDFS默認(rèn)的數(shù)據(jù)放置策略是隨機(jī)選取Datanode節(jié)點(diǎn)進(jìn)行副本存放。然而集群中每個(gè)Datanode節(jié)點(diǎn)的性能和負(fù)載是不一致的,集群中有些節(jié)點(diǎn)處于高負(fù)荷狀態(tài),有些節(jié)點(diǎn)處于低負(fù)荷狀態(tài),有一些節(jié)點(diǎn)是新加入的;隨機(jī)的選取Datanode節(jié)點(diǎn)進(jìn)行副本存放,集群容易產(chǎn)生負(fù)載不均衡。改進(jìn)后的副本放置策略通過對(duì)Datanode節(jié)點(diǎn)的性能和負(fù)載進(jìn)行分析,根據(jù)得到的權(quán)值選擇最優(yōu)的節(jié)點(diǎn)進(jìn)行副本的放置。(2)對(duì)HDFS默認(rèn)的副本創(chuàng)建策略進(jìn)行了改進(jìn)。改進(jìn)后的策略通過對(duì)文件最近一段時(shí)間的訪問熱度和訪問趨勢(shì)進(jìn)行統(tǒng)計(jì)分析,根據(jù)文件的訪問熱度值和訪問趨勢(shì)動(dòng)態(tài)的調(diào)整副本的個(gè)數(shù);根據(jù)系統(tǒng)的可靠性要求和副本的可用性計(jì)算副本的默認(rèn)創(chuàng)建個(gè)數(shù)。改進(jìn)后的策略使得集群的整體性能和數(shù)據(jù)處理效率得到了進(jìn)一步的提升。(3)搭建HDFS分布式存儲(chǔ)環(huán)境,分別對(duì)改進(jìn)的副本放置策略和副本創(chuàng)建策略進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的副本管理策略充分利用了集群中各個(gè)Datanode節(jié)點(diǎn)的性能,提高了集群的可靠性和處理速度,更好的實(shí)現(xiàn)了集群的負(fù)載均衡。

【關(guān)鍵詞】：
【學(xué)位授予單位】：河北工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 李喬;鄭嘯;;云計(jì)算研究現(xiàn)狀綜述[J];計(jì)算機(jī)科學(xué);2011年04期

3 多雪松;張晶;高強(qiáng);;基于Hadoop的海量數(shù)據(jù)管理系統(tǒng)[J];微計(jì)算機(jī)信息;2010年13期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 安寶宇;云存儲(chǔ)中數(shù)據(jù)完整性保護(hù)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 董昌坤;基于HDFS的分布式云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

2 趙少鋒;云存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

3 潘富斌;基于Hadoop的安全云存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

4 張富政;云存儲(chǔ)安全技術(shù)的研究[D];長春理工大學(xué);2014年

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐鵬;陳思;蘇森;;互聯(lián)網(wǎng)應(yīng)用PaaS平臺(tái)體系結(jié)構(gòu)[J];北京郵電大學(xué)學(xué)報(bào);2012年01期

2 孫傳明;路紅;廖龍龍;;基于云操作系統(tǒng)的網(wǎng)絡(luò)互動(dòng)學(xué)習(xí)平臺(tái)開發(fā)研究[J];中國遠(yuǎn)程教育;2012年06期

3 王琴;王寶俊;;基于云計(jì)算的虛擬多媒體教室的研究與架構(gòu)[J];電化教育研究;2012年01期

4 陳小燕;;云計(jì)算的應(yīng)用與研究[J];電腦編程技巧與維護(hù);2012年12期

5 韓志宏;曾慶燕;杜彥濤;王子虎;章歡樂;;云終端電子閱覽室架構(gòu)的經(jīng)濟(jì)性分析與實(shí)踐[J];電腦知識(shí)與技術(shù);2012年03期

6 付艷娟;李國平;趙海武;滕國偉;王國中;李萍;;基于云計(jì)算的數(shù)字電視前端系統(tǒng)的研究與實(shí)現(xiàn)[J];電視技術(shù);2012年10期

7 白麗瑞;李彤;謝仲文;宋琛;;基于成本利潤Petri網(wǎng)的應(yīng)用云計(jì)費(fèi)模式分析[J];電信科學(xué);2012年01期

8 吳俊;徐溟;;公有云服務(wù)計(jì)費(fèi)模式比較研究[J];電信科學(xué);2012年01期

9 李秀娟;;從專利保護(hù)規(guī)則看多方參與云計(jì)算專利[J];電子知識(shí)產(chǎn)權(quán);2011年12期

10 孫福權(quán);張達(dá)偉;程勖;劉超;;基于Hadoop企業(yè)私有云存儲(chǔ)平臺(tái)的構(gòu)建[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

2 馮振乾;云計(jì)算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬隔離技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

3 伍琦;云環(huán)境下數(shù)據(jù)存儲(chǔ)安全技術(shù)研究[D];江西財(cái)經(jīng)大學(xué);2013年

4 曹盈盈;10G以太無源光網(wǎng)絡(luò)前向糾錯(cuò)等關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2013年

5 王寧;云計(jì)算環(huán)境下數(shù)據(jù)管理與任務(wù)調(diào)度優(yōu)化策略研究[D];北京科技大學(xué);2015年

6 余日季;基于AR技術(shù)的非物質(zhì)文化遺產(chǎn)數(shù)字化開發(fā)研究[D];武漢大學(xué);2014年

7 杜欽生;高維空間的K最近鄰查詢及連接問題研究[D];吉林大學(xué);2015年

8 王金金;云計(jì)算服務(wù)模式下的知識(shí)產(chǎn)權(quán)保護(hù)研究[D];中國科學(xué)技術(shù)大學(xué);2015年

9 李宇昕;地質(zhì)勘查物流與信息流融合關(guān)鍵技術(shù)與應(yīng)用研究[D];中國地質(zhì)大學(xué)(北京);2015年

10 劉奕;“云”時(shí)代企業(yè)危機(jī)傳播機(jī)理及管理研究[D];東華大學(xué);2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李芳芳;個(gè)人數(shù)據(jù)空間管理系統(tǒng)中數(shù)據(jù)抽取及語義關(guān)聯(lián)構(gòu)建[D];北京交通大學(xué);2011年

2 張梓鈞;基于HADOOP架構(gòu)的社保項(xiàng)目網(wǎng)絡(luò)日志分析系統(tǒng)的研究[D];電子科技大學(xué);2011年

3 蘇奎;云計(jì)算平臺(tái)下的電子政務(wù)基礎(chǔ)設(shè)施研究[D];山東師范大學(xué);2012年

4 張喜;海量數(shù)據(jù)存儲(chǔ)模式的研究[D];廣東工業(yè)大學(xué);2012年

5 陳玲玲;基于Hadoop的Web文本挖掘的關(guān)鍵技術(shù)研究[D];浙江理工大學(xué);2012年

6 王學(xué)新;第四方物流在云計(jì)算環(huán)境下的區(qū)域整合研究[D];大連海事大學(xué);2012年

7 張鈺培;基于云計(jì)算平臺(tái)的網(wǎng)絡(luò)運(yùn)行管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2012年

8 劉菲軍;云計(jì)算下虛擬機(jī)部署機(jī)制的研究[D];太原理工大學(xué);2012年

9 李秋紅;中國云計(jì)算技術(shù)開發(fā)的問題與對(duì)策研究[D];渤海大學(xué);2012年

10 周進(jìn);物聯(lián)網(wǎng)數(shù)據(jù)中心模式的電池化成測(cè)試系統(tǒng)控制技術(shù)研究[D];武漢理工大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 楊亞平,李偉琴;基于SSL的數(shù)據(jù)安全傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];北京航空航天大學(xué)學(xué)報(bào);2001年04期

2 馮常青;師明珠;;多線程文件斷點(diǎn)續(xù)傳[J];電腦編程技巧與維護(hù);2006年08期

3 何海釗;王虎奇;;數(shù)據(jù)庫連接與訪問技術(shù)的研究與應(yīng)用[J];電腦知識(shí)與技術(shù);2009年01期

4 唐箭;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];電腦知識(shí)與技術(shù);2009年20期

5 蔡鍵;王樹梅;;基于Google的云計(jì)算實(shí)例分析[J];電腦知識(shí)與技術(shù);2009年25期

6 郭鋒;劉建偉;;基于Socket的局域網(wǎng)絡(luò)通信軟件開發(fā)[J];電子科技;2009年05期

7 黃勤,谷振宇,劉易良;PKI/CA系統(tǒng)互操作技術(shù)實(shí)現(xiàn)模型分析[J];重慶大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年12期

8 李向軍;;基于云計(jì)算的數(shù)據(jù)存儲(chǔ)系統(tǒng)研究[J];硅谷;2010年19期

9 辛大欣;劉飛;;Hadoop集群性能優(yōu)化技術(shù)研究[J];電腦知識(shí)與技術(shù);2011年22期

10 張曉明;姜本臣;;一種AJAX結(jié)合CGI的嵌入式瘦Web服務(wù)器的研究[J];信息技術(shù);2011年12期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 吳吉義;基于DHT的開放對(duì)等云存儲(chǔ)服務(wù)系統(tǒng)研究[D];浙江大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張唯維;云計(jì)算用戶數(shù)據(jù)傳輸與存儲(chǔ)安全方案研究[D];北京郵電大學(xué);2011年

2 康利山;云安全中基于身份的認(rèn)證機(jī)制研究[D];云南大學(xué);2011年

3 楊勇;基于DFS的構(gòu)建服務(wù)器集群技術(shù)的研究與實(shí)現(xiàn)[D];成都理工大學(xué);2011年

4 楊坤;基于Hadoop的云存儲(chǔ)系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 王雁;Windows環(huán)境下的一種安全磁盤[D];四川大學(xué);2006年

6 呂寧;基于REST架構(gòu)的Atom Feed存儲(chǔ)集群研究與設(shè)計(jì)[D];北京交通大學(xué);2008年

7 孫楊;基于REST風(fēng)格構(gòu)建Web服務(wù)的研究與應(yīng)用[D];電子科技大學(xué);2009年

8 林海元;基于Windows文件系統(tǒng)微過濾驅(qū)動(dòng)模型的文件透明加解密系統(tǒng)的研究與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2009年

9 陳勉;基于新一代過濾驅(qū)動(dòng)框架的安全文件內(nèi)核開發(fā)[D];西南交通大學(xué);2009年

10 劉賢斌;虛擬盤安全存儲(chǔ)研究[D];華中科技大學(xué);2008年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;[N];計(jì)算機(jī)世界;2002年

3 單群一;[N];中國稅務(wù)報(bào);2007年

4 ;[N];人民郵電;2006年

5 ;[N];人民郵電;2006年

6 郭;[N];計(jì)算機(jī)世界;2007年

7 陳耀光;[N];中國企業(yè)報(bào);2001年

8 ;[N];網(wǎng)絡(luò)世界;2009年

9 ;[N];網(wǎng)絡(luò)世界;2009年

10 臨履;[N];網(wǎng)絡(luò)世界;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

6 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

7 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

8 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

9 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

10 李懷陽;進(jìn)化存儲(chǔ)系統(tǒng)數(shù)據(jù)組織模式研究[D];華中科技大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 朱海濤;嵌入式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];大連理工大學(xué);2010年

6 王如軍;模塊化柔性存儲(chǔ)系統(tǒng)[D];長春光學(xué)精密機(jī)械學(xué)院;2001年

7 趙靖;片段存儲(chǔ)系統(tǒng)[D];上海交通大學(xué);2007年

8 郅斌;一種私有云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

9 祝青;混合存儲(chǔ)系統(tǒng)研究[D];上海交通大學(xué);2013年

10 張達(dá);河北電視臺(tái)高清新聞網(wǎng)存儲(chǔ)系統(tǒng)分析[D];華北電力大學(xué);2011年

  本文關(guān)鍵詞：“云”時(shí)代企業(yè)危機(jī)傳播機(jī)理及管理研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：188564