本文關(guān)鍵詞：Hadoop云存儲(chǔ)策略的研究與優(yōu)化，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計(jì)算技術(shù)的發(fā)展以及被業(yè)界所逐漸接受,與之相隨的云存儲(chǔ)系統(tǒng)也得到相應(yīng)的發(fā)展,越來越多的企業(yè)和科研機(jī)構(gòu)開始使用云平臺構(gòu)建各自的云存儲(chǔ)體系,而在眾多云平臺中,開源實(shí)現(xiàn)的Hadoop云平臺得到了業(yè)界廣泛的應(yīng)用,包括Yahoo、Facebook以及IBM等。Hadoop云平臺對數(shù)據(jù)的存儲(chǔ)主要是由其分布式文件系統(tǒng)HDFS實(shí)現(xiàn)的,因此對于HDFS的研究成為了很多公司構(gòu)建各自云存儲(chǔ)系統(tǒng)的基礎(chǔ)。 HDFS系統(tǒng)默認(rèn)的存儲(chǔ)策略雖然可以有效的解決大數(shù)據(jù)的存儲(chǔ)但是在現(xiàn)實(shí)應(yīng)用中卻存在一些不足,在默認(rèn)的HDFS存儲(chǔ)策略中,數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)信息不夠完善以及隨機(jī)選擇數(shù)據(jù)節(jié)點(diǎn),使得控制節(jié)點(diǎn)在選擇數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)的時(shí)候容易出現(xiàn)系統(tǒng)負(fù)載不均衡,另外當(dāng)隨機(jī)選擇遠(yuǎn)端節(jié)點(diǎn)進(jìn)行存儲(chǔ)的時(shí)候可能會(huì)造成因?yàn)楣?jié)點(diǎn)之間網(wǎng)絡(luò)距離較遠(yuǎn)而造成數(shù)據(jù)傳輸時(shí)間過長損耗系統(tǒng)性能的現(xiàn)象,同時(shí)由于HDFS默認(rèn)存儲(chǔ)策略采用了固定的數(shù)據(jù)副本個(gè)數(shù),在實(shí)際應(yīng)用中可能會(huì)導(dǎo)致系統(tǒng)中數(shù)據(jù)冗余太多,影響系統(tǒng)的負(fù)載能力。因此解決了上述問題,就可以在一定程度上提高HDFS系統(tǒng)的存儲(chǔ)性能。 所以,本文在分析HDFS默認(rèn)策略的不足之后,基于HDFS設(shè)計(jì)一種優(yōu)化的存儲(chǔ)策略。該策略首先對數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)信息進(jìn)行完善,為控制節(jié)點(diǎn)在選擇數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)的時(shí)候提供了更多的依據(jù)。其次,該策略可以根據(jù)用戶的實(shí)際需求設(shè)置數(shù)據(jù)副本系數(shù)。再次,在隨機(jī)選擇數(shù)據(jù)節(jié)點(diǎn)時(shí)采用了評價(jià)值方法,即根據(jù)節(jié)點(diǎn)的負(fù)載情況以及與本地節(jié)點(diǎn)的網(wǎng)絡(luò)距離計(jì)算該節(jié)點(diǎn)的評價(jià)值。最后通過將優(yōu)化后的策略部署到仿真實(shí)驗(yàn)平臺上,驗(yàn)證了該策略的可行性以及測試了該策略的效率。實(shí)驗(yàn)證明,優(yōu)化后的策略確實(shí)能夠提高系統(tǒng)的存儲(chǔ)性能,有效的平衡了節(jié)點(diǎn)之間的負(fù)載,減少了系統(tǒng)瓶頸出現(xiàn)的可能性,同時(shí)加強(qiáng)了用戶體驗(yàn)。 HDFS分布式文件系統(tǒng)運(yùn)行在Hadoop云平臺上,優(yōu)化的存儲(chǔ)策略可以實(shí)際應(yīng)用到企業(yè)和科研機(jī)構(gòu)的云數(shù)據(jù)中心,同時(shí)因?yàn)樵摬呗跃哂休^高的可配置性,在實(shí)際應(yīng)用中可以根據(jù)不同的需求來進(jìn)行配置,從而有效地提高海量數(shù)據(jù)的存儲(chǔ)性能。
【關(guān)鍵詞】：云計(jì)算 云存儲(chǔ) HDFS 存儲(chǔ)策略 優(yōu)化
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-8
• 目錄8-10
• CONTENTS10-12
• 第一章 緒論12-18
• 1.1 課題研究背景與意義12-14
• 1.2 課題國內(nèi)外研究現(xiàn)狀14-15
• 1.2.1 國外現(xiàn)狀14
• 1.2.2 國內(nèi)現(xiàn)狀14-15
• 1.3 論文研究主要內(nèi)容15-16
• 1.3.1 論文研究主要方法15-16
• 1.4 論文組織結(jié)構(gòu)16-18
• 第二章 Hadoop云計(jì)算平臺18-31
• 2.1 Hadoop云計(jì)算平臺工作原理18
• 2.2 MapReduce計(jì)算框架18-19
• 2.3 HDFS分布式文件系統(tǒng)19-28
• 2.3.1 HDFS技術(shù)背景以及設(shè)計(jì)目標(biāo)19-22
• 2.3.2 HDFS的節(jié)點(diǎn)22-23
• 2.3.3 HDFS對數(shù)據(jù)的操作23-26
• 2.3.4 HDFS中的通訊協(xié)議26-27
• 2.3.5 HDFS存儲(chǔ)空間的回收27-28
• 2.4 HDFS啟動(dòng)過程28-30
• 2.4.1 控制節(jié)點(diǎn)啟動(dòng)28-29
• 2.4.2 數(shù)據(jù)節(jié)點(diǎn)的啟動(dòng)29-30
• 2.5 本章總結(jié)30-31
• 第三章 HDFS存儲(chǔ)過程的分析31-41
• 3.1 HDFS的存儲(chǔ)過程介紹31-32
• 3.2 狀態(tài)信息研究32-35
• 3.3 數(shù)據(jù)存儲(chǔ)策略分析35-40
• 3.4 本章總結(jié)40-41
• 第四章 HDFS默認(rèn)存儲(chǔ)策略的優(yōu)化41-51
• 4.1 設(shè)計(jì)思想41-42
• 4.2 副本系數(shù)的選擇42-44
• 4.3 數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)結(jié)構(gòu)的完善44-45
• 4.4 心跳協(xié)議方法的改進(jìn)45-46
• 4.5 存儲(chǔ)策略的優(yōu)化46-49
• 4.6 本章總結(jié)49-51
• 第五章 Hadoop平臺構(gòu)建與實(shí)驗(yàn)分析51-57
• 5.1 Hadoop實(shí)驗(yàn)平臺搭建51-54
• 5.2 實(shí)驗(yàn)驗(yàn)證與分析54-57
• 第六章 總結(jié)和展望57-59
• 6.1 總結(jié)57-58
• 6.2 展望58-59
• 參考文獻(xiàn)59-63
• 攻讀學(xué)位期間發(fā)表的論文63-65
• 致謝65

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王漢林;謝榮傳;;Native XML數(shù)據(jù)庫——dbXML的存儲(chǔ)策略的改進(jìn)[J];計(jì)算機(jī)與現(xiàn)代化;2008年07期

2 羅英偉,邢彭齡;基于XML的地理信息元數(shù)據(jù)存儲(chǔ)策略[J];計(jì)算機(jī)工程;2004年09期

3 門愛華;;基于關(guān)系數(shù)據(jù)庫的XML數(shù)據(jù)的存儲(chǔ)研究[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年03期

4 許麗;楊旭清;;基于關(guān)系數(shù)據(jù)庫的RDFS存儲(chǔ)研究[J];電腦與電信;2008年03期

5 楊守文;王婷;張國強(qiáng);;論高校圖書館電子資源存儲(chǔ)的經(jīng)濟(jì)適用型策略[J];情報(bào)探索;2010年04期

6 李占波;李娜;;XML數(shù)據(jù)在關(guān)系數(shù)據(jù)庫中的存儲(chǔ)[J];微計(jì)算機(jī)信息;2007年27期

7 陳光儀;藍(lán)嵐;;RDF存儲(chǔ)策略的研究與實(shí)現(xiàn)[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2008年04期

8 王曉剛;;基于關(guān)系數(shù)據(jù)庫的XML存儲(chǔ)技術(shù)[J];中國高新技術(shù)企業(yè);2011年07期

9 李文學(xué);;視頻監(jiān)控?cái)?shù)據(jù)安全存儲(chǔ)策略[J];廣播電視信息;2011年06期

10 陳曉輝,周山,戚文芽;嵌入式數(shù)字視頻監(jiān)控系統(tǒng)的數(shù)據(jù)存儲(chǔ)策略[J];微計(jì)算機(jī)信息;2005年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 陳慶章;蔡紹華;陳曉瑩;;使用鏈表實(shí)現(xiàn)無線傳感器網(wǎng)絡(luò)的省電數(shù)據(jù)存儲(chǔ)策略[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊）[C];2009年

2 周志逵;劉菊玲;;Native XML DB存儲(chǔ)策略的研究[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

3 俞本權(quán);葉鋒;王寧;陳瀅;王能斌;;同構(gòu)OIM對象及其存儲(chǔ)策略[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年

4 王宏志;李建中;何震瀛;;一種壓縮XML數(shù)據(jù)倉庫的存儲(chǔ)策略[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

5 何震瀛;李建中;王春宇;;一種XML數(shù)據(jù)庫的存儲(chǔ)結(jié)構(gòu)——ASRX[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

6 張佳寶;周斌;吳泉源;;基于Hadoop的并行化命名實(shí)體識別技術(shù)研究與實(shí)現(xiàn)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

7 樓文武;王珊;;數(shù)據(jù)倉庫的綜合數(shù)據(jù)優(yōu)化存儲(chǔ)策略[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年

8 鄒暉華;胡吉全;楊艷芳;;自動(dòng)化立體倉庫貨位分配策略優(yōu)化研究[A];湖北省機(jī)械工程學(xué)會(huì)設(shè)計(jì)與傳動(dòng)學(xué)會(huì)、武漢機(jī)械設(shè)計(jì)與傳動(dòng)學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集（2）[C];2008年

9 于利勝;張延松;王珊;張倩;;基于行存儲(chǔ)模型的模擬列存儲(chǔ)策略研究[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

10 壽志勤;崇大志;;四庫建設(shè)中的元數(shù)據(jù)標(biāo)準(zhǔn)的確定與存儲(chǔ)實(shí)現(xiàn)[A];第11屆海峽兩岸信息管理發(fā)展策略研討會(huì)論文集[C];2005年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 本報(bào)記者 郭濤　編譯;制定云存儲(chǔ)策略應(yīng)注意的七個(gè)問題[N];中國計(jì)算機(jī)報(bào);2011年

2 郭濤;簡約存儲(chǔ) 輕快起舞[N];中國計(jì)算機(jī)報(bào);2003年

3 本報(bào)記者 郭平;整合軟件與服務(wù)[N];計(jì)算機(jī)世界;2001年

4 本報(bào)記者 郭平;承諾背后的努力[N];計(jì)算機(jī)世界;2001年

5 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

6 小菲;追尋技術(shù)含量的沖浪者[N];計(jì)算機(jī)世界;2005年

7 傅薔;IBM發(fā)布系統(tǒng)存儲(chǔ)策略定“乾坤”[N];中國工業(yè)報(bào);2005年

8 本報(bào)記者 郭平;Sun購并STK后的存儲(chǔ)策略[N];計(jì)算機(jī)世界;2005年

9 中南林大理學(xué)院 曠嶺 國防科大計(jì)算機(jī)學(xué)院 李永進(jìn) 劉軍;版本文件系統(tǒng)的虛擬存儲(chǔ)策略[N];中國計(jì)算機(jī)報(bào);2006年

10 北京亞細(xì)亞智業(yè)科技有限公司產(chǎn)品經(jīng)理 張向輝;醫(yī)療影像的長期存儲(chǔ)策略[N];中國計(jì)算機(jī)報(bào);2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 董曉明;對象屬性控制的存儲(chǔ)策略研究[D];華中科技大學(xué);2006年

2 楊希;智能網(wǎng)絡(luò)磁盤（IND）存儲(chǔ)管理方法研究[D];中南大學(xué);2012年

3 王笑蓉;蟻群優(yōu)化的理論模型及在生產(chǎn)調(diào)度中的應(yīng)用研究[D];浙江大學(xué);2003年

4 秦懷峰;面向感知網(wǎng)的上下文敏感計(jì)算技術(shù)研究[D];西北工業(yè)大學(xué);2006年

5 李曉春;配送中心揀貨作業(yè)設(shè)計(jì)與優(yōu)化[D];暨南大學(xué);2009年

6 吳承文;面向數(shù)據(jù)庫的語義查詢技術(shù)研究[D];浙江大學(xué);2007年

7 廖偉志;混雜生產(chǎn)過程的混雜Petri網(wǎng)建模及分析技術(shù)研究[D];西安電子科技大學(xué);2007年

8 蔚趙春;無線傳感器網(wǎng)絡(luò)中自適應(yīng)數(shù)據(jù)存儲(chǔ)與kNN查詢處理研究[D];復(fù)旦大學(xué);2008年

9 趙斌;基于圖模型的微博數(shù)據(jù)分析與管理[D];華東師范大學(xué);2012年

10 李志剛;無線傳感器網(wǎng)絡(luò)分布數(shù)據(jù)存儲(chǔ)策略研究[D];國防科學(xué)技術(shù)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高薊超;Hadoop平臺存儲(chǔ)策略的研究與優(yōu)化[D];北京交通大學(xué);2012年

2 朱巖;Hadoop云存儲(chǔ)策略的研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年

3 王洋;倉庫管理系統(tǒng)的存儲(chǔ)策略研究[D];華中科技大學(xué);2011年

4 蔣堅(jiān)鴻;移動(dòng)計(jì)算環(huán)境下檢查點(diǎn)存儲(chǔ)策略的研究[D];哈爾濱工程大學(xué);2012年

5 邰建華;Hadoop平臺下的海量數(shù)據(jù)存儲(chǔ)技術(shù)研究[D];東北石油大學(xué);2012年

6 朱震;內(nèi)容管理實(shí)例設(shè)計(jì)及其XML存儲(chǔ)策略的研究[D];中國科學(xué)院研究生院（軟件研究所）;2003年

7 范帆;Hadoop中基于優(yōu)先級的調(diào)度算法研究[D];復(fù)旦大學(xué);2012年

8 王光平;一個(gè)Native XML數(shù)據(jù)庫——dbXML的存儲(chǔ)策略研究與改進(jìn)[D];西安電子科技大學(xué);2005年

9 張燁;Jackrabbit封裝Hadoop的研究及在內(nèi)容管理系統(tǒng)中的應(yīng)用[D];北京郵電大學(xué);2011年

10 楊帆;Hadoop平臺高可用性方案的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

  本文關(guān)鍵詞：Hadoop云存儲(chǔ)策略的研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

本文編號：436523