本文關(guān)鍵詞：HDFS云存儲(chǔ)系統(tǒng)可用性能的優(yōu)化研究

  更多相關(guān)文章： Hadoop分布式文件系統(tǒng) 單點(diǎn)故障 ZooKeeper 分布式Name Node節(jié)點(diǎn)

【摘要】：互聯(lián)網(wǎng)信息化技術(shù)的迅猛發(fā)展,直接導(dǎo)致了數(shù)據(jù)的急劇暴增。為解決海量數(shù)據(jù)的存儲(chǔ)和處理,分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生并迅速成為趨勢。Hadoop是Apache研發(fā)的一個(gè)開源的分布式云計(jì)算軟件框架,能夠?yàn)楫?dāng)前大數(shù)據(jù)提供計(jì)算與存儲(chǔ)服務(wù)。HDFS是Hadoop的分布式文件系統(tǒng),采用主從式的分布式系統(tǒng)架構(gòu),但由于它只有一個(gè)Name Node節(jié)點(diǎn),會(huì)產(chǎn)生單點(diǎn)故障問題,所以它并不支持系統(tǒng)的高可用性。所以它并不支持系統(tǒng)的高可用性。隨著海量數(shù)據(jù)的急劇膨脹,HDFS本身架構(gòu)所存在的缺陷問題也越來越凸顯,單一NameNode架構(gòu)直接嚴(yán)重影響到了系統(tǒng)的可用性,成為了整個(gè)分布式文件系統(tǒng)的性能瓶頸。本文對(duì)HDFS的體系架構(gòu)、元數(shù)據(jù)模型、數(shù)據(jù)組織以及數(shù)據(jù)流等進(jìn)行了詳細(xì)的解析,并簡單闡述了現(xiàn)有的HDFS高可用性解決方案進(jìn)行對(duì)比分析,提出了本文的高可用性方案-基于ZooKeeper的分布式Name Node節(jié)點(diǎn)集群。本文主要工作如下:(1)概述了云存儲(chǔ)的相關(guān)理論知識(shí),對(duì)HDFS分布式文件系統(tǒng)的體系架構(gòu)、數(shù)據(jù)組織與數(shù)據(jù)交互等進(jìn)行了深入的分析。另外,詳細(xì)介紹了ZooKeeper的基礎(chǔ)知識(shí)。(2)介紹高可用性的相關(guān)概念并分析HDFS本身架構(gòu)所存在的缺陷,重點(diǎn)對(duì)HDFS現(xiàn)有的高可用性解決方案進(jìn)行分析,并最終提出本文的高可用性方案-基于ZooKeeper的分布式NameNode節(jié)點(diǎn)集群,然后進(jìn)行了簡單的分析對(duì)比。(3)本文基于ZooKeeper的分布式Name Node節(jié)點(diǎn)的高可用性方案中,利用ZooKeeper來監(jiān)控所有NameNode節(jié)點(diǎn)的工作狀態(tài)并協(xié)調(diào)它們的工作,實(shí)現(xiàn)了主從Name Node的自動(dòng)切換。同時(shí)分布式Name Node節(jié)點(diǎn)可以將元數(shù)據(jù)信息數(shù)據(jù)塊及其備份分布存放在不同的元數(shù)據(jù)節(jié)點(diǎn)中,并采用基于大多數(shù)節(jié)點(diǎn)返回響應(yīng)結(jié)果來保證元數(shù)據(jù)的一致性。所以,當(dāng)主Name Node節(jié)點(diǎn)失效時(shí),從Name Node節(jié)點(diǎn)能夠快速進(jìn)行切換,對(duì)外提供服務(wù),由此保證了系統(tǒng)的高可用性。(4)經(jīng)過一系列的實(shí)驗(yàn),來驗(yàn)證本文所提出方案的高可用性。
【關(guān)鍵詞】：Hadoop分布式文件系統(tǒng) 單點(diǎn)故障 ZooKeeper 分布式Name Node節(jié)點(diǎn)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-17
• 1.1 課題背景10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.3 研究意義13-14
• 1.4 研究內(nèi)容14-15
• 1.5 論文結(jié)構(gòu)組織安排15-17
• 第二章 相關(guān)研究17-36
• 2.1 云存儲(chǔ)17-18
• 2.2 Hadoop分布式文件系統(tǒng)18-30
• 2.2.1 元數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)20-22
• 2.2.2 元數(shù)據(jù)22-24
• 2.2.3 數(shù)據(jù)組織24-25
• 2.2.4 數(shù)據(jù)流25-30
• 2.2.5 客戶端30
• 2.3 ZooKeeper30-35
• 2.3.1 基本原理30-32
• 2.3.2 基本特性32-35
• 2.4 本章小結(jié)35-36
• 第三章 HDFS高可用性解決方案的研究36-47
• 3.1 高可用性36-41
• 3.1.1 HA定義和度量36-37
• 3.1.2 HDFS HA原因分析37-41
• 3.2 HDFS現(xiàn)有高可用性解決方案41-44
• 3.2.1 Hadoop的元數(shù)據(jù)備份方案41
• 3.2.2 Secondary Name Node與Checkpoint Node方案41-42
• 3.2.3 Backup Node方案42-43
• 3.2.4 FaceBook的Avatar Node方案43-44
• 3.3 與本文HDFS HA方案的分析對(duì)比44-46
• 3.4 本章小結(jié)46-47
• 第四章 基于ZooKeeper的分布式NameNode節(jié)點(diǎn)集群47-69
• 4.1 問題描述47-48
• 4.2 總體設(shè)計(jì)48-62
• 4.2.1 系統(tǒng)框架設(shè)計(jì)49-53
• 4.2.2 一致性策略研究53-56
• 4.2.3 故障恢復(fù)機(jī)制56-61
• 4.2.4 負(fù)載均衡評(píng)估策略61-62
• 4.3 元數(shù)據(jù)管理62-68
• 4.3.1 元數(shù)據(jù)組織結(jié)構(gòu)62-63
• 4.3.2 元數(shù)據(jù)分布算法63-66
• 4.3.3 元數(shù)據(jù)冗余機(jī)制66
• 4.3.4 元數(shù)據(jù)同步機(jī)制66-68
• 4.4 本章小結(jié)68-69
• 第五章 實(shí)驗(yàn)環(huán)境搭建與測試69-77
• 5.1 實(shí)驗(yàn)環(huán)境69-71
• 5.1.1 系統(tǒng)軟硬件環(huán)境69
• 5.1.2 配置HDFS69-71
• 5.2 實(shí)驗(yàn)結(jié)果分析71-76
• 5.2.1 負(fù)載均衡測試71-72
• 5.2.2 同步機(jī)制測試72-75
• 5.2.3 時(shí)間切換測試75-76
• 5.3 本章小結(jié)76-77
• 第六章 總結(jié)與展望77-79
• 6.1 本文工作總結(jié)77
• 6.2 未來研究工作展望77-79
• 致謝79-80
• 參考文獻(xiàn)80-83

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國智能交通年會(huì)論文集[C];2013年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 國家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計(jì)算機(jī)報(bào);2005年

2 國家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計(jì)算機(jī)報(bào);2005年

3 國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 眭椰敏;阿里云分布式文件系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

3 周克利;分布式文件系統(tǒng)中的若干關(guān)鍵算法研究[D];南京大學(xué);2013年

4 董乾豪;通用可擴(kuò)展的分布式文件系統(tǒng)性能測試框架研究與實(shí)現(xiàn)[D];南京大學(xué);2016年

5 吳森;分布式文件系統(tǒng)小文件性能優(yōu)化技術(shù)研究[D];華中科技大學(xué);2014年

6 胡夢楠;HDFS云存儲(chǔ)系統(tǒng)可用性能的優(yōu)化研究[D];電子科技大學(xué);2016年

7 周濤;分布式文件系統(tǒng)的研究[D];電子科技大學(xué);2005年

8 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實(shí)現(xiàn)[D];福州大學(xué);2006年

9 胡雨壯;分布式文件系統(tǒng)吞吐率優(yōu)化研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

10 吳晨濤;分布式文件系統(tǒng)中對(duì)象存儲(chǔ)目標(biāo)鏡像的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2006年

本文編號(hào)：969033