發(fā)布時(shí)間：2017-07-30 05:13

  本文關(guān)鍵詞：HDFS優(yōu)化研究及其在云存儲(chǔ)平臺(tái)中應(yīng)用

  更多相關(guān)文章： 分布式文件系統(tǒng) HDFS namenode瓶頸 datanode集群

【摘要】：隨著信息化時(shí)代的發(fā)展，人們更多的依賴(lài)網(wǎng)絡(luò)，導(dǎo)致互聯(lián)網(wǎng)用戶(hù)的激增，網(wǎng)絡(luò)信息數(shù)據(jù)量呈爆炸式增長(zhǎng)，這些數(shù)據(jù)中有百分之八十是文件圖像音頻等大文件，數(shù)據(jù)量甚至?xí)_(dá)到PB級(jí)如此海量的數(shù)據(jù)存儲(chǔ)成為當(dāng)前研究的熱點(diǎn)，也逐漸地成為制約企業(yè)長(zhǎng)足發(fā)展的問(wèn)題于是，構(gòu)建高可用的存儲(chǔ)網(wǎng)絡(luò)成為當(dāng)下的研究熱門(mén)，分布式文件存儲(chǔ)系統(tǒng)便應(yīng)運(yùn)而生HDFS運(yùn)用于海量數(shù)據(jù)存儲(chǔ)的場(chǎng)景，但是在架構(gòu)上仍存在不足，，因此，本文提出一種改進(jìn)的方案并將優(yōu)化后的HDFS應(yīng)用到實(shí)際場(chǎng)景中所做的主要工作如下： 首先，針對(duì)HDFS的單一namenode架構(gòu)問(wèn)題，提出搭建datanode集群的優(yōu)化方案在該方案中搭建datanode集群，每個(gè)小集群中都有一個(gè)namenode管理集群中的各datanode，同時(shí)將namenode中文件元數(shù)據(jù)信息緩存到datanode集群中，這樣就減少了客戶(hù)端與namenode的交互所帶來(lái)的namenode的內(nèi)存壓力優(yōu)化后的HDFS中會(huì)包括多個(gè)namenode，其中某一個(gè)集群中的namenode失效也不會(huì)導(dǎo)致整個(gè)HDFS癱瘓此外，設(shè)計(jì)了索引服務(wù)，管理文件到namenode的映射，從而在架構(gòu)上提升整體HDFS的性能 其次，搭建優(yōu)化后的HDFS集群并實(shí)際應(yīng)用到基于云計(jì)算的高校綜合信息管理平臺(tái)，解決了平臺(tái)上各應(yīng)用的文件存儲(chǔ)問(wèn)題在優(yōu)化后的HDFS集群上用java語(yǔ)言設(shè)計(jì)實(shí)現(xiàn)了供各應(yīng)用存儲(chǔ)的HDFS存儲(chǔ)服務(wù)和RMI遠(yuǎn)程調(diào)用存儲(chǔ)服務(wù)為了將平臺(tái)上各應(yīng)用上傳的文件進(jìn)行統(tǒng)一管理，使用ZK+Spring+Struts+Hibernate(ZSSH)框架java語(yǔ)言設(shè)計(jì)實(shí)現(xiàn)了平臺(tái)文件管理存儲(chǔ)系統(tǒng) 最后，使用JMeter測(cè)試工具對(duì)優(yōu)化前后HDFS集群進(jìn)行測(cè)試通過(guò)在相同并發(fā)情況下成功上傳文件的響應(yīng)時(shí)間對(duì)比進(jìn)行分析實(shí)驗(yàn)結(jié)果表明在大并發(fā)量的情況下上傳文件，優(yōu)化后的HDFS響應(yīng)時(shí)間更短， HDFS的性能得到一定改善
【關(guān)鍵詞】：分布式文件系統(tǒng) HDFS namenode瓶頸 datanode集群
【學(xué)位授予單位】：河北工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-14
• 1.1 研究背景及意義8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 國(guó)外研究現(xiàn)狀9-10
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀10-11
• 1.3 論文主要內(nèi)容11
• 1.4 論文組織結(jié)構(gòu)11-14
• 第二章 存儲(chǔ)相關(guān)知識(shí)14-32
• 2.1 存儲(chǔ)技術(shù)發(fā)展14-21
• 2.1.1 DAS14-15
• 2.1.2 NAS15-16
• 2.1.3 SAN16-17
• 2.1.4 集群存儲(chǔ)17-18
• 2.1.5 基于 P2P 分布式存儲(chǔ)18
• 2.1.6 云存儲(chǔ)技術(shù)18-20
• 2.1.7 分布式存儲(chǔ)發(fā)展20-21
• 2.2 分布式文件系統(tǒng)21-23
• 2.2.1 基礎(chǔ)架構(gòu)21-22
• 2.2.2 元數(shù)據(jù)的管理22-23
• 2.2.3 系統(tǒng)緩存23
• 2.3 幾個(gè)分布式文件系統(tǒng)介紹23-29
• 2.3.1 MapReduce 技術(shù)介紹23-25
• 2.3.2 GFS25-27
• 2.3.3 Hadoop 的 MapReduce 計(jì)算模型27
• 2.3.4 Hadoop 的分布式文件系統(tǒng) HDFS27-28
• 2.3.5 GFS 與 HDFS 比較28-29
• 2.4 本章小結(jié)29-32
• 第三章 HDFS 分析與優(yōu)化32-48
• 3.1 HDFS 架構(gòu)分析32-33
• 3.2 HDFS 數(shù)據(jù)組織方式33-38
• 3.2.1 本地?cái)?shù)據(jù)塊的組織方式33-34
• 3.2.2 數(shù)據(jù)層次分析34-36
• 3.2.3 HDFS 通信分析36-38
• 3.3 HDFS 文件下載分析38-42
• 3.4 HDFS 不足42-43
• 3.5 HDFS 優(yōu)化43-45
• 3.6 本章小結(jié)45-48
• 第四章 基于優(yōu)化的 HDFS 云存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)48-68
• 4.1 系統(tǒng)應(yīng)用背景48-50
• 4.2 HDFS 優(yōu)化搭建50-53
• 4.2.1 搭建技術(shù)50-52
• 4.2.2 HDFS 優(yōu)化搭建52-53
• 4.3 平臺(tái)文件存儲(chǔ)服務(wù)設(shè)計(jì)與實(shí)現(xiàn)53-57
• 4.3.1 HDFS 服務(wù)54-55
• 4.3.2 平臺(tái)文件存儲(chǔ)服務(wù)55-56
• 4.3.3 文件存儲(chǔ) RMI 遠(yuǎn)程調(diào)用服務(wù)56-57
• 4.4 平臺(tái)文件存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)57-62
• 4.4.1 平臺(tái)文件存儲(chǔ)系統(tǒng)概述57
• 4.4.2 系統(tǒng)框架設(shè)計(jì)57-58
• 4.4.3 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)58-60
• 4.4.4 系統(tǒng)主要模塊設(shè)計(jì)60-62
• 4.5 優(yōu)化后 HDFS 性能測(cè)試62-66
• 4.5.1 性能測(cè)試62-65
• 4.5.2 實(shí)驗(yàn)內(nèi)容與結(jié)果分析65-66
• 4.6 本章小結(jié)66-68
• 第五章 總結(jié)與展望68-70
• 5.1 總結(jié)68-69
• 5.2 展望69-70
• 參考文獻(xiàn)70-74
• 攻讀學(xué)位期間所取得的相關(guān)科研成果74-76
• 致謝76-77

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

2 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶(hù)端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

3 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

4 姚毓才;張琳娜;;淺析分布式文件系統(tǒng)原理及改進(jìn)[J];銅陵學(xué)院學(xué)報(bào);2008年06期

5 劉光博;;分布式文件系統(tǒng)在氣象業(yè)務(wù)中的應(yīng)用初探[J];氣象研究與應(yīng)用;2009年01期

6 岳衛(wèi)榮;;淺談分布式文件系統(tǒng)的使用[J];河南農(nóng)業(yè);2009年14期

7 何公明;許嚴(yán);;高性能分布式文件系統(tǒng)相關(guān)技術(shù)研究[J];有線(xiàn)電視技術(shù);2009年12期

8 薛志強(qiáng);劉鵬;文艾;周游;許闖;;分布式文件系統(tǒng)管理策略研究[J];電腦知識(shí)與技術(shù);2011年01期

9 田怡萌;李小勇;劉海濤;;分布式文件系統(tǒng)副本一致性檢測(cè)研究[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

10 熊文;喻之斌;須成忠;;幾個(gè)常見(jiàn)分布式文件系統(tǒng)特征分析和性能對(duì)比(英文)[J];集成技術(shù);2012年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專(zhuān)家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 常乾;基于網(wǎng)絡(luò)編碼的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

2 龔高晟;通用分布式文件系統(tǒng)的研究與改進(jìn)[D];華南理工大學(xué);2010年

3 周濤;分布式文件系統(tǒng)的研究[D];電子科技大學(xué);2005年

4 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實(shí)現(xiàn)[D];福州大學(xué);2006年

5 胡雨壯;分布式文件系統(tǒng)吞吐率優(yōu)化研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

6 孫莉娜;基于網(wǎng)絡(luò)的分布式文件系統(tǒng)初探[D];天津大學(xué);2006年

7 吳晨濤;分布式文件系統(tǒng)中對(duì)象存儲(chǔ)目標(biāo)鏡像的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2006年

8 程名;面向海量數(shù)據(jù)的分布式文件系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)[D];華中科技大學(xué);2010年

9 張紅林;分布式文件系統(tǒng)中集中安全管理服務(wù)器設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

10 谷方舟;云計(jì)算環(huán)境中分布式文件系統(tǒng)的負(fù)載均衡問(wèn)題研究[D];北京交通大學(xué);2012年

本文編號(hào)：592646