本文關鍵詞：基于HDFS的云存儲關鍵技術(shù)研究

  更多相關文章： 云存儲 分布式文件系統(tǒng) HDFS 元數(shù)據(jù) 負載均衡 副本

【摘要】：云存儲系統(tǒng)為存儲大規(guī)模數(shù)據(jù)應運而生,其底層采用分布式文件系統(tǒng)作為存儲平臺。HDFS(Hadoop Distributed File Sysytem)是開源的云計算平臺Hadoop提出的分布式文件系統(tǒng),其設計簡單,應用廣泛。但是隨著數(shù)據(jù)量的指數(shù)型增長,在可用性、可靠性、擴展性和數(shù)據(jù)訪問性能等方面已經(jīng)難以滿足日益增長的數(shù)據(jù)量的存儲需求。HDFS采用單一的元數(shù)據(jù)服務器(MetaData Server, MDS)來管理整個系統(tǒng)的元數(shù)據(jù)信息,這樣雖然設計簡單,但是單一的元數(shù)據(jù)服務器經(jīng)常成為整個系統(tǒng)性能的瓶頸,限制元數(shù)據(jù)的數(shù)量,可擴展性差,并且單一的服務器節(jié)點也會帶來單點失效問題,當其發(fā)生故障時,整個系統(tǒng)將不能工作,影響系統(tǒng)可用性。同時,在現(xiàn)有的HDFS中,系統(tǒng)將默認保存三個文件副本來保證數(shù)據(jù)可靠性,但是副本分配數(shù)量固定,副本放置時位置的選擇可能會帶來負載不均衡等問題,影響系統(tǒng)效率。針對以上問題,本文進行了如下研究：對HDFS的系統(tǒng)架構(gòu)設計和工作原理進行了深入了解。本文提出一種集群化元數(shù)據(jù)服務器架構(gòu),在此基礎上,提出了一種引入虛擬節(jié)點的改進一致性Hash算法,采用目錄子樹劃分和改進的一致性Hash算法相結(jié)合的方式對元數(shù)據(jù)進行劃分。為解決數(shù)據(jù)訪問引起的局部過熱問題,提出一種基于改進的一致性Hash算法中虛擬節(jié)點遷移的動態(tài)負載均衡算法,動態(tài)調(diào)整運行過程中數(shù)據(jù)訪問熱度差異引起的局部過熱問題。實驗證明該算法在負載均衡性能方面具有較好的效果。為解決云數(shù)據(jù)可靠性,針對現(xiàn)有的文件系統(tǒng)中副本數(shù)量固定,副本放置位置選擇可能帶來負載不均衡等問題,提出了一種動態(tài)的副本數(shù)量調(diào)整策略,該策略可以隨用戶訪問熱度和訪問請求響應時間的變化而動態(tài)調(diào)整副本的數(shù)量。為了使訪問效率更高,提出基于傳輸代價的副本放置算法,在放置副本時,選擇訪問效率最高的最佳放置位置。最后實驗證明了副本策略的有效性。
【關鍵詞】：云存儲 分布式文件系統(tǒng) HDFS 元數(shù)據(jù) 負載均衡 副本
【學位授予單位】：廣西大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-11
• 第一章 緒論11-14
• 1.1 研究背景11-12
• 1.2 研究意義12
• 1.3 論文研究內(nèi)容12-13
• 1.4 論文組織結(jié)構(gòu)13-14
• 第二章 云存儲相關技術(shù)研究14-29
• 2.1 云存儲14-15
• 2.1.1 云存儲的概念14
• 2.1.2 云存儲發(fā)展現(xiàn)狀14-15
• 2.2 分布式文件系統(tǒng)與HDFS15-16
• 2.2.1 分布式文件系統(tǒng)簡介15-16
• 2.2.2 HDFS簡介16
• 2.3 HDFS基本原理與工作流程16-22
• 2.3.1 HDFS系統(tǒng)架構(gòu)16-17
• 2.3.2 HDFS主要數(shù)據(jù)結(jié)構(gòu)17-20
• 2.3.3 HDFS讀寫工作流程20-22
• 2.4 分布式文件系統(tǒng)的可用性與元數(shù)據(jù)管理22-27
• 2.4.1 分布式文件系統(tǒng)可用性22-23
• 2.4.2 HDFS的單點失效問題23-24
• 2.4.3 HDFS的單點失效問題解決方案24-25
• 2.4.4 去中心化元數(shù)據(jù)服務器架構(gòu)及元數(shù)據(jù)管理25-27
• 2.5 分布式文件系統(tǒng)的可靠性與副本管理27-29
• 2.5.1 分布式文件系統(tǒng)的可靠性27-28
• 2.5.2 分布式文件系統(tǒng)的副本管理28-29
• 第三章 基于高可用的NameNode集群元數(shù)據(jù)管理方案研究29-43
• 3.1 相關研究背景29-31
• 3.1.1 多元數(shù)據(jù)服務器分布式文件系統(tǒng)29-30
• 3.1.2 多元數(shù)據(jù)服務器架構(gòu)的元數(shù)據(jù)管理30-31
• 3.2 基于雙機高可用的分布式文件系統(tǒng)架構(gòu)31-33
• 3.3 基于目錄子樹劃分和一致性Hash算法的元數(shù)據(jù)管理方案33-36
• 3.3.1 一致性Hash算法33-35
• 3.3.2 目錄子樹劃分算法35-36
• 3.4 元數(shù)據(jù)服務器集群的負載均衡36-41
• 3.4.1 靜態(tài)負載均衡37-39
• 3.4.2 動態(tài)負載均衡39-41
• 3.5 實驗及結(jié)果分析41-43
• 3.5.1 實驗環(huán)境41
• 3.5.2 實驗過程及結(jié)果41-43
• 第四章 云存儲系統(tǒng)中動態(tài)副本策略研究43-52
• 4.1 相關研究背景43-44
• 4.2 動態(tài)副本數(shù)量調(diào)整的依據(jù)44-46
• 4.2.1 文件熱度44-45
• 4.2.2 請求響應時間45-46
• 4.2.3 副本數(shù)量調(diào)整的依據(jù)46
• 4.3 動態(tài)調(diào)整副本數(shù)量46-48
• 4.3.1 確定需要調(diào)整的副本46-47
• 4.3.2 確定需要調(diào)整的副本的數(shù)量47-48
• 4.4 基于傳輸代價的副本放置算法48-49
• 4.4.1 集群節(jié)點負載率48-49
• 4.4.2 放置節(jié)點選擇49
• 4.5 實驗及結(jié)果分析49-52
• 4.5.1 實驗環(huán)境49-50
• 4.5.2 實驗過程及結(jié)果50-52
• 第五章 總結(jié)與展望52-54
• 5.1 論文總結(jié)52-53
• 5.2 下一步工作53-54
• 參考文獻54-59
• 致謝59-60
• 攻讀碩士學位期間發(fā)表論文情況60

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉健;張軍偉;張浩;邵冰清;楊洪章;劉振軍;;藍鯨元數(shù)據(jù)服務器集群的細粒度負載遷移[J];計算機研究與發(fā)展;2014年S1期

2 王強;李雄飛;王婧;;云計算中的數(shù)據(jù)放置與任務調(diào)度算法[J];計算機研究與發(fā)展;2014年11期

3 英昌甜;于炯;廖彬;魯亮;;一種面向低延遲的內(nèi)存HDFS數(shù)據(jù)存儲策略[J];微電子學與計算機;2014年11期

4 孫知信;黃涵霞;;基于云計算的數(shù)據(jù)存儲技術(shù)研究[J];南京郵電大學學報(自然科學版);2014年04期

5 師明;劉軼;唐歌實;;一種面向分布式文件系統(tǒng)的文件預取模型的設計與實現(xiàn)[J];計算機科學;2014年07期

6 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關鍵技術(shù)[J];計算機研究與發(fā)展;2014年02期

7 魏光輝;李杰斌;王程玉;何震瀛;汪衛(wèi);;一種分布式系統(tǒng)上的元數(shù)據(jù)管理系統(tǒng)[J];計算機研究與發(fā)展;2013年S1期

8 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[J];小型微型計算機系統(tǒng);2013年07期

9 陳濤;肖儂;劉芳;;對象存儲系統(tǒng)中自適應的元數(shù)據(jù)負載均衡機制[J];軟件學報;2013年02期

10 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計算機系統(tǒng);2013年02期

中國博士學位論文全文數(shù)據(jù)庫 前2條

1 林文輝;基于Hadoop的海量網(wǎng)絡數(shù)據(jù)處理平臺的關鍵技術(shù)研究[D];北京郵電大學;2014年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術(shù)研究所）;2002年

中國碩士學位論文全文數(shù)據(jù)庫 前5條

1 李夢楠;基于HDFS的名字節(jié)點的性能優(yōu)化技術(shù)研究[D];沈陽工業(yè)大學;2015年

2 李鐵;面向海量小文件存取的HDFS優(yōu)化研究[D];東華大學;2015年

3 劉通;基于HDFS的小文件處理與副本策略優(yōu)化研究[D];中國海洋大學;2014年

4 季錢飛;高可用HDFS管理平臺的設計與實現(xiàn)[D];南京大學;2013年

5 劉曉偉;一種基于P2P的云存儲模型研究[D];西安電子科技大學;2012年

，

本文編號：1059646