本文關鍵詞：HDFS的副本管理策略研究

  更多相關文章： 云存儲 副本策略 分布式文件系統(tǒng) 負載均衡 支持向量機

【摘要】：云存儲作為云計算的存儲基礎正隨著大數(shù)據(jù)時代的到來發(fā)揮著越來越重要的作用。云存儲采用分布式架構來應對海量數(shù)據(jù)的存儲。如何在可靠性、高性能等方面提高云存儲的服務能力一直都是研究關注的熱點。云存儲中數(shù)據(jù)的安全依賴于它的副本技術。副本技術是一種數(shù)據(jù)管理機制,它將存儲的數(shù)據(jù)復制多份并分布在多個節(jié)點上,以此來提高云存儲系統(tǒng)的可靠性、負載均衡性、數(shù)據(jù)訪問效率。本文以提高云存儲的服務能力為目標,主要圍繞分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)的副本創(chuàng)建和放置策略進行研究。本文根據(jù)存儲系統(tǒng)中文件訪問的特點提出并設計了一種依據(jù)熱度動態(tài)創(chuàng)建副本的算法。針對HDFS原有副本創(chuàng)建方式的不足,基于文件訪問熱度的副本創(chuàng)建算法通過綜合考慮每個文件的訪問頻率以及訪問時間的差異,使整個HDFS集群能夠動態(tài)的調(diào)整每個文件的副本數(shù)。對于訪問頻率高的文件可以依據(jù)其特點為其增加副本的個數(shù)。增加的多個副本能夠更好地分散訪問請求,使整個系統(tǒng)不會出現(xiàn)熱點故障,從而有效降低了系統(tǒng)出現(xiàn)單點故障的概率。另外由于有多個副本,可以使來自用戶的訪問請求就近選擇副本數(shù)據(jù),從而有效降低網(wǎng)絡延遲。而對于訪問頻率低的數(shù)據(jù),該算法可以在不影響其可用性的情況下為其分配更少的副本,這樣就能有效的降低集群的負載。本文提出一種基于SVM(Support Vector Machine)的副本放置策略模型SRPM(SVM Replica Placement Model)。為了能夠應對超大規(guī)模數(shù)據(jù)的存儲以及提高容錯性,Hadoop分布式文件系統(tǒng)HDFS采用一種機架感知的多副本放置策略。但HDFS在副本放置過程中沒有綜合考慮各節(jié)點服務器的差異性,這會導致集群出現(xiàn)負載失衡。并且HDFS在選擇遠程機架節(jié)點放置副本時采用隨機方式,而這有可能導致節(jié)點之間的網(wǎng)絡距離過長,使得在節(jié)點之間傳輸數(shù)據(jù)會消耗大量時間。針對以上問題,副本放置策略模型(SRPM)基于SVM通過綜合考慮節(jié)點負載情況,節(jié)點硬件性能,節(jié)點網(wǎng)絡距離來為副本找到一個最佳的放置節(jié)點。實驗結果表明與HDFS原有的副本放置策略相比SRPM能更有效的實現(xiàn)負載均衡。
【關鍵詞】：云存儲 副本策略 分布式文件系統(tǒng) 負載均衡 支持向量機
【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333;TP18
【目錄】：

• 中文摘要3-4
• 英文摘要4-8
• 1 緒論8-13
• 1.1 課題研究的背景和意義8-9
• 1.2 國內(nèi)外研究現(xiàn)狀9-11
• 1.3 本文的研究目的和研究內(nèi)容11-12
• 1.3.1 研究目的11
• 1.3.2 研究內(nèi)容11-12
• 1.4 論文的結構安排12-13
• 2 云存儲基本知識13-28
• 2.1 云存儲技術13-18
• 2.1.1 云存儲概念13
• 2.1.2 云存儲架構模型13-14
• 2.1.3 云存儲分類14-15
• 2.1.4 云存儲關鍵技術15-16
• 2.1.5 云存儲優(yōu)勢16-17
• 2.1.6 云存儲發(fā)展趨勢17-18
• 2.2 副本技術18-21
• 2.2.1 副本技術概述18-19
• 2.2.2 副本管理策略分類19-20
• 2.2.3 副本技術研究方向20-21
• 2.3 分布式文件系統(tǒng)HDFS21-27
• 2.3.1 HDFS概述21-22
• 2.3.2 HDFS架構22-23
• 2.3.3 HDFS工作流程23-25
• 2.3.4 HDFS異常處理25-26
• 2.3.5 HDFS副本機制26-27
• 2.4 本章小結27-28
• 3 基于文件熱度的動態(tài)副本創(chuàng)建策略28-40
• 3.1 副本創(chuàng)建研究現(xiàn)狀28
• 3.2 HDFS原有副本創(chuàng)建策略28-29
• 3.3 HDFS原有副本創(chuàng)建策略存在的問題29
• 3.4 基于文件熱度的動態(tài)副本創(chuàng)建策略29-35
• 3.4.1 基本思想29
• 3.4.2 文件訪問熱度計算方法29-32
• 3.4.3 副本創(chuàng)建時機32-33
• 3.4.5 動態(tài)副本創(chuàng)建算法33-35
• 3.5 實驗分析及總結35-39
• 3.5.1 實驗環(huán)境35-38
• 3.5.2 性能分析及對比38-39
• 3.6 本章小結39-40
• 4 基于SVM的副本放置策略模型40-50
• 4.1 副本放置研究現(xiàn)狀40
• 4.2 HDFS原有副本放置策略的不足40-41
• 4.3 改進的副本放置策略模型41-43
• 4.3.1 基本思想41
• 4.3.2 問題描述41-42
• 4.3.3 節(jié)點特征選取42-43
• 4.4 算法描述43-44
• 4.5 實驗與結果分析44-49
• 4.5.1 實驗環(huán)境44-45
• 4.5.2 改進策略模型的具體實現(xiàn)45
• 4.5.3 性能分析及對比45-49
• 4.6 本章總結49-50
• 5 總結及展望50-52
• 5.1 本文總結50-51
• 5.2 本文展望51-52
• 致謝52-53
• 參考文獻53-56
• 附錄56
• A. 作者在碩士學位期間發(fā)表的學術論文56
• B. 作者在攻讀學位期間參加的科研項目56

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計算機應用;2011年S2期

2 郎為民;楊德鵬;;云計算中的分布式文件系統(tǒng)[J];電信快報;2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應用級分布式文件系統(tǒng)接口標準化探索[J];信息技術與標準化;2012年10期

4 應朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計算機工程與科學;1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動Agent的新型分布式文件系統(tǒng)研究[J];計算機科學;2002年10期

6 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應用文萃;2004年07期

7 黃華,張建剛,許魯;藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學;2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進[J];計算機應用;2007年S2期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關鍵技術研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時代的交管綜合應用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學技術大學計算機學院軟件所 董勇 周恩強;構建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡中的應用[N];電腦報;2004年

6 ;Hadoop：為構建海量數(shù)據(jù)架構而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網(wǎng)絡世界;2013年

9 張力平;云計算和物聯(lián)網(wǎng)的美妙融合[N];學習時報;2014年

10 《網(wǎng)絡世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡世界;2012年

中國博士學位論文全文數(shù)據(jù)庫 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務關鍵問題研究[D];中國科學院研究生院（計算技術研究所）;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 冷志強;基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)[D];復旦大學;2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲研究與優(yōu)化[D];電子科技大學;2015年

3 何雄;大小文件跨網(wǎng)絡集群快速遷移協(xié)議[D];電子科技大學;2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應用[D];北京理工大學;2015年

5 譙林飛;云計算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究[D];電子科技大學;2014年

6 秦小寒;優(yōu)化性能的分布式存儲子系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

7 牛升;分布式文件系統(tǒng)的負載均衡策略研究[D];電子科技大學;2014年

8 郭建國;基于分布式文件系統(tǒng)FastDFS的圖片服務器件設計與應用[D];中國科學院大學(工程管理與信息技術學院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2015年

10 吳霖;分布式微信公眾平臺爬蟲系統(tǒng)的研究與應用[D];南華大學;2015年

本文編號：639165