本文關(guān)鍵詞：基于糾刪碼的云文件系統(tǒng)設(shè)計與優(yōu)化

  更多相關(guān)文章： 云文件系統(tǒng) 糾刪碼 負(fù)載均衡 數(shù)據(jù)放置 數(shù)據(jù)修復(fù)

【摘要】：隨著云計算和大數(shù)據(jù)技術(shù)的快速興起,云存儲作為一種新型的存儲模式應(yīng)運而生,其在科學(xué)計算和商業(yè)計算等大規(guī)模數(shù)據(jù)存儲領(lǐng)域發(fā)揮著重要的作用,并受到企業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。云文件系統(tǒng)是云存儲系統(tǒng)的重要組成部分,為云存儲系統(tǒng)提供底層的存儲支撐,負(fù)責(zé)對數(shù)據(jù)進(jìn)行有效、可靠的存儲來保證數(shù)據(jù)的可用性,進(jìn)一步保證存儲系統(tǒng)的可靠性和穩(wěn)定性。然而隨著存儲集群規(guī)模不斷壯大,存儲節(jié)點失效成為一種普遍現(xiàn)象,糾刪碼冗余技術(shù)以其較強的容錯能力和較高的空間利用率逐步被應(yīng)用在云文件系統(tǒng)中保證數(shù)據(jù)的可靠性。在基于糾刪碼的云文件系統(tǒng)中,如何結(jié)合糾刪碼的特點對大規(guī)模數(shù)據(jù)進(jìn)行高效、均衡、容錯的存儲成為了企業(yè)和研究者所關(guān)注的重點問題。針對上述情況,本文對基于糾刪碼的云文件系統(tǒng)的負(fù)載均衡、數(shù)據(jù)放置和數(shù)據(jù)恢復(fù)三個方面進(jìn)行深入研究,本文取得的主要研究成果如下:1)提出了存儲節(jié)點負(fù)載能力的評價方法。該方法分析并確定影響存儲節(jié)點負(fù)載能力的主要因素,采用層次分析法建模求解每個因素對節(jié)點負(fù)載影響的權(quán)重大小,提出節(jié)點負(fù)載能力計算公式以及負(fù)載分類方法。2)提出了一種面向負(fù)載均衡的數(shù)據(jù)放置算法BDPA。該算法在節(jié)點負(fù)載能力評價方法的基礎(chǔ)上,根據(jù)異構(gòu)環(huán)境中節(jié)點的實時負(fù)載能力進(jìn)行數(shù)據(jù)分配。該算法不僅實現(xiàn)了存儲節(jié)點內(nèi)的負(fù)載均衡,在最大限度保證數(shù)據(jù)可靠性的同時加快了數(shù)據(jù)寫入速度。3)提出了一種基于拓?fù)涓兄臄?shù)據(jù)修復(fù)算法。該算法針對糾刪碼技術(shù)數(shù)據(jù)修復(fù)的特點,在修復(fù)數(shù)據(jù)過程中區(qū)分原始數(shù)據(jù)對象和編碼數(shù)據(jù)對象,根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)選擇距離訪問結(jié)點或修復(fù)客戶端最近的有效數(shù)據(jù)塊,減少數(shù)據(jù)修復(fù)過程中的網(wǎng)絡(luò)傳輸開銷,提高數(shù)據(jù)修復(fù)速度。4)設(shè)計并實現(xiàn)了基于糾刪碼的云文件系統(tǒng)EC-HDFS。實驗通過與Facebook公司的糾刪碼云文件系統(tǒng)HDFS-RAID進(jìn)行對比測試分析,驗證了本文所提出的面向負(fù)載均衡的數(shù)據(jù)放置算法BDPA和基于拓?fù)涓兄男迯?fù)算法,能夠較好的實現(xiàn)節(jié)點內(nèi)的負(fù)載均衡,提高數(shù)據(jù)寫入速度約12%,加快數(shù)據(jù)修復(fù)速度約15%。
【關(guān)鍵詞】：云文件系統(tǒng) 糾刪碼 負(fù)載均衡 數(shù)據(jù)放置 數(shù)據(jù)修復(fù)
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要9-10
• ABSTRACT10-12
• 第一章 緒論12-22
• 1.1 研究背景12-15
• 1.1.1 分布式存儲技術(shù)的發(fā)展12-14
• 1.1.2 存儲系統(tǒng)失效的原因14
• 1.1.3 存儲系統(tǒng)的可靠性14-15
• 1.2 數(shù)據(jù)冗余技術(shù)15-19
• 1.2.1 冗余技術(shù)的發(fā)展15-16
• 1.2.2 冗余技術(shù)的現(xiàn)狀16-18
• 1.2.3 副本冗余技術(shù)18
• 1.2.4 糾刪碼冗余技術(shù)18-19
• 1.3 本文工作19-20
• 1.4 論文組織結(jié)構(gòu)20-22
• 第二章 相關(guān)研究22-30
• 2.1 糾刪碼技術(shù)的分類22-25
• 2.1.1 陣列糾刪碼22-23
• 2.1.2 RS類糾刪碼23-24
• 2.1.3 LDPC糾刪碼24
• 2.1.4 存儲系統(tǒng)中的糾刪碼研究24-25
• 2.2 負(fù)載均衡的分類25-26
• 2.2.1 靜態(tài)負(fù)載均衡算法25
• 2.2.2 動態(tài)負(fù)載均衡算法25-26
• 2.2.3 自適應(yīng)負(fù)載均衡算法26
• 2.3 數(shù)據(jù)放置策略26-27
• 2.3.1 啟發(fā)式放置算法26-27
• 2.3.2 隨機放置算法27
• 2.3.3 爬山放置算法27
• 2.4 數(shù)據(jù)修復(fù)策略27-28
• 2.4.1 被動式修復(fù)28
• 2.4.2 主動式修復(fù)28
• 2.5 本章小結(jié)28-30
• 第三章 基于糾刪碼的數(shù)據(jù)放置與修復(fù)算法研究30-46
• 3.1 存儲節(jié)點負(fù)載能力評價方法30-36
• 3.1.1 負(fù)載評價指標(biāo)的選擇30-31
• 3.1.2 負(fù)載指標(biāo)獲取方法31
• 3.1.3 概念定義31-32
• 3.1.4 存儲節(jié)點負(fù)載能力的分類32
• 3.1.5 基于層次分析法的負(fù)載權(quán)重建模32-36
• 3.2 面向負(fù)載均衡的數(shù)據(jù)放置算法36-41
• 3.2.1 數(shù)據(jù)放置策略分析36-37
• 3.2.2 基于糾刪碼的數(shù)據(jù)放置算法描述37-38
• 3.2.3 基于糾刪碼的數(shù)據(jù)放置算法實現(xiàn)38-41
• 3.2.4 算法分析41
• 3.3 基于拓?fù)涓兄臄?shù)據(jù)修復(fù)算法41-45
• 3.3.1 數(shù)據(jù)修復(fù)策略分析42
• 3.3.2 數(shù)據(jù)修復(fù)算法思想42-44
• 3.3.3 數(shù)據(jù)修復(fù)算法分析44-45
• 3.4 本章小結(jié)45-46
• 第四章 基于糾刪碼的云文件系統(tǒng)設(shè)計與實現(xiàn)46-58
• 4.1 HDFS-RAID簡介46-49
• 4.1.1 總體架構(gòu)46-47
• 4.1.2 功能分析47-49
• 4.2 基于糾刪碼云文件系統(tǒng)的設(shè)計49-52
• 4.2.1 EC-HDFS總體結(jié)構(gòu)50
• 4.2.2 負(fù)載監(jiān)測模塊50-51
• 4.2.3 數(shù)據(jù)放置模塊51
• 4.2.4 數(shù)據(jù)修復(fù)模塊51-52
• 4.3 基于糾刪碼云文件系統(tǒng)的實現(xiàn)52-57
• 4.3.1 EC-HDFS的實現(xiàn)流程52-53
• 4.3.2 重要數(shù)據(jù)結(jié)構(gòu)53
• 4.3.3 負(fù)載監(jiān)測模塊53-54
• 4.3.4 數(shù)據(jù)放置模塊54-55
• 4.3.5 數(shù)據(jù)修復(fù)模塊55-57
• 4.4 本章小結(jié)57-58
• 第五章 實驗測試及分析58-66
• 5.1 實驗環(huán)境搭建58-61
• 5.1.1 硬件環(huán)境58-60
• 5.1.2 軟件環(huán)境60-61
• 5.2 測試方案以及結(jié)果分析61-64
• 5.2.1 面向負(fù)載均衡的數(shù)據(jù)放置算法性能測試61-63
• 5.2.2 基于拓?fù)涓兄臄?shù)據(jù)修復(fù)算法性能測試63-64
• 5.3 本章小結(jié)64-66
• 第六章 結(jié)束語66-68
• 6.1 工作總結(jié)66-67
• 6.2 未來展望67-68
• 致謝68-70
• 參考文獻(xiàn)70-74
• 作者在學(xué)期間取得的學(xué)術(shù)成果74

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 韓德志;陳磊;;存儲網(wǎng)絡(luò)高可用系統(tǒng)設(shè)計關(guān)鍵技術(shù)研究[J];計算機應(yīng)用研究;2007年08期

2 樊治平,趙萱;多屬性決策中權(quán)重確定的主客觀賦權(quán)法[J];決策與決策支持系統(tǒng);1997年04期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

2 李旭;系統(tǒng)級數(shù)據(jù)保護(hù)技術(shù)研究[D];華中科技大學(xué);2008年

，

本文編號：792844