Hadoop分布式文件系統(tǒng),即HDFS,通過三備份存儲方式保障了數(shù)據(jù)的可靠性,存儲空間的利用率卻比較低。隨著數(shù)據(jù)規(guī)模的飛速增長,尤其對于冷數(shù)據(jù)而言,HDFS傳統(tǒng)存儲方式造成的額外開銷也會越來越大。因此,HDFS亟需一種新的優(yōu)化存儲機(jī)制,在保障數(shù)據(jù)可靠性的同時(shí),又能節(jié)省存儲空間。HDFS Erasure Coding項(xiàng)目應(yīng)用而生,它使用糾刪碼技術(shù)來存儲HDFS文件并恢復(fù)丟失的數(shù)據(jù)�；贖DFS傳統(tǒng)存儲方式及HDFS RAID技術(shù)現(xiàn)有的問題,在HDFS EC中引入了糾刪碼、條狀布局和分層命名協(xié)議等技術(shù)。結(jié)合對現(xiàn)有問題的分析,提出了HDFS EC的優(yōu)化指標(biāo)。通過對比HDFS EC編碼時(shí)條狀布局和連續(xù)布局的特點(diǎn),選擇了條狀布局,并針對條狀布局設(shè)計(jì)了新的文件存儲單位。在此基礎(chǔ)上,采用分層命名協(xié)議來定位內(nèi)部塊,減輕Name Node端的內(nèi)存壓力。針對HDFS EC設(shè)計(jì)了專門的讀寫類和輔助類,既能夠復(fù)用HDFS中部分已有的讀寫邏輯,又能實(shí)現(xiàn)HDFS EC基本的讀寫流程。為了保障HDFS EC中編解碼技術(shù)的豐富性和將來的擴(kuò)展性,設(shè)計(jì)了耦合性低、可插拔和模塊化的編解碼框架Erasure Codec和其他... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

GF（2）域中的二進(jìn)制矩陣[42]

華 中 科 技 大 學(xué) 碩 士 學(xué) 位 論 文圖 2-5 GF（2）域中的二進(jìn)制矩陣如圖 2-4 所示，黑色格子表示邏輯 1，白色格子表示邏輯 0[42]。生成矩陣的換如圖 2-6 所示[43]：

有限域轉(zhuǎn)換后的的柯西編碼運(yùn)算如表2-8所示是采用的GF(2w)（w大小為8，字段大小為256，本原多項(xiàng)式為

【參考文獻(xiàn)】：
期刊論文
[1]一種基于HDFS小文件存儲優(yōu)化方案[J]. 張曉麗,滑亞慧.  計(jì)算技術(shù)與自動(dòng)化. 2017(03)
[2]云存儲系統(tǒng)Master節(jié)點(diǎn)故障動(dòng)態(tài)切換算法[J]. 馬瑋駿,王強(qiáng),何曉暉,馮徑,馬強(qiáng).  計(jì)算機(jī)技術(shù)與發(fā)展. 2017(09)
[3]基于簡單再生碼的帶寬感知的分布式存儲節(jié)點(diǎn)修復(fù)優(yōu)化[J]. 丁尚,童鑫,陳艷,葉保留.  軟件學(xué)報(bào). 2017(08)
[4]分布式存儲中的糾刪碼容錯(cuò)技術(shù)研究[J]. 王意潔,許方亮,裴曉強(qiáng).  計(jì)算機(jī)學(xué)報(bào). 2017(01)
[5]一種基于模型的云計(jì)算容錯(cuò)機(jī)制開發(fā)方法[J]. 武義涵,黃罡,張穎,熊英飛.  計(jì)算機(jī)研究與發(fā)展. 2016(01)
[6]Ceph云文件系統(tǒng)中糾刪碼的應(yīng)用研究[J]. 劉莎,楚傳仁.  計(jì)算機(jī)時(shí)代. 2016(01)
[7]基于支持向量機(jī)的HDFS副本放置改進(jìn)策略[J]. 羅軍,陳仕強(qiáng).  計(jì)算機(jī)工程. 2015(11)
[8]基于Ceph的云存儲容錯(cuò)機(jī)制研究與實(shí)現(xiàn)[J]. 漆曉芳,倪明.  信息技術(shù). 2015(08)
[9]GRC:一種適用于多節(jié)點(diǎn)失效的高容錯(cuò)低修復(fù)成本糾刪碼[J]. 林軒,王意潔,裴曉強(qiáng),許方亮,符永銓.  計(jì)算機(jī)研究與發(fā)展. 2014(S2)
[10]基于糾刪碼的HDFS存儲方案[J]. 卞藝杰,馬瑞敏,李亞冰,吳慧.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2014(11)

博士論文
[1]分布式存儲系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究[D]. 朱云鋒.中國科學(xué)技術(shù)大學(xué) 2014



本文編號：3328988