【摘要】：在大數(shù)據(jù)時代,分布式存儲已成為解決海量數(shù)據(jù)存儲的最有效途徑。隨著分布式系統(tǒng)規(guī)模越來越龐大,由于磁盤錯誤等因素而引發(fā)的節(jié)點(diǎn)故障也日益頻繁,為此分布式存儲研究的重點(diǎn)在于如何快速修復(fù)故障節(jié)點(diǎn)并提升系統(tǒng)修復(fù)性能。通常采用冗余存儲方式來實現(xiàn)故障節(jié)點(diǎn)的快速修復(fù),傳統(tǒng)的冗余存儲方案,如復(fù)制或者糾刪碼,都存在各自的缺陷和不足。具體地,復(fù)制的冗余存儲開銷過大,而糾刪碼的傳輸帶寬代價較高。再生碼則可以達(dá)到兩者的最佳折衷,但其故障修復(fù)期間的磁盤I/O開銷大,且修復(fù)復(fù)雜度也較高。因此,在存儲開銷相對理想的條件下,本文進(jìn)一步對分布式存儲系統(tǒng)故障修復(fù)期間的帶寬開銷、修復(fù)局部性以及修復(fù)時間進(jìn)行優(yōu)化,主要研究內(nèi)容如下:(1)提出一種基于部分重復(fù)循環(huán)碼的局部性修復(fù)編碼方法。在構(gòu)造部分重復(fù)循環(huán)碼(Fractional Repetition Cyclic Codes,FRCC)的基礎(chǔ)上劃分局部修復(fù)組,且局部修復(fù)組內(nèi)故障節(jié)點(diǎn)可以通過相鄰節(jié)點(diǎn)實現(xiàn)協(xié)作修復(fù)。性能分析表明,基于部分重復(fù)循環(huán)碼的局部性修復(fù)編碼可以快速實現(xiàn)多個不相鄰故障節(jié)點(diǎn)的數(shù)據(jù)重構(gòu),且故障修復(fù)帶寬開銷和修復(fù)局部性方面較三副本策略、簡單再生碼以及基于傳統(tǒng)部分重復(fù)碼的局部性修復(fù)編碼更具優(yōu)勢。考慮到分布式存儲系統(tǒng)存在多個相鄰故障節(jié)點(diǎn)的情形,對基于FRCC的局部性修復(fù)編碼改進(jìn),構(gòu)造生成一種可容多錯的交織循環(huán)卷積碼(Interleaved Cyclic Convolution,ICC)的局部性修復(fù)編碼,該局部性修復(fù)編碼可以完成多個相鄰故障節(jié)點(diǎn)的精確修復(fù),且故障節(jié)點(diǎn)的修復(fù)選擇方案眾多,同時確保了修復(fù)過程中相對較低的修復(fù)局部性。(2)將部分重復(fù)碼(Fractional Repetition Codes,FRC)與異構(gòu)分布式存儲系統(tǒng)相結(jié)合,提出一類異構(gòu)部分重復(fù)碼(Heterogeneous Fractional Repetition Codes,HFRC)的構(gòu)造方法。具體地,首先對原始數(shù)據(jù)塊進(jìn)行最大距離可分(Maximum Distance Separable,MDS)碼編碼,對輸出的編碼塊進(jìn)行分層交叉,確定重復(fù)度后按序組合,進(jìn)而生成包含再生層和交叉再生層的一類具有修復(fù)可選性的異構(gòu)部分重復(fù)碼。理論分析表明,具有相同編碼規(guī)則的同異構(gòu)部分重復(fù)碼之間可相互轉(zhuǎn)換;與最小帶寬再生碼相比,該異構(gòu)部分重復(fù)碼可實現(xiàn)故障節(jié)點(diǎn)的快速精確修復(fù),且在故障修復(fù)期間的磁盤I/O開銷和修復(fù)時間開銷方面的性能更優(yōu)。
【學(xué)位授予單位】：長安大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP333
【圖文】：

節(jié)點(diǎn)存儲開銷隨數(shù)據(jù)節(jié)點(diǎn)數(shù)k的變化曲線

（兩不相鄰節(jié)點(diǎn)故障）修復(fù)帶寬開銷對比

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳明潔;;大數(shù)據(jù)時代對檔案現(xiàn)代化影響和要求[J];檔案管理;2013年06期

2 姜大光;奚加鵬;;分布式存儲系統(tǒng)(OceanStore)的復(fù)制策略[J];計算機(jī)工程與科學(xué);2008年08期

相關(guān)碩士學(xué)位論文 前3條

1 張崇;分布式存儲系統(tǒng)中節(jié)點(diǎn)故障修復(fù)研究[D];長安大學(xué);2018年

2 孫宇;基于海量數(shù)據(jù)的用戶行為數(shù)據(jù)分析系統(tǒng)研究與實現(xiàn)[D];山東大學(xué);2017年

3 羅威;分布式存儲系統(tǒng)中的失效節(jié)點(diǎn)修復(fù)研究[D];長安大學(xué);2016年

本文編號：2748843