【摘要】：在大數(shù)據(jù)時代,分布式存儲已成為解決海量數(shù)據(jù)存儲的最有效途徑。隨著分布式系統(tǒng)規(guī)模越來越龐大,由于磁盤錯誤等因素而引發(fā)的節(jié)點故障也日益頻繁,為此分布式存儲研究的重點在于如何快速修復故障節(jié)點并提升系統(tǒng)修復性能。通常采用冗余存儲方式來實現(xiàn)故障節(jié)點的快速修復,傳統(tǒng)的冗余存儲方案,如復制或者糾刪碼,都存在各自的缺陷和不足。具體地,復制的冗余存儲開銷過大,而糾刪碼的傳輸帶寬代價較高。再生碼則可以達到兩者的最佳折衷,但其故障修復期間的磁盤I/O開銷大,且修復復雜度也較高。因此,在存儲開銷相對理想的條件下,本文進一步對分布式存儲系統(tǒng)故障修復期間的帶寬開銷、修復局部性以及修復時間進行優(yōu)化,主要研究內(nèi)容如下:(1)提出一種基于部分重復循環(huán)碼的局部性修復編碼方法。在構(gòu)造部分重復循環(huán)碼(Fractional Repetition Cyclic Codes,FRCC)的基礎上劃分局部修復組,且局部修復組內(nèi)故障節(jié)點可以通過相鄰節(jié)點實現(xiàn)協(xié)作修復。性能分析表明,基于部分重復循環(huán)碼的局部性修復編碼可以快速實現(xiàn)多個不相鄰故障節(jié)點的數(shù)據(jù)重構(gòu),且故障修復帶寬開銷和修復局部性方面較三副本策略、簡單再生碼以及基于傳統(tǒng)部分重復碼的局部性修復編碼更具優(yōu)勢�？紤]到分布式存儲系統(tǒng)存在多個相鄰故障節(jié)點的情形,對基于FRCC的局部性修復編碼改進,構(gòu)造生成一種可容多錯的交織循環(huán)卷積碼(Interleaved Cyclic Convolution,ICC)的局部性修復編碼,該局部性修復編碼可以完成多個相鄰故障節(jié)點的精確修復,且故障節(jié)點的修復選擇方案眾多,同時確保了修復過程中相對較低的修復局部性。(2)將部分重復碼(Fractional Repetition Codes,FRC)與異構(gòu)分布式存儲系統(tǒng)相結(jié)合,提出一類異構(gòu)部分重復碼(Heterogeneous Fractional Repetition Codes,HFRC)的構(gòu)造方法。具體地,首先對原始數(shù)據(jù)塊進行最大距離可分(Maximum Distance Separable,MDS)碼編碼,對輸出的編碼塊進行分層交叉,確定重復度后按序組合,進而生成包含再生層和交叉再生層的一類具有修復可選性的異構(gòu)部分重復碼。理論分析表明,具有相同編碼規(guī)則的同異構(gòu)部分重復碼之間可相互轉(zhuǎn)換;與最小帶寬再生碼相比,該異構(gòu)部分重復碼可實現(xiàn)故障節(jié)點的快速精確修復,且在故障修復期間的磁盤I/O開銷和修復時間開銷方面的性能更優(yōu)。
【學位授予單位】：長安大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333
【圖文】：

節(jié)點存儲開銷隨數(shù)據(jù)節(jié)點數(shù)k的變化曲線

（兩不相鄰節(jié)點故障）修復帶寬開銷對比

【參考文獻】

相關期刊論文 前2條

1 陳明潔;;大數(shù)據(jù)時代對檔案現(xiàn)代化影響和要求[J];檔案管理;2013年06期

2 姜大光;奚加鵬;;分布式存儲系統(tǒng)(OceanStore)的復制策略[J];計算機工程與科學;2008年08期

相關碩士學位論文 前3條

1 張崇;分布式存儲系統(tǒng)中節(jié)點故障修復研究[D];長安大學;2018年

2 孫宇;基于海量數(shù)據(jù)的用戶行為數(shù)據(jù)分析系統(tǒng)研究與實現(xiàn)[D];山東大學;2017年

3 羅威;分布式存儲系統(tǒng)中的失效節(jié)點修復研究[D];長安大學;2016年

本文編號：2748843