【摘要】：近年來,隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)海量化逐漸成為一種趨勢。如何有效可靠地存儲這些海量數(shù)據(jù)成為一個亟待解決的問題。針對傳統(tǒng)集中式存儲在可靠性、可擴(kuò)展性等方面的局限性,分布式存儲系統(tǒng)以其低成本和高可擴(kuò)展性等特點,逐漸贏得廣泛關(guān)注。為保證系統(tǒng)的可靠性,分布式存儲系統(tǒng)常采用冗余存儲的方式,以犧牲一定的存儲開銷為代價來換取系統(tǒng)可靠性。復(fù)制與糾刪碼是分布式存儲系統(tǒng)中2種傳統(tǒng)的冗余存儲策略。為解決復(fù)制策略在存儲開銷方面以及糾刪碼策略在修復(fù)帶寬開銷方面的不足,網(wǎng)絡(luò)編碼技術(shù)被引入到分布式存儲系統(tǒng)中,稱為再生碼,用于均衡系統(tǒng)存儲開銷與修復(fù)帶寬開銷。本文重點針對基于再生碼的節(jié)點修復(fù)方法進(jìn)行了研究,主要工作如下:(1)基于MSR碼的分布式存儲系統(tǒng)單節(jié)點修復(fù)算法由于人為操作失誤或機(jī)器故障等原因,常常導(dǎo)致分布式存儲系統(tǒng)中某些節(jié)點不可用,無法獲取節(jié)點上存儲的數(shù)據(jù),這樣的節(jié)點稱為失效節(jié)點。為維持系統(tǒng)的可靠性,設(shè)計一個良好的節(jié)點修復(fù)機(jī)制對失效節(jié)點進(jìn)行修復(fù),對于分布式存儲系統(tǒng)非常重要。本文提出了一種新的基于MSR碼的分布式存儲系統(tǒng)節(jié)點修復(fù)算法,該算法可以對單節(jié)點進(jìn)行確定性修復(fù)。該算法首先對系統(tǒng)中的節(jié)點進(jìn)行分組,對原始文件進(jìn)行分組存儲,每個節(jié)點都有其對應(yīng)的唯一分組,且各個分組相互獨(dú)立。其次,每個分組內(nèi),采用異或算法對原始文件數(shù)據(jù)塊進(jìn)行編碼存儲,不涉及有限域乘法等高級運(yùn)算。最后,解碼時,各分組可同時獨(dú)立進(jìn)行,同時,新生節(jié)點對失效節(jié)點上數(shù)據(jù)進(jìn)行修復(fù)時,只與該分組有關(guān),通過連接該分組其他存活節(jié)點并下載少量數(shù)據(jù)進(jìn)行異或運(yùn)算即可完成精確修復(fù),減小磁盤I/O開銷與修復(fù)復(fù)雜度。(2)基于MBR碼的多節(jié)點協(xié)作修復(fù)算法除了單節(jié)點失效外,在分布式存儲系統(tǒng)中,多節(jié)點同時失效的情況也時有發(fā)生,并且,在有些分布式存儲系統(tǒng)中,采用的是延遲修復(fù),即失效節(jié)點數(shù)目達(dá)到一定數(shù)目時,才啟動修復(fù)過程,因此,對分布式存儲系統(tǒng)的多節(jié)點修復(fù)算法進(jìn)行研究也是很有必要的。相比于將多節(jié)點修復(fù)分解為單個節(jié)點依次修復(fù),多個節(jié)點協(xié)作修復(fù)能減小修復(fù)帶寬開銷。本文對基于MBR碼的多節(jié)點協(xié)作修復(fù)方法進(jìn)行了研究,給出了一種新的基于MBR碼的多節(jié)點協(xié)作修復(fù)方法。理論分析表明,本文所提方法達(dá)到了其修復(fù)帶寬的理論最小值。
【圖文】：

第二章 分布式存儲系統(tǒng)概述17圖2.7 存儲-帶寬開銷權(quán)衡曲線上圖，橫軸表示修復(fù)單個節(jié)點的帶寬開銷，縱軸表示每個存儲節(jié)點的存儲開銷。由圖，當(dāng)節(jié)點存儲開銷不斷增加時，修復(fù)帶寬開銷會不斷減小，達(dá)到某一點時，不再減小，該點對應(yīng)該再生碼系統(tǒng)的修復(fù)帶寬下界；同理，當(dāng)修復(fù)帶寬不斷增加時，，節(jié)點存儲開銷不斷減小，到達(dá)某一點時，存儲開銷不在減小，該點對應(yīng)該再生碼系統(tǒng)的存儲開銷下界。這兩個下界點，分別對應(yīng)最小修復(fù)帶寬再生(Minimum BandwidthRegeneration, MBR )碼和最小存儲再生(Minimum Storage Regeneration, MSR)碼。由前面存儲開銷閾值函數(shù)，可得到 MSR 點的存儲開銷為和修復(fù)帶寬開銷分別為： , ,( 1)MSR MSRM Mdk k d k (2-12)同理，MBR 點的存儲開銷與修復(fù)帶寬開銷分別為： 2 22 2, ,2 2MBR MBRMd Mdkd k k kd k k (2-13)圖 2.7 對再生碼存儲開銷與修復(fù)帶寬開銷進(jìn)行分析時
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 孫韶輝,王新梅;互聯(lián)網(wǎng)數(shù)據(jù)可靠傳輸中前向糾錯技術(shù)[J];長安大學(xué)學(xué)報(自然科學(xué)版);2002年02期

相關(guān)博士學(xué)位論文 前3條

1 趙浩天;基于網(wǎng)絡(luò)編碼的分布式存儲容錯及擴(kuò)容問題研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 王禹;分布式存儲系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

3 胡q

本文編號：2658141