本文關鍵詞： 分布式存儲 網絡編碼 再生碼 節(jié)點修復 系統(tǒng)擴容　出處：《中國科學技術大學》2013年博士論文　論文類型：學位論文

【摘要】：當前,信息技術飛速發(fā)展,已從以計算設備為核心的時代進入到以存儲設備為核心的時代,數據海量化成為一種趨勢。分布式存儲以其廉價和高擴展性等特點適用于數據的海量存儲,得到越來越廣泛的應用。分布式存儲系統(tǒng)依靠冗余存儲來維持整個系統(tǒng)的可靠性,并且需要一個良好的節(jié)點修復機制在發(fā)生節(jié)點故障時能快速有效的進行修復,維持系統(tǒng)的冗余度。基于網絡編碼的分布式存儲系統(tǒng)編碼冗余方式(再生碼)相比于傳統(tǒng)的冗余策略(復制、糾刪碼),降低了維持系統(tǒng)可靠性所需的存儲開銷和節(jié)點修復所需的帶寬開銷,因此有著良好的應用前景。我們希望對基于再生碼的各種具體的編碼方式及節(jié)點修復方式進行研究。分布式存儲系統(tǒng)的另一個關鍵問題是系統(tǒng)擴容。對于相對較為復雜的基于再生碼的分布式存儲系統(tǒng)而言,如何高效的進行系統(tǒng)擴容,也是我們需要解決的問題。 本文主要研究了基于網絡編碼的分布式存儲系統(tǒng)中的節(jié)點修復問題和擴容問題,主要研究內容如下： (1)基于MSR(最小存儲再生碼)的單節(jié)點修復確定性算法 良好的節(jié)點修復機制對分布式存儲系統(tǒng)至關重要。本文研究了基于MSR編碼的分布式存儲系統(tǒng)的單節(jié)點修復問題。我們通過對節(jié)點修復過程中的兩個編碼步驟進行分析,給出了每個編碼步驟所需滿足的條件。并參考多播問題中中間節(jié)點進行數據編碼的確定性算法,給出了一種實際的MSR編碼單節(jié)點修復問題的確定性算法滿足上述條件。與傳統(tǒng)的隨機性方法相比,我們的確定性算法能夠百分之百保證修復性質,使得系統(tǒng)擁有更高的可靠性。同時只需要一個相對小得多的有限域,從而大大減少了編解碼過程中的計算開銷和內存開銷。 (2)多節(jié)點合作修復的E-MBR(確定性修復的最小帶寬再生碼)編碼方法 實際系統(tǒng)中,常常會遇到多個節(jié)點同時發(fā)生故障的情況。現(xiàn)有的E-MBCR編碼方法僅基于r=n-k個節(jié)點修復的情況。對于r'n-K個節(jié)點故障盡管也能修復,但帶寬開銷和存儲開銷都較高。本文中,我們證明了任意(n,K)系統(tǒng)中的任意r(2≤r≤n-K)個節(jié)點故障情況下達到節(jié)點修復帶寬開銷下界的E-MBCR編碼的存在性,并給出了一種實際的編碼方式以及相應的節(jié)點修復和還原原始文件的方法。我們的方法通過多節(jié)點合作修復降低了修復帶寬開銷。并通過確定性修復維持了系統(tǒng)中未編碼的原始文件塊的存在,從而提高了訪問性能。同時,比起現(xiàn)有的基于r=n-k個節(jié)點故障的E-MBCR編碼方法,我們的方法降低了系統(tǒng)存儲開銷和節(jié)點修復帶寬開銷。 (3)基于E-MSR(確定性修復的最小存儲再生碼)的分布式存儲系統(tǒng)的存儲容量擴容問題 分布式存儲系統(tǒng)常常會遇到存儲容量或訪問性能不足的情況,從而產生系統(tǒng)擴容的需求。本文率先提出了基于再生碼的分布式存儲系統(tǒng)擴容問題,并研究了基于E-MSR編碼的分布式存儲系統(tǒng)的存儲容量擴容問題。我們對該問題進行了建模分析,給出了其限制條件及優(yōu)化目標,并主要針對擴容過程的帶寬開銷這一優(yōu)化目標對問題進行了研究,指出減少帶寬開銷的關鍵點在于擴容前后系統(tǒng)的編碼塊部分有較大相關性。我們采用了利用較大規(guī)模系統(tǒng)的編碼矩陣構造較小規(guī)模系統(tǒng)的編碼矩陣的方法,使得系統(tǒng)在擴容前后編碼塊的編碼矩陣有較大部分保持不變,冗余節(jié)點只需下載一小部分數據就能完成編碼塊更新,從而降低了整個擴容過程的帶寬開銷。
[Abstract]:......
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 王慧;申家雙;陳冬陽;鄧雪清;;一種高性能的大區(qū)域遙感影像管理模型[J];海洋測繪;2006年03期

2 鄭勝;郝毫毫;;基于貝努利大數定律的數據分布算法[J];計算機工程;2009年19期

3 孟慶偉;;云計算技術及其電信應用[J];電信快報;2010年07期

4 盧益陽;;分布式存儲系統(tǒng)調查[J];企業(yè)科技與發(fā)展;2011年16期

5 劉廣濤;舒繼武;鄭緯民;;可擴展的分布式郵件系統(tǒng)的研究與實現(xiàn)[J];小型微型計算機系統(tǒng);2005年12期

6 王大濤;姜月秋;;一種適用于集群的高可用存儲模型的研究[J];沈陽理工大學學報;2007年02期

7 邢繼元;張義德;;計算機存儲技術的發(fā)展現(xiàn)狀和趨勢[J];科協(xié)論壇(下半月);2008年02期

8 趙穎斯;劉云;;BBS輿情系統(tǒng)的數據采集方法[J];電信快報;2008年12期

9 高波;郭朝珍;丁善鏡;;基于GML矢量圖層分割的空間數據分布式協(xié)同處理的研究[J];計算機應用;2009年01期

10 張?zhí)煜?潘峰;楊曉元;劉鎮(zhèn);張薇;;改進的LPCA算法[J];計算機工程與應用;2010年09期

相關會議論文 前10條

1 程果;陳犖;景寧;趙亮;左懷玉;;一種遙感影像的層次化組織分布式存儲管理方法[A];第二十五屆中國數據庫學術會議論文集（一）[C];2008年

2 龔尚福;朱宇;李占利;;大型綜合類數字圖書館解決方案[A];第十四屆全國煤礦自動化學術年會暨中國煤炭學會自動化專業(yè)委員會學術會議論文集[C];2004年

3 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設小康社會：中國科技工作者的歷史責任——中國科協(xié)2003年學術年會論文集（下）[C];2003年

4 郭建忠;李宏偉;;多尺度地理空間數據分布式存儲與管理若干問題的研究[A];地理空間信息技術與應用——中國科協(xié)2002年學術年會測繪論文集[C];2002年

5 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結構[A];2009全國計算機網絡與通信學術會議論文集[C];2009年

6 付子義;宋昀;;網絡編碼技術研究[A];武漢(南方九省)電工理論學會第22屆學術年會、河南省電工技術學會年會論文集[C];2010年

7 黃佳慶;李揮;;網絡編碼理論研究進展[A];中國電子學會第十五屆信息論學術年會暨第一屆全國網絡編碼學術年會論文集（下冊）[C];2008年

8 杜希奇;王學儉;卜忱;;動態(tài)數據神經網絡建模技術[A];探索創(chuàng)新交流－－中國航空學會青年科技論壇文集[C];2004年

9 郭榮坤;高鵬翼;;人工神經網絡(ANN)在測井儲層評價中應用[A];1996年中國地球物理學會第十二屆學術年會論文集[C];1996年

10 李于鋒;張亞林;趙強;;有限元計算框架PANDA中的并行機制[A];中國計算力學大會'2010（CCCM2010）暨第八屆南方計算力學學術會議（SCCM8）論文集[C];2010年

相關重要報紙文章 前10條

1 ;存儲2.0時代漸行漸近[N];網絡世界;2007年

2 黃言;聯(lián)想服務器護航CDN網絡大提速[N];中國企業(yè)報;2008年

3 山東膠南張家樓教委 楊維春;數字圖書館的待解難題[N];中國電腦教育報;2006年

4 李梅;存儲2.0,基于Web的存儲迎面而來[N];計算機世界;2007年

5 劉學習;存儲技術往哪兒走？[N];計算機世界;2007年

6 本報記者　 周蓉蓉;做信息化的“司務長”[N];計算機世界;2006年

7 中興通訊;云存儲鋪就海量數據之路[N];通信產業(yè)報;2011年

8 仰一凡、王哲;應用校園網生存和發(fā)展之本[N];中國計算機報;2002年

9 ;存儲系統(tǒng)的挑戰(zhàn)[N];網絡世界;2006年

10 本報記者 周源;Drobo:簡單的力量[N];網絡世界;2010年

相關博士學位論文 前10條

1 趙浩天;基于網絡編碼的分布式存儲容錯及擴容問題研究[D];中國科學技術大學;2013年

2 胡q，

本文編號：1532859