本文關(guān)鍵詞： 分布式存儲(chǔ) 網(wǎng)絡(luò)編碼 再生碼 節(jié)點(diǎn)修復(fù) 系統(tǒng)擴(kuò)容　出處：《中國(guó)科學(xué)技術(shù)大學(xué)》2013年博士論文　論文類型：學(xué)位論文

【摘要】：當(dāng)前,信息技術(shù)飛速發(fā)展,已從以計(jì)算設(shè)備為核心的時(shí)代進(jìn)入到以存儲(chǔ)設(shè)備為核心的時(shí)代,數(shù)據(jù)海量化成為一種趨勢(shì)。分布式存儲(chǔ)以其廉價(jià)和高擴(kuò)展性等特點(diǎn)適用于數(shù)據(jù)的海量存儲(chǔ),得到越來(lái)越廣泛的應(yīng)用。分布式存儲(chǔ)系統(tǒng)依靠冗余存儲(chǔ)來(lái)維持整個(gè)系統(tǒng)的可靠性,并且需要一個(gè)良好的節(jié)點(diǎn)修復(fù)機(jī)制在發(fā)生節(jié)點(diǎn)故障時(shí)能快速有效的進(jìn)行修復(fù),維持系統(tǒng)的冗余度�；诰W(wǎng)絡(luò)編碼的分布式存儲(chǔ)系統(tǒng)編碼冗余方式(再生碼)相比于傳統(tǒng)的冗余策略(復(fù)制、糾刪碼),降低了維持系統(tǒng)可靠性所需的存儲(chǔ)開銷和節(jié)點(diǎn)修復(fù)所需的帶寬開銷,因此有著良好的應(yīng)用前景。我們希望對(duì)基于再生碼的各種具體的編碼方式及節(jié)點(diǎn)修復(fù)方式進(jìn)行研究。分布式存儲(chǔ)系統(tǒng)的另一個(gè)關(guān)鍵問(wèn)題是系統(tǒng)擴(kuò)容。對(duì)于相對(duì)較為復(fù)雜的基于再生碼的分布式存儲(chǔ)系統(tǒng)而言,如何高效的進(jìn)行系統(tǒng)擴(kuò)容,也是我們需要解決的問(wèn)題。 本文主要研究了基于網(wǎng)絡(luò)編碼的分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)修復(fù)問(wèn)題和擴(kuò)容問(wèn)題,主要研究?jī)?nèi)容如下： (1)基于MSR(最小存儲(chǔ)再生碼)的單節(jié)點(diǎn)修復(fù)確定性算法 良好的節(jié)點(diǎn)修復(fù)機(jī)制對(duì)分布式存儲(chǔ)系統(tǒng)至關(guān)重要。本文研究了基于MSR編碼的分布式存儲(chǔ)系統(tǒng)的單節(jié)點(diǎn)修復(fù)問(wèn)題。我們通過(guò)對(duì)節(jié)點(diǎn)修復(fù)過(guò)程中的兩個(gè)編碼步驟進(jìn)行分析,給出了每個(gè)編碼步驟所需滿足的條件。并參考多播問(wèn)題中中間節(jié)點(diǎn)進(jìn)行數(shù)據(jù)編碼的確定性算法,給出了一種實(shí)際的MSR編碼單節(jié)點(diǎn)修復(fù)問(wèn)題的確定性算法滿足上述條件。與傳統(tǒng)的隨機(jī)性方法相比,我們的確定性算法能夠百分之百保證修復(fù)性質(zhì),使得系統(tǒng)擁有更高的可靠性。同時(shí)只需要一個(gè)相對(duì)小得多的有限域,從而大大減少了編解碼過(guò)程中的計(jì)算開銷和內(nèi)存開銷。 (2)多節(jié)點(diǎn)合作修復(fù)的E-MBR(確定性修復(fù)的最小帶寬再生碼)編碼方法 實(shí)際系統(tǒng)中,常常會(huì)遇到多個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障的情況�，F(xiàn)有的E-MBCR編碼方法僅基于r=n-k個(gè)節(jié)點(diǎn)修復(fù)的情況。對(duì)于r'n-K個(gè)節(jié)點(diǎn)故障盡管也能修復(fù),但帶寬開銷和存儲(chǔ)開銷都較高。本文中,我們證明了任意(n,K)系統(tǒng)中的任意r(2≤r≤n-K)個(gè)節(jié)點(diǎn)故障情況下達(dá)到節(jié)點(diǎn)修復(fù)帶寬開銷下界的E-MBCR編碼的存在性,并給出了一種實(shí)際的編碼方式以及相應(yīng)的節(jié)點(diǎn)修復(fù)和還原原始文件的方法。我們的方法通過(guò)多節(jié)點(diǎn)合作修復(fù)降低了修復(fù)帶寬開銷。并通過(guò)確定性修復(fù)維持了系統(tǒng)中未編碼的原始文件塊的存在,從而提高了訪問(wèn)性能。同時(shí),比起現(xiàn)有的基于r=n-k個(gè)節(jié)點(diǎn)故障的E-MBCR編碼方法,我們的方法降低了系統(tǒng)存儲(chǔ)開銷和節(jié)點(diǎn)修復(fù)帶寬開銷。 (3)基于E-MSR(確定性修復(fù)的最小存儲(chǔ)再生碼)的分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)容量擴(kuò)容問(wèn)題 分布式存儲(chǔ)系統(tǒng)常常會(huì)遇到存儲(chǔ)容量或訪問(wèn)性能不足的情況,從而產(chǎn)生系統(tǒng)擴(kuò)容的需求。本文率先提出了基于再生碼的分布式存儲(chǔ)系統(tǒng)擴(kuò)容問(wèn)題,并研究了基于E-MSR編碼的分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)容量擴(kuò)容問(wèn)題。我們對(duì)該問(wèn)題進(jìn)行了建模分析,給出了其限制條件及優(yōu)化目標(biāo),并主要針對(duì)擴(kuò)容過(guò)程的帶寬開銷這一優(yōu)化目標(biāo)對(duì)問(wèn)題進(jìn)行了研究,指出減少帶寬開銷的關(guān)鍵點(diǎn)在于擴(kuò)容前后系統(tǒng)的編碼塊部分有較大相關(guān)性。我們采用了利用較大規(guī)模系統(tǒng)的編碼矩陣構(gòu)造較小規(guī)模系統(tǒng)的編碼矩陣的方法,使得系統(tǒng)在擴(kuò)容前后編碼塊的編碼矩陣有較大部分保持不變,冗余節(jié)點(diǎn)只需下載一小部分?jǐn)?shù)據(jù)就能完成編碼塊更新,從而降低了整個(gè)擴(kuò)容過(guò)程的帶寬開銷。
[Abstract]:......
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王慧;申家雙;陳冬陽(yáng);鄧雪清;;一種高性能的大區(qū)域遙感影像管理模型[J];海洋測(cè)繪;2006年03期

2 鄭勝;郝毫毫;;基于貝努利大數(shù)定律的數(shù)據(jù)分布算法[J];計(jì)算機(jī)工程;2009年19期

3 孟慶偉;;云計(jì)算技術(shù)及其電信應(yīng)用[J];電信快報(bào);2010年07期

4 盧益陽(yáng);;分布式存儲(chǔ)系統(tǒng)調(diào)查[J];企業(yè)科技與發(fā)展;2011年16期

5 劉廣濤;舒繼武;鄭緯民;;可擴(kuò)展的分布式郵件系統(tǒng)的研究與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2005年12期

6 王大濤;姜月秋;;一種適用于集群的高可用存儲(chǔ)模型的研究[J];沈陽(yáng)理工大學(xué)學(xué)報(bào);2007年02期

7 邢繼元;張義德;;計(jì)算機(jī)存儲(chǔ)技術(shù)的發(fā)展現(xiàn)狀和趨勢(shì)[J];科協(xié)論壇(下半月);2008年02期

8 趙穎斯;劉云;;BBS輿情系統(tǒng)的數(shù)據(jù)采集方法[J];電信快報(bào);2008年12期

9 高波;郭朝珍;丁善鏡;;基于GML矢量圖層分割的空間數(shù)據(jù)分布式協(xié)同處理的研究[J];計(jì)算機(jī)應(yīng)用;2009年01期

10 張?zhí)煜?潘峰;楊曉元;劉鎮(zhèn);張薇;;改進(jìn)的LPCA算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年09期

相關(guān)會(huì)議論文 前10條

1 程果;陳犖;景寧;趙亮;左懷玉;;一種遙感影像的層次化組織分布式存儲(chǔ)管理方法[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（一）[C];2008年

2 龔尚福;朱宇;李占利;;大型綜合類數(shù)字圖書館解決方案[A];第十四屆全國(guó)煤礦自動(dòng)化學(xué)術(shù)年會(huì)暨中國(guó)煤炭學(xué)會(huì)自動(dòng)化專業(yè)委員會(huì)學(xué)術(shù)會(huì)議論文集[C];2004年

3 姜繼忱;陳鋼;;P2P之路——締造“分布式對(duì)等”的Internet3.0[A];全面建設(shè)小康社會(huì)：中國(guó)科技工作者的歷史責(zé)任——中國(guó)科協(xié)2003年學(xué)術(shù)年會(huì)論文集（下）[C];2003年

4 郭建忠;李宏偉;;多尺度地理空間數(shù)據(jù)分布式存儲(chǔ)與管理若干問(wèn)題的研究[A];地理空間信息技術(shù)與應(yīng)用——中國(guó)科協(xié)2002年學(xué)術(shù)年會(huì)測(cè)繪論文集[C];2002年

5 張彥;劉欣然;徐慧彬;;一種基于虛擬計(jì)算環(huán)境的分布式存儲(chǔ)體系結(jié)構(gòu)[A];2009全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)與通信學(xué)術(shù)會(huì)議論文集[C];2009年

6 付子義;宋昀;;網(wǎng)絡(luò)編碼技術(shù)研究[A];武漢(南方九省)電工理論學(xué)會(huì)第22屆學(xué)術(shù)年會(huì)、河南省電工技術(shù)學(xué)會(huì)年會(huì)論文集[C];2010年

7 黃佳慶;李揮;;網(wǎng)絡(luò)編碼理論研究進(jìn)展[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2008年

8 杜希奇;王學(xué)儉;卜忱;;動(dòng)態(tài)數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)建模技術(shù)[A];探索創(chuàng)新交流－－中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2004年

9 郭榮坤;高鵬翼;;人工神經(jīng)網(wǎng)絡(luò)(ANN)在測(cè)井儲(chǔ)層評(píng)價(jià)中應(yīng)用[A];1996年中國(guó)地球物理學(xué)會(huì)第十二屆學(xué)術(shù)年會(huì)論文集[C];1996年

10 李于鋒;張亞林;趙強(qiáng);;有限元計(jì)算框架PANDA中的并行機(jī)制[A];中國(guó)計(jì)算力學(xué)大會(huì)'2010（CCCM2010）暨第八屆南方計(jì)算力學(xué)學(xué)術(shù)會(huì)議（SCCM8）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 ;存儲(chǔ)2.0時(shí)代漸行漸近[N];網(wǎng)絡(luò)世界;2007年

2 黃言;聯(lián)想服務(wù)器護(hù)航CDN網(wǎng)絡(luò)大提速[N];中國(guó)企業(yè)報(bào);2008年

3 山東膠南張家樓教委 楊維春;數(shù)字圖書館的待解難題[N];中國(guó)電腦教育報(bào);2006年

4 李梅;存儲(chǔ)2.0,基于Web的存儲(chǔ)迎面而來(lái)[N];計(jì)算機(jī)世界;2007年

5 劉學(xué)習(xí);存儲(chǔ)技術(shù)往哪兒走？[N];計(jì)算機(jī)世界;2007年

6 本報(bào)記者　 周蓉蓉;做信息化的“司務(wù)長(zhǎng)”[N];計(jì)算機(jī)世界;2006年

7 中興通訊;云存儲(chǔ)鋪就海量數(shù)據(jù)之路[N];通信產(chǎn)業(yè)報(bào);2011年

8 仰一凡、王哲;應(yīng)用校園網(wǎng)生存和發(fā)展之本[N];中國(guó)計(jì)算機(jī)報(bào);2002年

9 ;存儲(chǔ)系統(tǒng)的挑戰(zhàn)[N];網(wǎng)絡(luò)世界;2006年

10 本報(bào)記者 周源;Drobo:簡(jiǎn)單的力量[N];網(wǎng)絡(luò)世界;2010年

相關(guān)博士學(xué)位論文 前10條

1 趙浩天;基于網(wǎng)絡(luò)編碼的分布式存儲(chǔ)容錯(cuò)及擴(kuò)容問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年

2 胡q，

本文編號(hào)：1532859