基于網(wǎng)絡(luò)編碼的分布式數(shù)據(jù)存儲(chǔ)與故障修復(fù)策略
本文選題:網(wǎng)絡(luò)編碼 + 分布式存儲(chǔ); 參考:《浙江工業(yè)大學(xué)》2013年碩士論文
【摘要】:如今,人類社會(huì)已經(jīng)步入了信息化高速發(fā)展的時(shí)期,信息在社會(huì)生活中起舉足輕重的地位。與此同時(shí),海量信息數(shù)據(jù)的存儲(chǔ)也越來(lái)越被人們所重視。尤其是近幾年高清視頻的廣泛應(yīng)用,大數(shù)據(jù)時(shí)代的來(lái)臨,傳統(tǒng)的集中式數(shù)據(jù)存儲(chǔ)系統(tǒng)呈現(xiàn)出越來(lái)越多的弊端,比如安全性不高,可靠性也沒有保證,可擴(kuò)展性不強(qiáng)等。分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)則彌補(bǔ)了這方面的缺陷,它使得海量數(shù)據(jù)能以分布的形式存儲(chǔ),滿足了大規(guī)模存儲(chǔ)的需求,而且具有更高的穩(wěn)定性。 但是分布式數(shù)據(jù)存儲(chǔ)會(huì)面臨存儲(chǔ)節(jié)點(diǎn)故障的問題,因而如何修復(fù)故障節(jié)點(diǎn)保證系統(tǒng)的穩(wěn)定運(yùn)行成為分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)的重要課題。當(dāng)前,修復(fù)故障節(jié)點(diǎn)的指標(biāo)主要有節(jié)點(diǎn)存儲(chǔ)容量,修復(fù)帶寬,修復(fù)開銷,重建時(shí)間等。如何在修復(fù)故障節(jié)點(diǎn)的同時(shí)使得相關(guān)指標(biāo)盡可能地小成為了當(dāng)前分布式數(shù)據(jù)存儲(chǔ)的研究熱點(diǎn)。本文研究了基于網(wǎng)絡(luò)編碼的分布式數(shù)據(jù)存儲(chǔ)及故障修復(fù)策略,主要的工作和貢獻(xiàn)如下: (1)本文將分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)的故障修復(fù)問題抽象化為基于網(wǎng)絡(luò)編碼的信息流圖,以便于用圖論的相關(guān)理論來(lái)簡(jiǎn)化分析數(shù)據(jù)傳輸過程。 (2)針對(duì)目前的故障修復(fù)策略沒有對(duì)重建時(shí)間進(jìn)行優(yōu)化,本文從理論上分析了重建時(shí)間的下界,然后提出了最小化重建時(shí)間故障修復(fù)策略MTR (Minimum-Time Repair),該修復(fù)策略達(dá)到了重建時(shí)間的下界值,而且,在此基礎(chǔ)上將修復(fù)帶寬降到了最低值。分析數(shù)據(jù)表明,與現(xiàn)有的節(jié)點(diǎn)修復(fù)策略相比,MTR修復(fù)策略能大大降低重建時(shí)間,使得故障節(jié)點(diǎn)快速修復(fù),這對(duì)那些需要快速修復(fù)的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)有著非常重要的意義。 (3)考慮到實(shí)際應(yīng)用中,重建時(shí)間受約束這個(gè)因素,本文提出了重建時(shí)間約束的帶寬最優(yōu)故障修復(fù)策略,建立了該策略的優(yōu)化模型并顯式給出最優(yōu)解。該策略能在給定的重建時(shí)間閾內(nèi)修復(fù)故障節(jié)點(diǎn),且在該時(shí)間點(diǎn)上的修復(fù)帶寬是最小的。同時(shí),該策略具有較好的靈活性,在任何重建時(shí)間閾值(大于重建時(shí)間下界)內(nèi),都存在使修復(fù)帶寬最小的故障修復(fù)策略。
[Abstract]:Nowadays, human society has stepped into the period of rapid development of information, and information plays an important role in social life. At the same time, people pay more and more attention to the storage of massive information data. Especially in recent years, with the wide application of high-definition video and the advent of big data era, the traditional centralized data storage system presents more and more disadvantages, such as low security, no guarantee of reliability, low scalability and so on. Distributed data storage system makes up for the defects in this aspect. It enables the mass data to be stored in the form of distribution, which meets the needs of large-scale storage and has higher stability. However, distributed data storage will face the problem of storage node failure, so how to repair the fault node to ensure the stable operation of the system becomes an important issue of distributed data storage system. At present, the main indexes of repairing fault nodes are node storage capacity, repair bandwidth, repair overhead, reconstruction time and so on. How to repair the fault nodes and make the relevant indexes as small as possible has become the research hotspot of distributed data storage. This paper studies the distributed data storage and fault repair strategy based on network coding. The main work and contributions are as follows: In this paper, the fault repair problem of distributed data storage system is abstracted into an information flow graph based on network coding, so as to simplify the analysis of data transmission by using the relevant theory of graph theory. 2) since the current fault repair strategy does not optimize the reconstruction time, this paper theoretically analyzes the lower bound of the reconstruction time. Then, the minimum reconstruction time fault repair strategy MTR / Minimum-Time repair strategy is proposed, which reaches the lower bound of the reconstruction time, and reduces the repair bandwidth to the lowest value on this basis. The analysis results show that the MTR repair strategy can greatly reduce the reconstruction time and make the fault nodes repaired quickly compared with the existing node repair strategy which is of great significance to those distributed data storage systems which need to be repaired quickly. Considering the fact that the reconstruction time is constrained in practical applications, this paper proposes an optimal fault repair strategy with reconstruction time constraints, and establishes an optimal model of the strategy and gives the optimal solution explicitly. The proposed strategy can repair the fault nodes within the threshold at a given reconstruction time, and the repair bandwidth at this time point is minimal. At the same time, the strategy has good flexibility, in any reconstruction time threshold (larger than the reconstruction time lower bound), there is a fault repair strategy to minimize the repair bandwidth.
【學(xué)位授予單位】:浙江工業(yè)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2013
【分類號(hào)】:TP333
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 黃佳荃;張圣;;基于網(wǎng)絡(luò)編碼法的網(wǎng)絡(luò)信息交換算法研究[J];武漢理工大學(xué)學(xué)報(bào)(信息與管理工程版);2006年07期
2 崔凱;王麗;;網(wǎng)絡(luò)編碼技術(shù)及其在通信網(wǎng)絡(luò)中的應(yīng)用[J];黑龍江科技信息;2007年04期
3 付琳;付志雄;;網(wǎng)絡(luò)編碼研究[J];科技資訊;2007年07期
4 李穎;王靜;;網(wǎng)絡(luò)編碼在無(wú)線通信網(wǎng)絡(luò)中的應(yīng)用[J];中興通訊技術(shù);2009年01期
5 宋譜;賀志強(qiáng);牛凱;許文俊;吳偉陵;;具有網(wǎng)絡(luò)編碼意識(shí)的無(wú)線路由判據(jù)[J];北京郵電大學(xué)學(xué)報(bào);2009年03期
6 李麗;周迎富;;基于網(wǎng)絡(luò)編碼的光層組播技術(shù)[J];才智;2009年17期
7 晉冬;;可靠網(wǎng)絡(luò)編碼多路徑協(xié)議性能研究[J];電腦編程技巧與維護(hù);2010年24期
8 李偉;樊平毅;;網(wǎng)絡(luò)編碼在無(wú)線中繼網(wǎng)絡(luò)中的應(yīng)用研究[J];計(jì)算機(jī)工程;2011年07期
9 彭木根;王月新;王文博;;無(wú)線自組織網(wǎng)絡(luò)的網(wǎng)絡(luò)編碼技術(shù)[J];中興通訊技術(shù);2007年04期
10 李大霖;林雪紅;林家儒;吳偉陵;;安全網(wǎng)絡(luò)編碼的一個(gè)必要條件[J];北京郵電大學(xué)學(xué)報(bào);2008年05期
相關(guān)會(huì)議論文 前10條
1 付子義;宋昀;;網(wǎng)絡(luò)編碼技術(shù)研究[A];武漢(南方九省)電工理論學(xué)會(huì)第22屆學(xué)術(shù)年會(huì)、河南省電工技術(shù)學(xué)會(huì)年會(huì)論文集[C];2010年
2 黃佳慶;李揮;;網(wǎng)絡(luò)編碼理論研究進(jìn)展[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2008年
3 韋大偉;;分布式數(shù)據(jù)存儲(chǔ)中的機(jī)密性保護(hù)[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(三)[C];2006年
4 ;全國(guó)第十六屆信息論學(xué)術(shù)年會(huì)暨全國(guó)第二屆網(wǎng)絡(luò)編碼學(xué)術(shù)研討會(huì)征文通知[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(上冊(cè))[C];2008年
5 ;全國(guó)第十六屆信息論學(xué)術(shù)年會(huì)暨全國(guó)第二屆網(wǎng)絡(luò)編碼學(xué)術(shù)研討會(huì)征文通知[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2008年
6 李揮;林良敏;黃佳慶;陳欽樹;;融合網(wǎng)絡(luò)編碼理論的組播交換結(jié)構(gòu)[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2008年
7 王靜;李穎;;網(wǎng)絡(luò)編碼在協(xié)作分集中的應(yīng)用[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2008年
8 李令雄;龍冬陽(yáng);;一個(gè)非多播網(wǎng)絡(luò)上網(wǎng)絡(luò)編碼可解性的證明[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2008年
9 沈麗麗;侯春萍;楊家琛;;網(wǎng)絡(luò)編碼在無(wú)線網(wǎng)絡(luò)中的信息交換[A];無(wú)線傳感器網(wǎng)及網(wǎng)絡(luò)信息處理技術(shù)——2006年通信理論與信號(hào)處理年會(huì)論文集[C];2006年
10 顏偉;蔡躍明;;雙向中繼信道中物理層網(wǎng)絡(luò)編碼的漸近性能分析[A];2010年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2010年
相關(guān)重要報(bào)紙文章 前10條
1 湖南 石偉;小天鵝全自動(dòng)洗衣機(jī)不排水故障修復(fù)[N];電子報(bào);2002年
2 湖北 劉祖榮;櫻之花U1型2000W四位數(shù)碼電磁爐多種故障修復(fù)記[N];電子報(bào);2011年
3 甘肅 王平興;USB接口故障修復(fù)記[N];電腦報(bào);2004年
4 逸林;Word故障修復(fù)一例[N];中國(guó)電腦教育報(bào);2002年
5 劉培香;飛行機(jī)器人空間機(jī)械手在哈誕生[N];哈爾濱日?qǐng)?bào);2006年
6 ;McAfee Total Virus Defense Suite V4.5[N];中國(guó)計(jì)算機(jī)報(bào);2003年
7 文心;鑫諾二號(hào)衛(wèi)星發(fā)生故障修復(fù)無(wú)望[N];電子報(bào);2006年
8 浙江 鄭洪祥;名人電子詞典系統(tǒng)故障修復(fù)[N];電子報(bào);2008年
9 遼寧 付楊;無(wú)圖紙卓藝接收機(jī)雷擊故障修復(fù)一例[N];電子報(bào);2007年
10 本報(bào)記者 黨曉雪 通訊員 郭永剛;一場(chǎng)嚴(yán)峻的考驗(yàn)[N];銅川日?qǐng)?bào);2007年
相關(guān)博士學(xué)位論文 前10條
1 王寧;網(wǎng)絡(luò)編碼在無(wú)線通信中的應(yīng)用研究[D];北京郵電大學(xué);2009年
2 郝琨;網(wǎng)絡(luò)編碼關(guān)鍵技術(shù)及其應(yīng)用研究[D];天津大學(xué);2010年
3 董贊強(qiáng);基于網(wǎng)絡(luò)編碼的數(shù)據(jù)通信技術(shù)研究[D];南京郵電大學(xué);2013年
4 李大霖;網(wǎng)絡(luò)編碼若干問題的研究[D];北京郵電大學(xué);2009年
5 郭欽;網(wǎng)絡(luò)編碼的編碼復(fù)雜性和算法研究[D];北京郵電大學(xué);2011年
6 劉光軍;安全網(wǎng)絡(luò)編碼及其應(yīng)用[D];西安電子科技大學(xué);2013年
7 張婧W,
本文編號(hào):1814680
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1814680.html