本文選題：分布式存儲(chǔ)系統(tǒng) + 多節(jié)點(diǎn)失效��； 參考：《計(jì)算機(jī)研究與發(fā)展》2014年S2期

【摘要】：作為云計(jì)算重要基礎(chǔ)的大規(guī)模分布式容錯(cuò)存儲(chǔ)系統(tǒng),采用糾刪碼作為數(shù)據(jù)冗余技術(shù)能比多副本技術(shù)以更低的存儲(chǔ)開銷獲得相同的數(shù)據(jù)可靠性.然而,過高的修復(fù)成本使糾刪碼技術(shù)在實(shí)際中的應(yīng)用受到限制.已有的改進(jìn)工作雖然可以降低成本,但在多節(jié)點(diǎn)失效修復(fù)的成本過高.提出一種適用于多節(jié)點(diǎn)失效的高容錯(cuò)低修復(fù)成本糾刪碼——分組修復(fù)碼(group repairable codes,GRC).GRC碼通過將條帶分組并增加組編碼塊,顯著減少了修復(fù)所要傳輸?shù)臄?shù)據(jù)量,從而節(jié)省了寶貴的網(wǎng)絡(luò)帶寬和磁盤I/O資源;GRC碼通過多個(gè)組編碼塊在多節(jié)點(diǎn)失效時(shí)降低修復(fù)成本,且維持較好容錯(cuò)能力.根據(jù)GRC碼的特征,提出基于貪心策略的解碼算法(greedy strategy based decode algorithm,GSBD),GSBD通過保證每個(gè)失效塊的修復(fù)成本最小以優(yōu)化修復(fù)過程.實(shí)驗(yàn)結(jié)果顯示,與RS碼相比,GRC碼將修復(fù)網(wǎng)絡(luò)帶寬和磁盤I/O分別降低50%~55%,修復(fù)速度提高75%~90%,僅需增加21%存儲(chǔ)空間;與LRC碼相比,GRC碼將修復(fù)網(wǎng)絡(luò)帶寬和磁盤I/O分別降低35%~45%,修復(fù)速度提高40%~50%,僅需增加13%存儲(chǔ)空間;與basic pyramid code(BPC)相比,GRC碼將修復(fù)網(wǎng)絡(luò)帶寬和磁盤I/O降低15%~25%,修復(fù)速度提高20%~25%,僅需增加6%存儲(chǔ)空間.
[Abstract]:Large scale distributed fault-tolerant storage system, which is an important foundation of cloud computing, can obtain the same data reliability with erasure code as data redundancy technology with lower storage cost than multi-replica technology. However, the high repair cost limits the application of erasure code in practice. Although the existing improvement work can reduce the cost, the cost of multi-node failure repair is too high. In this paper, a high fault-tolerant and low cost erasure code for multi-node failure is proposed. The block repair code group repairable codesGRC code can significantly reduce the amount of data to be transmitted by grouping the bar band and adding the block code block. Thus, the valuable network bandwidth and disk I / O resource / GRC code can be saved to reduce the repair cost and maintain a good fault-tolerant capability in the event of multi-node failure. According to the characteristics of GRC codes, a greedy strategy based decode algorithm based on greedy strategy based decode algorithm is proposed to optimize the repair process by ensuring the minimum repair cost of each failure block. The experimental results show that compared with RS code, GRC code will reduce the bandwidth of repair network and the disk I / O by 50%, increase the repair speed by 75% and increase the storage space by 21%. Compared with LRC code, GRC code will reduce the bandwidth of the repair network and the disk I / O by 35% and 45% respectively, increase the repair speed by 40% and 50%, and only need to increase the storage space by 13%. Compared with basic pyramid codebook BPC, GRC code will reduce the bandwidth of repair network and disk I / O by 15%, increase repair speed by 20% and increase storage space by only 6%.
【作者單位】： 并行與分布處理國家重點(diǎn)實(shí)驗(yàn)室(國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院);
【基金】：國家自然科學(xué)基金項(xiàng)目(61379052);國家自然科學(xué)基金項(xiàng)目(61402509) 國家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2013AA01A213) 湖南省自然科學(xué)杰出青年基金項(xiàng)目(14JJ1026) 教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20124307110015)
【分類號】：TP333;TP302.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

2 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

3 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

4 孫偉東;王意潔;裴曉強(qiáng);;基于糾刪碼的分布式存儲(chǔ)系統(tǒng)中針對多數(shù)據(jù)失效的樹型并行修復(fù)技術(shù)(英文)[J];中國通信;2013年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊進(jìn);王亮明;唐德玉;;RS糾刪碼在電子健康檔案云存儲(chǔ)中的應(yīng)用[J];廣東藥學(xué)院學(xué)報(bào);2012年04期

2 鐘德榮;蔣園園;張愷樂;王智泉;;基于云計(jì)算的全球眼視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年20期

3 宋秀麗;陳龍;肖敏;;云存儲(chǔ)中支持XOR旋轉(zhuǎn)編碼的可恢復(fù)性驗(yàn)證方案[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

4 王永;李敏;張勤;;云計(jì)算模式下合同協(xié)同擬定模型研究[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

5 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數(shù)據(jù)云存儲(chǔ)與服務(wù)方法[J];地球信息科學(xué)學(xué)報(bào);2013年02期

6 饒慶云;丁晶晶;蘇樂樂;谷永權(quán);夏良暉;胡中南;;基于云計(jì)算的分布式切圖服務(wù)設(shè)計(jì)與實(shí)現(xiàn)[J];測繪與空間地理信息;2013年S1期

7 范真榮;;基于云計(jì)算的企業(yè)XBRL跨平臺(tái)協(xié)同管理研究[J];財(cái)會(huì)通訊;2013年25期

8 郭翠云;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)分析[J];硅谷;2013年16期

9 萬武南;王拓;索望;;一種三容錯(cuò)數(shù)據(jù)布局[J];電子與信息學(xué)報(bào);2013年10期

10 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲(chǔ)探索[J];鞍山師范學(xué)院學(xué)報(bào);2013年04期

相關(guān)會(huì)議論文 前10條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];2013年中國通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)年會(huì)論文集[C];2013年

5 陳玉龍;王丹平;方曉群;;工業(yè)視頻監(jiān)控系統(tǒng)在豐山銅礦的應(yīng)用和發(fā)展[A];第三屆全國數(shù)字礦山高新技術(shù)成果交流會(huì)論文集[C];2014年

6 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

7 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

8 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];中國通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2013年年會(huì)論文集[C];2013年

9 田原;王營康;肖達(dá);楊榆;;云存儲(chǔ)系統(tǒng)中的存儲(chǔ)與數(shù)據(jù)拆分方案[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

10 汪中琳;喬自知;郭景贊;;移動(dòng)運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 陳震;黑龍江省森工林區(qū)“智慧林業(yè)”框架應(yīng)用技術(shù)研究[D];東北林業(yè)大學(xué);2012年

2 龐麗莉;無線網(wǎng)絡(luò)儀器的時(shí)鐘同步、定位及數(shù)據(jù)安全存儲(chǔ)算法研究[D];吉林大學(xué);2013年

3 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲(chǔ)系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

4 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

5 李煜;基于雙邊市場理論的軟件平臺(tái)運(yùn)營機(jī)制研究[D];北京郵電大學(xué);2013年

6 孫茂華;安全多方計(jì)算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

7 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

8 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計(jì)[D];中國農(nóng)業(yè)科學(xué)院;2013年

9 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

10 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 張凱;分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)修復(fù)問題研究[D];西南交通大學(xué);2012年

2 魏偉;一種基于laaS的模式的管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

3 孫春菊;云環(huán)境下數(shù)據(jù)模型和索引技術(shù)研究[D];南京郵電大學(xué);2013年

4 田怡萌;BlueOcean海量存儲(chǔ)系統(tǒng)Windows客戶端設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

5 方旋;云計(jì)算在土地利用規(guī)劃信息系統(tǒng)中的應(yīng)用研究[D];浙江大學(xué);2013年

6 田曉艷;云環(huán)境下高考視頻監(jiān)控?cái)?shù)據(jù)管理技術(shù)研究[D];山東師范大學(xué);2013年

7 吳永發(fā);面向終端應(yīng)用的云存儲(chǔ)系統(tǒng)研究與設(shè)計(jì)[D];廣東工業(yè)大學(xué);2013年

8 諶侃;用戶數(shù)據(jù)融合云計(jì)算存儲(chǔ)方案研究[D];北京郵電大學(xué);2013年

9 許維龍;基于HDFS的數(shù)據(jù)備份系統(tǒng)的分析與設(shè)計(jì)[D];北京郵電大學(xué);2013年

10 段長強(qiáng);基于PaaS云服務(wù)的移動(dòng)互聯(lián)網(wǎng)應(yīng)用程序設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

2 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

相關(guān)碩士學(xué)位論文 前1條

1 鄭清吉;安全存儲(chǔ)系統(tǒng)中糾刪碼技術(shù)研究[D];上海交通大學(xué);2009年

，

本文編號：1918552