發(fā)布時間：2018-05-21 08:57

  本文選題：分布式存儲系統(tǒng) + 多節(jié)點失效�。� 參考：《計算機研究與發(fā)展》2014年S2期

【摘要】：作為云計算重要基礎的大規(guī)模分布式容錯存儲系統(tǒng),采用糾刪碼作為數據冗余技術能比多副本技術以更低的存儲開銷獲得相同的數據可靠性.然而,過高的修復成本使糾刪碼技術在實際中的應用受到限制.已有的改進工作雖然可以降低成本,但在多節(jié)點失效修復的成本過高.提出一種適用于多節(jié)點失效的高容錯低修復成本糾刪碼——分組修復碼(group repairable codes,GRC).GRC碼通過將條帶分組并增加組編碼塊,顯著減少了修復所要傳輸的數據量,從而節(jié)省了寶貴的網絡帶寬和磁盤I/O資源;GRC碼通過多個組編碼塊在多節(jié)點失效時降低修復成本,且維持較好容錯能力.根據GRC碼的特征,提出基于貪心策略的解碼算法(greedy strategy based decode algorithm,GSBD),GSBD通過保證每個失效塊的修復成本最小以優(yōu)化修復過程.實驗結果顯示,與RS碼相比,GRC碼將修復網絡帶寬和磁盤I/O分別降低50%~55%,修復速度提高75%~90%,僅需增加21%存儲空間;與LRC碼相比,GRC碼將修復網絡帶寬和磁盤I/O分別降低35%~45%,修復速度提高40%~50%,僅需增加13%存儲空間;與basic pyramid code(BPC)相比,GRC碼將修復網絡帶寬和磁盤I/O降低15%~25%,修復速度提高20%~25%,僅需增加6%存儲空間.
[Abstract]:Large scale distributed fault-tolerant storage system, which is an important foundation of cloud computing, can obtain the same data reliability with erasure code as data redundancy technology with lower storage cost than multi-replica technology. However, the high repair cost limits the application of erasure code in practice. Although the existing improvement work can reduce the cost, the cost of multi-node failure repair is too high. In this paper, a high fault-tolerant and low cost erasure code for multi-node failure is proposed. The block repair code group repairable codesGRC code can significantly reduce the amount of data to be transmitted by grouping the bar band and adding the block code block. Thus, the valuable network bandwidth and disk I / O resource / GRC code can be saved to reduce the repair cost and maintain a good fault-tolerant capability in the event of multi-node failure. According to the characteristics of GRC codes, a greedy strategy based decode algorithm based on greedy strategy based decode algorithm is proposed to optimize the repair process by ensuring the minimum repair cost of each failure block. The experimental results show that compared with RS code, GRC code will reduce the bandwidth of repair network and the disk I / O by 50%, increase the repair speed by 75% and increase the storage space by 21%. Compared with LRC code, GRC code will reduce the bandwidth of the repair network and the disk I / O by 35% and 45% respectively, increase the repair speed by 40% and 50%, and only need to increase the storage space by 13%. Compared with basic pyramid codebook BPC, GRC code will reduce the bandwidth of repair network and disk I / O by 15%, increase repair speed by 20% and increase storage space by only 6%.
【作者單位】： 并行與分布處理國家重點實驗室(國防科學技術大學計算機學院);
【基金】：國家自然科學基金項目(61379052);國家自然科學基金項目(61402509) 國家“八六三”高技術研究發(fā)展計劃基金項目(2013AA01A213) 湖南省自然科學杰出青年基金項目(14JJ1026) 教育部高等學校博士學科點專項科研基金資助項目(20124307110015)
【分類號】：TP333;TP302.8

【參考文獻】

相關期刊論文 前4條

1 羅象宏;舒繼武;;存儲系統(tǒng)中的糾刪碼研究綜述[J];計算機研究與發(fā)展;2012年01期

2 周松;王意潔;;EXPyramid:一種靈活的基于陣列結構的高容錯低修復成本編碼方案[J];計算機研究與發(fā)展;2011年S1期

3 王意潔;孫偉東;周松;裴曉強;李小勇;;云計算環(huán)境下的分布存儲關鍵技術[J];軟件學報;2012年04期

4 孫偉東;王意潔;裴曉強;;基于糾刪碼的分布式存儲系統(tǒng)中針對多數據失效的樹型并行修復技術(英文)[J];中國通信;2013年04期

【共引文獻】

相關期刊論文 前10條

1 楊進;王亮明;唐德玉;;RS糾刪碼在電子健康檔案云存儲中的應用[J];廣東藥學院學報;2012年04期

2 鐘德榮;蔣園園;張愷樂;王智泉;;基于云計算的全球眼視頻監(jiān)控系統(tǒng)的設計與實現[J];計算機光盤軟件與應用;2012年20期

3 宋秀麗;陳龍;肖敏;;云存儲中支持XOR旋轉編碼的可恢復性驗證方案[J];重慶郵電大學學報(自然科學版);2012年06期

4 王永;李敏;張勤;;云計算模式下合同協(xié)同擬定模型研究[J];重慶郵電大學學報(自然科學版);2012年06期

5 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數據云存儲與服務方法[J];地球信息科學學報;2013年02期

6 饒慶云;丁晶晶;蘇樂樂;谷永權;夏良暉;胡中南;;基于云計算的分布式切圖服務設計與實現[J];測繪與空間地理信息;2013年S1期

7 范真榮;;基于云計算的企業(yè)XBRL跨平臺協(xié)同管理研究[J];財會通訊;2013年25期

8 郭翠云;;云計算環(huán)境下的分布存儲關鍵技術分析[J];硅谷;2013年16期

9 萬武南;王拓;索望;;一種三容錯數據布局[J];電子與信息學報;2013年10期

10 李紅;;基于Google Bigtable的海量數據存儲探索[J];鞍山師范學院學報;2013年04期

相關會議論文 前10條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標優(yōu)化的云計算虛擬集群動態(tài)調整方法[A];山東計算機學會2013學術年會論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計算資源交易模型的研究[A];山東計算機學會2013學術年會論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設及應用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 司煒;;IT支撐系統(tǒng)云計算資源池實現研究[A];2013年中國通信學會信息通信網絡技術委員會年會論文集[C];2013年

5 陳玉龍;王丹平;方曉群;;工業(yè)視頻監(jiān)控系統(tǒng)在豐山銅礦的應用和發(fā)展[A];第三屆全國數字礦山高新技術成果交流會論文集[C];2014年

6 周宇光;陳振義;盛中華;;探索云計算技術在企業(yè)信息化建設中的應用[A];第十六屆中國科協(xié)年會——分7綠色設計與制造信息技術創(chuàng)新論壇論文集[C];2014年

7 祁昊穎;;大數據時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

8 司煒;;IT支撐系統(tǒng)云計算資源池實現研究[A];中國通信學會信息通信網絡技術委員會2013年年會論文集[C];2013年

9 田原;王營康;肖達;楊榆;;云存儲系統(tǒng)中的存儲與數據拆分方案[A];第十九屆全國青年通信學術年會論文集[C];2014年

10 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網思維重構[A];2014全國無線及移動通信學術大會論文集[C];2014年

相關博士學位論文 前10條

1 陳震;黑龍江省森工林區(qū)“智慧林業(yè)”框架應用技術研究[D];東北林業(yè)大學;2012年

2 龐麗莉;無線網絡儀器的時鐘同步、定位及數據安全存儲算法研究[D];吉林大學;2013年

3 肖宜龍;隨機化數據冗余方法及其在存儲系統(tǒng)中的應用[D];電子科技大學;2013年

4 蔣海波;海量數據存儲系統(tǒng)的高可靠性關鍵技術研究與應用[D];電子科技大學;2013年

5 李煜;基于雙邊市場理論的軟件平臺運營機制研究[D];北京郵電大學;2013年

6 孫茂華;安全多方計算及其應用研究[D];北京郵電大學;2013年

7 張帆;認知可重構的高效能Web服務體系結構研究[D];解放軍信息工程大學;2013年

8 胡德鵬;基于農業(yè)本體問句分析的問答系統(tǒng)研究與架構設計[D];中國農業(yè)科學院;2013年

9 王金寶;云計算系統(tǒng)中索引與查詢處理技術研究[D];哈爾濱工業(yè)大學;2013年

10 韓晶;大數據服務若干關鍵技術研究[D];北京郵電大學;2013年

相關碩士學位論文 前10條

1 張凱;分布式存儲系統(tǒng)中節(jié)點修復問題研究[D];西南交通大學;2012年

2 魏偉;一種基于laaS的模式的管理系統(tǒng)的設計與實現[D];復旦大學;2012年

3 孫春菊;云環(huán)境下數據模型和索引技術研究[D];南京郵電大學;2013年

4 田怡萌;BlueOcean海量存儲系統(tǒng)Windows客戶端設計與實現[D];上海交通大學;2013年

5 方旋;云計算在土地利用規(guī)劃信息系統(tǒng)中的應用研究[D];浙江大學;2013年

6 田曉艷;云環(huán)境下高考視頻監(jiān)控數據管理技術研究[D];山東師范大學;2013年

7 吳永發(fā);面向終端應用的云存儲系統(tǒng)研究與設計[D];廣東工業(yè)大學;2013年

8 諶侃;用戶數據融合云計算存儲方案研究[D];北京郵電大學;2013年

9 許維龍;基于HDFS的數據備份系統(tǒng)的分析與設計[D];北京郵電大學;2013年

10 段長強;基于PaaS云服務的移動互聯(lián)網應用程序設計與實現[D];北京郵電大學;2013年

【二級參考文獻】

相關期刊論文 前2條

1 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現狀[J];軟件學報;2009年05期

2 王意潔;孫偉東;周松;裴曉強;李小勇;;云計算環(huán)境下的分布存儲關鍵技術[J];軟件學報;2012年04期

相關碩士學位論文 前1條

1 鄭清吉;安全存儲系統(tǒng)中糾刪碼技術研究[D];上海交通大學;2009年

，

本文編號：1918552