發(fā)布時間：2018-03-22 15:49

  本文選題：分布式存儲　切入點：糾刪碼　出處：《計算機學報》2017年01期 　論文類型：期刊論文

【摘要】：大數(shù)據(jù)規(guī)模上體量大和增長速度快的特點對存儲系統(tǒng)的性能和可擴展性提出了嚴峻挑戰(zhàn).使用普通商用服務(wù)器構(gòu)建的分布式存儲系統(tǒng)服務(wù)能力強、成本低廉且極易擴展,在大數(shù)據(jù)的存儲管理中得到了極為廣泛的應(yīng)用.分布式存儲系統(tǒng)龐大的節(jié)點數(shù)量導致節(jié)點失效情況頻發(fā),必須采用一定的容錯技術(shù)來保證數(shù)據(jù)可靠性.常用的容錯技術(shù)主要包括多副本技術(shù)和糾刪碼技術(shù)兩種.與多副本容錯技術(shù)相比,糾刪碼容錯技術(shù)能夠以低得多的存儲開銷提供相同甚至更高的數(shù)據(jù)可靠性.隨著近年來數(shù)據(jù)規(guī)模的爆炸式增長,糾刪碼容錯技術(shù)受到了業(yè)界的廣泛關(guān)注.該文綜述了分布式存儲中糾刪碼容錯技術(shù)的研究現(xiàn)狀.首先,介紹了糾刪碼容錯技術(shù)的基本原理和概念,指出了糾刪碼容錯技術(shù)在大規(guī)模分布式存儲中面臨的主要技術(shù)挑戰(zhàn);然后,從編碼實現(xiàn)、糾刪碼設(shè)計、數(shù)據(jù)修復(fù)和數(shù)據(jù)更新等方面闡述了分布式存儲中糾刪碼容錯技術(shù)的研究進展,重點研究分析了各項關(guān)鍵技術(shù)的特點和局限性,并依據(jù)主要評價指標對現(xiàn)有糾刪碼的編碼性能和修復(fù)性能進行了對比和分析;最后,基于最新研究動態(tài)指出了分布式存儲中糾刪容錯技術(shù)未來的研究方向,包括同步編碼實現(xiàn)技術(shù)、低冗余再生碼設(shè)計和數(shù)據(jù)失效預(yù)測技術(shù)等.
[Abstract]:Big data's characteristics of large size and fast growth have posed a severe challenge to the performance and scalability of storage system. The distributed storage system built with ordinary commercial servers has strong service capability, low cost and easy to expand. Big data has been widely used in storage management. The large number of nodes in distributed storage system leads to frequent node failure. It is necessary to adopt certain fault-tolerant technology to ensure the reliability of data. The commonly used fault-tolerant techniques mainly include multi-replica technique and erasure code technology. Erasure code fault-tolerant technology can provide the same or higher data reliability with much lower storage overhead. Erasure code fault-tolerant technology has attracted wide attention in the industry. This paper summarizes the research status of erasure code fault-tolerant technology in distributed storage. Firstly, the basic principle and concept of erasure code fault-tolerant technology are introduced. The main technical challenges of erasure code fault-tolerant technology in large-scale distributed storage are pointed out, and then, from the coding implementation, erasure code design, In this paper, the research progress of erasure code fault-tolerant technology in distributed storage is described, and the characteristics and limitations of the key technologies are analyzed. The coding performance and repair performance of existing erasure codes are compared and analyzed according to the main evaluation indexes. Finally, the future research direction of erasure fault-tolerant technology in distributed storage is pointed out based on the latest research trends. It includes synchronous coding technology, low redundancy regenerative code design and data failure prediction technology.
【作者單位】： 國防科學技術(shù)大學并行與分布處理國家重點實驗室;國防科學技術(shù)大學計算機學院;
【基金】：國家自然科學基金(61379052) 國家重點研發(fā)計劃項目(2016YFB1000101) 國家“八六三”高技術(shù)研究發(fā)展計劃項目(2013AA01A213) 湖南省自然科學杰出青年基金項目(14JJ1026) 高等學校博士學科點專項科研基金資助課題(20124307110015)資助~~
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 ;未雨綢繆話容錯技術(shù)[J];計算機與網(wǎng)絡(luò);2004年06期

2 夏祖德;雷鏡湖;;硬件容錯技術(shù)[J];電子技術(shù);1987年10期

3 周修廉;陳是榮;;分布式計算機系統(tǒng)容錯技術(shù)[J];哈爾濱科學技術(shù)大學學報;1987年03期

4 梁思禮;容錯技術(shù)在航天領(lǐng)域中的應(yīng)用[J];系統(tǒng)工程與電子技術(shù);1993年12期

5 陳萬福;查新檢索工作中的容錯理論與容錯技術(shù)[J];醫(yī)學情報工作;2001年05期

6 鄭平;;容錯技術(shù)在數(shù)據(jù)集中系統(tǒng)中的應(yīng)用[J];金融電子化;2001年11期

7 蒙建波,吳銀成,楊俊永;容錯技術(shù)與儀表的發(fā)展[J];儀器儀表學報;2002年S3期

8 黎珊珊;實時分布式計算機系統(tǒng)的容錯技術(shù)研究[J];計算機與數(shù)字工程;2002年06期

9 張郭軍,王榮;網(wǎng)絡(luò)服務(wù)器的容錯技術(shù)[J];渭南師范學院學報;2002年05期

10 ;揭密容錯技術(shù)的前世今生[J];計算機與網(wǎng)絡(luò);2004年16期

相關(guān)會議論文 前10條

1 蒙建波;吳銀成;楊俊永;;容錯技術(shù)與儀表的發(fā)展[A];第三次全國會員代表大會暨學術(shù)會議論文集[C];2002年

2 王東盛;;容錯技術(shù)在衛(wèi)星控制系統(tǒng)中的應(yīng)用[A];第十屆全國容錯計算學術(shù)會議論文集[C];2003年

3 李衛(wèi)東;;容錯技術(shù)在梅鋼的應(yīng)用[A];全國冶金自動化信息網(wǎng)2012年年會論文集[C];2012年

4 龐海洋;李新明;;軟件容錯[A];第十屆全國容錯計算學術(shù)會議論文集[C];2003年

5 閔應(yīng)驊;;網(wǎng)絡(luò)容錯與安全研究述評[A];第十屆全國容錯計算學術(shù)會議論文集[C];2003年

6 于洪濤;黃文軒;王和;;一種雙機容錯方案及其應(yīng)用[A];開創(chuàng)新世紀的通信技術(shù)——第七屆全國青年通信學術(shù)會議論文集[C];2001年

7 龔健;楊孟飛;;硬件進化系統(tǒng)的容錯性研究[A];第十四屆全國容錯計算學術(shù)會議(CFTC'2011)論文集[C];2011年

8 歐陽一鳴;余雅瓊;郭凱;;基于同構(gòu)片上網(wǎng)絡(luò)拓撲可重構(gòu)的容錯硬件結(jié)構(gòu)[A];第六屆中國測試學術(shù)會議論文集[C];2010年

9 羅宏;宿紅毅;戰(zhàn)守義;;無線傳感器網(wǎng)絡(luò)故障診斷與容錯技術(shù)研究進展[A];第八屆全國信息獲取與處理學術(shù)會議論文集[C];2010年

10 高航;羅宇;;RTEMS上基于軟件重算的容錯支撐設(shè)計研究[A];2008年全國開放式分布與并行計算機學術(shù)會議論文集(下冊)[C];2008年

相關(guān)重要報紙文章 前10條

1 艾先;容錯技術(shù)掃描[N];中國貿(mào)易報;2004年

2 ;容錯技術(shù)的發(fā)展與應(yīng)用展望[N];計算機世界;2001年

3 劉雨;讓容錯服務(wù)器“平民化”[N];中國計算機報;2007年

4 常文杰;新容錯浪潮[N];網(wǎng)絡(luò)世界;2004年

5 胡志敏;“雙核”容錯服務(wù)器來了[N];政府采購信息報;2007年

6 ;容錯技術(shù)應(yīng)用前景[N];中國高新技術(shù)產(chǎn)業(yè)導報;2004年

7 孔令男;容錯技術(shù)高端商用領(lǐng)域的核心[N];中國國門時報;2004年

8 遼河石油勘探局物資公司 趙雁　林斌;存儲容錯：魚與熊掌可以兼得[N];中國計算機報;2010年

9 記者劉雨;Stratus 加大中國行業(yè)市場拓展[N];中國計算機報;2003年

10 樊強;容錯服務(wù)器 服務(wù)未來[N];中國電腦教育報;2004年

相關(guān)博士學位論文 前10條

1 黃達;基于憶阻器的自治容錯技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 孫欽瑩;大規(guī)模自然災(zāi)害應(yīng)急準備的容錯規(guī)劃[D];哈爾濱工業(yè)大學;2016年

3 李旭;基于非易失內(nèi)存的高性能計算容錯技術(shù)研究[D];國防科學技術(shù)大學;2013年

4 劉玲霞;Web服務(wù)容錯關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2006年

5 林勇;基于進化型硬件的容錯方法研究[D];中國科學技術(shù)大學;2007年

6 孫曉星;面向方面的軟件容錯模型設(shè)計與分析技術(shù)[D];華東理工大學;2012年

7 李海山;面向恢復(fù)的容錯計算技術(shù)研究[D];哈爾濱工程大學;2007年

8 肖勇;面向航天的多源信息流系統(tǒng)綜合診斷與容錯研究[D];東華大學;2010年

9 趙天緒;集成電路缺陷分布模型和容錯技術(shù)研究[D];西安電子科技大學;1999年

10 朱萍;硬實時容錯調(diào)度算法研究[D];華中科技大學;2011年

相關(guān)碩士學位論文 前10條

1 鄭福真;高擴展高容錯流式處理系統(tǒng)設(shè)計與實現(xiàn)[D];浙江大學;2015年

2 吳方軍;MPI環(huán)境下多副本容錯技術(shù)研究[D];東南大學;2015年

3 梁賀斌;基于可信度的DSP軟件冗余容錯表決方法研究[D];中國科學院國家空間科學中心;2016年

4 孟沖;小型無人機負荷分擔式容錯飛行控制軟件設(shè)計[D];南京航空航天大學;2015年

5 關(guān)國棟;Hadoop容錯調(diào)度技術(shù)研究[D];西南交通大學;2016年

6 楊爽;基于FPGA的CAN接口抗SEU容錯方法研究[D];哈爾濱工業(yè)大學;2016年

7 曹舒婷;基于TSV的3D NoC容錯及熱優(yōu)化設(shè)計技術(shù)研究[D];合肥工業(yè)大學;2016年

8 代征;彈性函數(shù)在彈性容錯技術(shù)中的應(yīng)用研究[D];武漢大學;2004年

9 吳代賢;移動Agent的容錯方法研究[D];西南師范大學;2004年

10 張國強;星載并行處理計算機系統(tǒng)容錯技術(shù)研究[D];國防科學技術(shù)大學;2006年

，

本文編號：1649320