本文選題：云存儲(chǔ)系統(tǒng)　切入點(diǎn)：可靠性　出處：《計(jì)算機(jī)應(yīng)用與軟件》2014年02期

【摘要】：在云存儲(chǔ)中,數(shù)據(jù)可以分為三種類型:讀頻繁、寫頻繁以及冷數(shù)據(jù)。對不同類型的數(shù)據(jù)設(shè)置不同的編碼機(jī)制:對讀頻繁數(shù)據(jù)采用多副本技術(shù),頻繁寫的數(shù)據(jù)采用單文件編碼方案,冷數(shù)據(jù)采用跨文件編碼方案。在云存儲(chǔ)系統(tǒng)中提出了一種新的糾刪碼技術(shù)的可靠性機(jī)制—魔方碼,該編碼易于實(shí)現(xiàn),具備高的容錯(cuò)性并且相比多副本機(jī)制可以減少資源的消耗。以HDFS上的一個(gè)RAID包為基礎(chǔ),實(shí)現(xiàn)魔方碼的原型,并添加BlaumRoth、RDP以對比測試。雖然各種編碼各有優(yōu)缺點(diǎn),通過單機(jī)和集群測試RAID-5、BlaumRoth、RDP和魔方碼的編譯碼速度,魔方碼譯碼速度比現(xiàn)有最優(yōu)RAID-6編碼RDP碼提高了一個(gè)數(shù)量級。同時(shí),針對大規(guī)模分布式系統(tǒng)提出了一種三維糾刪碼,可以容任意7個(gè)錯(cuò)誤�？傊�,測試結(jié)果顯示魔方碼相比三份副本技術(shù),在減少一半資源消耗的同時(shí)可以保證高的可用性和可靠性。
[Abstract]:In cloud storage, data can be divided into three types: frequent reading, frequent writing and cold data. Different encoding mechanisms are set for different types of data. This paper presents a new reliability mechanism of erasure correcting code, which is the magic square code, which is easy to realize in cloud storage system. It has high fault tolerance and can reduce resource consumption compared with multi-copy mechanism. Based on a RAID package on HDFS, it implements the prototype of the magic code and adds Blaum Roth RDP to compare the test. Although each coding has its own advantages and disadvantages, By testing the encoding and decoding speed of RAID-5 Blaum Rothian RDP and magic cube code on single computer and cluster, the decoding speed of magic square code is improved by an order of magnitude compared with the existing optimal RAID-6 coding RDP code. At the same time, a three dimensional erasure correcting code is proposed for large-scale distributed system. All in all, the test results show that compared with three replicas, the code can reduce resource consumption by half while ensuring high availability and reliability.
【作者單位】： 武漢體育學(xué)院體育工程與信息技術(shù)系;
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 吳吉義;章劍林;傅建慶;平玲娣;;基于Kademlia的云存儲(chǔ)系統(tǒng)數(shù)據(jù)冗余方案研究[J];電信科學(xué);2011年02期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王青峰;;云計(jì)算及云數(shù)據(jù)管理技術(shù)研究初探[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年04期

2 馬瑋駿;吳海佳;劉鵬;;MassCloud云存儲(chǔ)系統(tǒng)構(gòu)架及可靠性機(jī)制[J];河海大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

3 馬曉亭;陳臣;;數(shù)字圖書館云存儲(chǔ)應(yīng)用系統(tǒng)研究與實(shí)現(xiàn)[J];圖書館理論與實(shí)踐;2012年05期

4 張殿奎;;基于云計(jì)算的虛擬化存儲(chǔ)技術(shù)研究[J];科技傳播;2013年16期

5 馬曉亭;陳臣;;云計(jì)算環(huán)境下基于收益優(yōu)化的數(shù)字圖書館網(wǎng)絡(luò)虛擬化研究[J];情報(bào)科學(xué);2014年03期

6 張巍;賈玉輝;張志楠;;一種語音識別的可定制云計(jì)算方法[J];中國海洋大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

7 曹英忠;謝曉蘭;趙鵬;;基于Hadoop的云存儲(chǔ)實(shí)踐[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2011年24期

8 陳臣;馬曉亭;;數(shù)字圖書館云存儲(chǔ)系統(tǒng)安全架構(gòu)與安全策略研究[J];現(xiàn)代情報(bào);2011年09期

9 張勝偉;;云存儲(chǔ)中副本冗余技術(shù)的研究[J];無線互聯(lián)科技;2012年09期

10 王引娜;宋耀光;倪巍;徐廣慶;;基于RS糾刪碼的HDFS云存儲(chǔ)動(dòng)態(tài)副本策略研究[J];科技創(chuàng)新導(dǎo)報(bào);2013年17期

相關(guān)博士學(xué)位論文 前1條

1 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲(chǔ)系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前8條

1 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺(tái)及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

2 賈玉輝;面向語音交互的云計(jì)算系統(tǒng)的研究[D];中國海洋大學(xué);2013年

3 徐淑琦;基于MapReduce的高性能云計(jì)算任務(wù)調(diào)度技術(shù)的研究[D];北京工業(yè)大學(xué);2013年

4 鮑文磊;LS-SVM的GPU高性能計(jì)算方法研究[D];哈爾濱工業(yè)大學(xué);2012年

5 徐驍勇;技術(shù)創(chuàng)新平臺(tái)存儲(chǔ)系統(tǒng)的冗余容錯(cuò)機(jī)制研究[D];南京工業(yè)大學(xué);2012年

6 呂陽;分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

7 劉瓊;融合新媒體業(yè)務(wù)的廣電協(xié)同服務(wù)平臺(tái)[D];華南理工大學(xué);2013年

8 劉曉偉;一種基于P2P的云存儲(chǔ)模型研究[D];西安電子科技大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 吳吉義;平玲娣;潘雪增;李卓;;云計(jì)算:從概念到平臺(tái)[J];電信科學(xué);2009年12期

2 吳吉義;傅建慶;張明西;平玲娣;;云數(shù)據(jù)管理研究綜述[J];電信科學(xué);2010年05期

3 侯孟書;王曉斌;盧顯良;任立勇;;一種新的動(dòng)態(tài)副本管理機(jī)制[J];計(jì)算機(jī)科學(xué);2006年09期

4 田敬;代亞非;;P2P持久存儲(chǔ)研究[J];軟件學(xué)報(bào);2007年06期

相關(guān)碩士學(xué)位論文 前2條

1 肖哲鋒;基于Erasure Code的高可用分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2006年

2 李勤;P2P內(nèi)容分發(fā)系統(tǒng)中編碼解碼算法設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2008年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 甘勇;;抗輻射計(jì)算機(jī)糾錯(cuò)編碼芯片的研制[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào);1995年04期

2 張煥國,丁玉龍,覃中平;計(jì)算機(jī)并行通信糾錯(cuò)設(shè)計(jì)[J];武漢大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年03期

3 李亦凡,張煥國;利用糾錯(cuò)碼的確定性分布式表決策略[J];武漢大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年03期

4 劉海龍;;光存儲(chǔ)系統(tǒng)中的糾錯(cuò)碼[J];記錄媒體技術(shù);2008年04期

5 曹德勝;糾錯(cuò)碼在計(jì)算機(jī)科學(xué)中的應(yīng)用——離散數(shù)學(xué)與糾錯(cuò)碼[J];華北科技學(xué)院學(xué)報(bào);2000年01期

6 譚國律;計(jì)算機(jī)糾錯(cuò)碼中的0-1矩陣[J];上饒師范學(xué)院學(xué)報(bào);2002年03期

7 萬武南;孟慶春;王曉京;;基于V碼的高可靠性磁盤陣列容錯(cuò)模型[J];計(jì)算機(jī)工程;2007年08期

8 郭御風(fēng);郭誦忻;龔銳;;一種面向多核處理器I/O系統(tǒng)軟錯(cuò)誤容錯(cuò)方法[J];計(jì)算機(jī)工程與科學(xué);2011年10期

9 王冰容;用于存儲(chǔ)器容錯(cuò)的糾、檢單向字節(jié)錯(cuò)誤碼的設(shè)計(jì)[J];華東交通大學(xué)學(xué)報(bào);1996年01期

10 楊瓊;崔西寧;周波;;事務(wù)型文件系統(tǒng)存儲(chǔ)管理機(jī)制的研究與實(shí)現(xiàn)[J];航空計(jì)算技術(shù);2011年05期

相關(guān)會(huì)議論文 前10條

1 郭建立;劉宏偉;董劍;楊孝宗;;雙機(jī)容錯(cuò)服務(wù)器中的浮動(dòng)IP技術(shù)研究[A];第十屆全國容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

2 李璋輝;倪曉強(qiáng);王永文;;高性能處理器中ECC糾錯(cuò)碼的設(shè)計(jì)及實(shí)現(xiàn)[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

3 隋厚堂;;系統(tǒng)(16,8)碼的錯(cuò)誤分布和性能比較[A];空間探測的今天和未來——中國空間科學(xué)學(xué)會(huì)空間探測專業(yè)委員會(huì)第七次學(xué)術(shù)會(huì)議論文集（下冊）[C];1994年

4 馬衛(wèi)東;李幼平;;基于FPSOC的一類嵌入式系統(tǒng)設(shè)計(jì)[A];中國工程物理研究院科技年報(bào)（2005）[C];2005年

5 顏運(yùn)強(qiáng);;容錯(cuò)性指令分析與處理技術(shù)[A];中國工程物理研究院科技年報(bào)（2005）[C];2005年

6 吳知真;馮文全;;基于FPGA的VXI總線接口的設(shè)計(jì)[A];全國第十屆信號與信息處理、第四屆DSP應(yīng)用技術(shù)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2006年

7 竇峰山;曹壯;駱力;龍志強(qiáng);;基于二乘“二取二”的安全型計(jì)算機(jī)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];2007中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

8 謝浩;張健;;星載SPARC V8嵌入式系統(tǒng)設(shè)計(jì)[A];2007'中國儀器儀表與測控技術(shù)交流大會(huì)論文集（二）[C];2007年

9 陳海堅(jiān);張擁軍;;實(shí)時(shí)嵌入式系統(tǒng)容錯(cuò)與低功耗結(jié)合的調(diào)度技術(shù)[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)會(huì)議論文集（上冊）[C];2008年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 高嵐;可靠性第一 穩(wěn)定性第一[N];中國計(jì)算機(jī)報(bào);2002年

2 魏;國內(nèi)PC可靠性記錄大幅刷新[N];國際商報(bào);2007年

3 四川 萬琳;提高24C04數(shù)據(jù)存儲(chǔ)可靠性的方法[N];電子報(bào);2002年

4 ;Windows Server 2003可靠性增強(qiáng)[N];計(jì)算機(jī)世界;2003年

5 富士通(中國)信息系統(tǒng)有限公司;FUJITSU ETERNUS2000磁盤陣列問世[N];通信產(chǎn)業(yè)報(bào);2007年

6 中國電源學(xué)會(huì)副理事長 張廣明;可靠性 Vs 可用性[N];網(wǎng)絡(luò)世界;2004年

7 周健邋田夢;尋找磁盤可靠性新標(biāo)準(zhǔn)[N];計(jì)算機(jī)世界;2008年

8 韓勖;同有iSCSI戰(zhàn)略：瞄準(zhǔn)中高端[N];計(jì)算機(jī)世界;2008年

9 郭濤;中端存儲(chǔ)：只選最適合的[N];中國計(jì)算機(jī)報(bào);2006年

10 ;UPS設(shè)計(jì)5大新理念[N];網(wǎng)絡(luò)世界;2005年

相關(guān)博士學(xué)位論文 前10條

1 萬武南;分布式安全存儲(chǔ)系統(tǒng)糾刪碼技術(shù)的研究[D];中國科學(xué)院研究生院（成都計(jì)算機(jī)應(yīng)用研究所）;2006年

2 陳海波;云計(jì)算平臺(tái)可信性增強(qiáng)技術(shù)的研究[D];復(fù)旦大學(xué);2008年

3 彭和平;基于航天及空間應(yīng)用的單片多處理體系結(jié)構(gòu)研究[D];西北工業(yè)大學(xué);2006年

4 劉云新;面向新一代移動(dòng)計(jì)算平臺(tái)的系統(tǒng)虛擬化研究與應(yīng)用[D];上海交通大學(xué);2011年

5 朱曉敏;異構(gòu)集群系統(tǒng)中實(shí)時(shí)任務(wù)若干調(diào)度問題研究[D];復(fù)旦大學(xué);2009年

6 劉曉光;二級網(wǎng)絡(luò)條紋數(shù)據(jù)布局及其相關(guān)問題的研究[D];南開大學(xué);2002年

7 陳宇;高可靠容錯(cuò)實(shí)時(shí)系統(tǒng)的支撐技術(shù)研究[D];電子科技大學(xué);2001年

8 王永慶;基于快速網(wǎng)絡(luò)的新型存儲(chǔ)層次設(shè)計(jì)與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2003年

9 萬勝剛;磁盤陣列高容錯(cuò)模式及重構(gòu)技術(shù)研究[D];華中科技大學(xué);2010年

10 潘立陽;新型低壓低功耗快閃存儲(chǔ)器技術(shù)研究[D];清華大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 舒星;磁盤陣列在線重建與RAID5擴(kuò)容的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

2 楊照宏;分布式海量存儲(chǔ)系統(tǒng)的可靠性和容錯(cuò)性研究[D];大連海事大學(xué);2007年

3 李楠;基于Intel386EX處理器的高可靠航天嵌入式系統(tǒng)的設(shè)計(jì)與研制[D];中國科學(xué)院研究生院（空間科學(xué)與應(yīng)用研究中心）;2006年

4 劉怡;單管多位MNOS結(jié)構(gòu)閃速存儲(chǔ)器的研究[D];暨南大學(xué);2005年

5 劉光輝;星載并行計(jì)算機(jī)體系結(jié)構(gòu)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

6 劉漢波;對象存儲(chǔ)系統(tǒng)的I/O處理與緩存研究[D];華中科技大學(xué);2007年

7 姚蘭;基于ADS中間件的容錯(cuò)系統(tǒng)的研究與設(shè)計(jì)[D];西南交通大學(xué);2005年

8 王克朝;基于冗余機(jī)制的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)可靠性研究[D];華中科技大學(xué);2006年

9 顧懷懷;金屬納米晶非揮發(fā)存儲(chǔ)器存儲(chǔ)特性的模擬[D];上海交通大學(xué);2008年

10 葉靜;“銀河飛騰”DSP的IP核物理設(shè)計(jì)與優(yōu)化[D];國防科學(xué)技術(shù)大學(xué);2007年

，

本文編號：1693918