【摘要】：針對(duì)含有大量數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng),提出了一種基于編碼技術(shù)的面向大數(shù)據(jù)備份的優(yōu)化算法(BDCode).該算法通過對(duì)不同編解碼服務(wù)器設(shè)置不同的虛擬節(jié)點(diǎn)存儲(chǔ)組來保證系統(tǒng)的可用性,節(jié)點(diǎn)和數(shù)據(jù)塊的并行解碼計(jì)算提高了系統(tǒng)中數(shù)據(jù)損壞時(shí)的恢復(fù)效率.實(shí)驗(yàn)表明,所提出基于編碼的大數(shù)據(jù)系統(tǒng)備份機(jī)制可以提高系統(tǒng)的存儲(chǔ)利用率,并行解碼方式的引入能加速減少數(shù)據(jù)損壞時(shí)的恢復(fù)時(shí)間,并能達(dá)到零號(hào)的系統(tǒng)負(fù)載均衡;此外不同的用戶設(shè)置不同的編碼參數(shù),增加了大數(shù)據(jù)系統(tǒng)的魯棒性.實(shí)驗(yàn)通過設(shè)置不同的數(shù)據(jù)塊m和校驗(yàn)塊k的比例來提升利用率,并行解碼速度相比以前的串行提高近兩倍.使用BDCode比CRS編碼效率平均高36.1%,解碼效率平均高19.3%;比RS碼編碼效率平均高58.2%,解碼效率平均高33.1%.
[Abstract]:Aiming at big data storage system with a large amount of data, this paper presents an optimized algorithm (BDCode). Based on coding technology for big data backup. The algorithm guarantees the availability of the system by setting different virtual node storage groups to different codec servers. The parallel decoding computation of nodes and data blocks improves the recovery efficiency when the data in the system is damaged. Experimental results show that the proposed system backup mechanism based on coding can improve the storage utilization of the system, and the introduction of parallel decoding can accelerate the reduction of recovery time when the data is damaged, and achieve zero load balance. In addition, different users set different coding parameters, increasing the robustness of big data system. The efficiency of parallel decoding is improved by setting the ratio of different data block m and check block k, and the parallel decoding speed is nearly twice as high as the previous serial decoding speed. The average efficiency of using BDCode is 36.1% higher than that of CRS, the decoding efficiency is 19.3um, the coding efficiency is 58.2% higher than that of RS, and the decoding efficiency is 33.1% higher than that of RS.
【作者單位】： 九江學(xué)院信息科學(xué)與技術(shù)學(xué)院;廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院;平安科技(深圳)有限公司;
【基金】：國家自然科學(xué)基金(61462048);國家自然科學(xué)基金廣東省聯(lián)合基金重點(diǎn)項(xiàng)目(U2012A002D01) 江西省科技廳科技項(xiàng)目(GJJ151081)資助
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;永久性數(shù)據(jù)存儲(chǔ)系統(tǒng)尋求合作[J];電腦與電信;2009年02期

2 楊則正;美國空軍人員數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];管理科學(xué)文摘;1994年07期

3 李亮元;周銀珍;;數(shù)據(jù)存儲(chǔ)系統(tǒng)在銀行的應(yīng)用[J];金融電子化;2002年11期

4 陳端榮,裴先登,謝長(zhǎng)生,讓光林;體全息數(shù)據(jù)存儲(chǔ)系統(tǒng)中的一種調(diào)制碼研究[J];小型微型計(jì)算機(jī)系統(tǒng);2003年01期

5 張展 ,何岷 ,徐廣毅;嵌入式電子飛行儀表系統(tǒng)(一)——數(shù)據(jù)通信和數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];電子世界;2003年05期

6 楊光鎮(zhèn);中山電力數(shù)據(jù)存儲(chǔ)系統(tǒng)方案[J];電力信息化;2004年05期

7 邢笠;;數(shù)字圖書館數(shù)據(jù)存儲(chǔ)系統(tǒng)解決方案的探討[J];浙江萬里學(xué)院學(xué)報(bào);2006年02期

8 沈兆龍;江兵;蔡建文;唐火紅;邢卉;徐敏;黃文浩;;共焦雙光頭多層數(shù)據(jù)存儲(chǔ)系統(tǒng)[J];光電工程;2007年07期

9 張李蓀;;信息化建設(shè)中的數(shù)據(jù)存儲(chǔ)系統(tǒng)建設(shè)[J];人民長(zhǎng)江;2009年07期

10 李二補(bǔ);;數(shù)據(jù)存儲(chǔ)系統(tǒng)中可靠性及容錯(cuò)性研究[J];山西科技;2010年01期

相關(guān)會(huì)議論文 前3條

1 江楊;;流數(shù)據(jù)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)研究[A];2007中國科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

2 章政海;;電廠數(shù)據(jù)存儲(chǔ)系統(tǒng)總體構(gòu)架研究[A];二○○九年全國電力企業(yè)信息化大會(huì)論文集[C];2009年

3 李非;邱天爽;遲戈;魏晶;;高速數(shù)據(jù)存儲(chǔ)在CT成像系統(tǒng)中的應(yīng)用研究[A];2008年醫(yī)療儀器學(xué)術(shù)年會(huì)暨理事會(huì)論文匯編[C];2008年

相關(guān)重要報(bào)紙文章 前10條

1 惠聞;SAN應(yīng)用不再難[N];網(wǎng)絡(luò)世界;2000年

2 ;SAN——高瞻者的選擇[N];網(wǎng)絡(luò)世界;2001年

3 ;傳統(tǒng)存儲(chǔ)方式 面臨變革[N];中國計(jì)算機(jī)報(bào);2004年

4 ;突破存儲(chǔ)的極限[N];中國電腦教育報(bào);2004年

5 ;惠普簡(jiǎn)化行業(yè)數(shù)據(jù)存儲(chǔ)系統(tǒng)[N];人民郵電;2005年

6 ;青島大學(xué)醫(yī)學(xué)院附屬醫(yī) Centera 應(yīng)用案例[N];中國電子報(bào);2005年

7 陳旭兵;岳陽醫(yī)院“分級(jí)存儲(chǔ)”PACS構(gòu)建[N];網(wǎng)絡(luò)世界;2008年

8 程鴻;政府信息資源需層次化管理[N];計(jì)算機(jī)世界;2004年

9 劉燕;福建采購工商管理系統(tǒng)信息建設(shè)項(xiàng)目[N];政府采購信息報(bào);2008年

10 IBM存儲(chǔ)事業(yè)部 張英偉;用邏輯卷鏡像安全備份[N];中國計(jì)算機(jī)報(bào);2006年

相關(guān)博士學(xué)位論文 前1條

1 陳海霞;計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀寫頭/盤間超薄氣膜動(dòng)力穩(wěn)定性研究[D];華中科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 林潘榕;基于連接順序優(yōu)化的分布式能耗數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 朱偉健;基于數(shù)據(jù)屬性的大數(shù)據(jù)存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

3 馬浩田;基于HBase的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2015年

4 夏云;非結(jié)構(gòu)化大數(shù)據(jù)存儲(chǔ)系統(tǒng)安全性增強(qiáng)技術(shù)研究[D];電子科技大學(xué);2015年

5 李啟芳;成工職校校園網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];電子科技大學(xué);2014年

6 鐘曉華;銀行操作數(shù)據(jù)存儲(chǔ)系統(tǒng)的分析與應(yīng)用[D];內(nèi)蒙古大學(xué);2009年

7 黃麗華;江西電信公司運(yùn)營數(shù)據(jù)存儲(chǔ)系統(tǒng)的升級(jí)方案設(shè)計(jì)[D];南昌大學(xué);2010年

8 張燦;云存儲(chǔ)中的數(shù)據(jù)動(dòng)態(tài)平衡技術(shù)研究[D];上海交通大學(xué);2012年

9 王建光;大規(guī)模時(shí)間序列數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

10 黃寅;高速數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];華中科技大學(xué);2009年

，

本文編號(hào)：2387388