本文選題：云中云　切入點(diǎn)：重復(fù)數(shù)據(jù)刪除　出處：《計(jì)算機(jī)研究與發(fā)展》2015年06期 　論文類型：期刊論文

【摘要】：隨著云存儲技術(shù)的快速發(fā)展和應(yīng)用,越來越多的企業(yè)和用戶都開始將數(shù)據(jù)從本地轉(zhuǎn)移到云存儲服務(wù)提供商進(jìn)行存儲.但是,在享受云存儲高質(zhì)量服務(wù)的同時,將數(shù)據(jù)僅僅存儲于單個云存儲服務(wù)商中會帶來一定的風(fēng)險,例如云存儲服務(wù)提供商的壟斷、數(shù)據(jù)可用性和安全性等問題.為了解決這個問題,提出了一種基于重復(fù)數(shù)據(jù)刪除技術(shù)的云中云存儲系統(tǒng)架構(gòu),首先消除云存儲系統(tǒng)中的冗余數(shù)據(jù)量,然后基于重復(fù)數(shù)據(jù)刪除集中的數(shù)據(jù)塊引用率將數(shù)據(jù)塊以復(fù)制和糾刪碼2種數(shù)據(jù)布局方式存儲在多個云存儲服務(wù)提供商中.基于復(fù)制的數(shù)據(jù)布局方式易于實(shí)現(xiàn)部署,但是存儲開銷大;基于糾刪碼的數(shù)據(jù)布局方式存儲開銷小,但是需要編碼和解碼,計(jì)算開銷大.為了充分挖掘復(fù)制和糾刪碼數(shù)據(jù)布局的優(yōu)點(diǎn)并結(jié)合重復(fù)數(shù)據(jù)刪除技術(shù)中數(shù)據(jù)引用的特點(diǎn),新方法用復(fù)制方式存儲高引用數(shù)據(jù)塊,用糾刪碼方式存儲其他數(shù)據(jù)塊,從而使系統(tǒng)整體性能和成本達(dá)到較優(yōu).通過原型系統(tǒng)的實(shí)現(xiàn)和測試驗(yàn)證了相比現(xiàn)有云中云存儲策略,新方法在性能和成本上都有大幅度提高.
[Abstract]:With the rapid development and application of cloud storage technology, more and more enterprises and users begin to transfer data from local to cloud storage service providers for storage. Storing data in a single cloud storage service provider poses certain risks, such as the monopoly of cloud storage service providers, data availability, and security. In this paper, a cloud storage system architecture based on repeated data deletion technology is proposed. Firstly, the redundant data in cloud storage system is eliminated. Then the data blocks are stored in multiple cloud storage service providers by replication and erasure code based on the data block reference rate in the duplicate data delete set. The data layout based on replication is easy to deploy. However, the storage overhead is large; the data layout based on erasure code has less storage overhead, but it requires encoding and decoding. In order to fully exploit the advantages of replication and erasure code data layout and combine the characteristics of data reference in repeated data deletion technology, the new method stores high reference data blocks by replication and other data blocks by erasure code. Through the implementation and test of the prototype system, the performance and cost of the new method are greatly improved compared with the existing cloud storage strategy.
【作者單位】： 廈門大學(xué)軟件學(xué)院;廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系;高效能服務(wù)器和存儲技術(shù)國家重點(diǎn)實(shí)驗(yàn)室(山東海量信息技術(shù)研究院);
【基金】：國家自然科學(xué)基金項(xiàng)目(61472336,61402385) 國家科技支撐計(jì)劃基金項(xiàng)目(2015BAH16F02) 教育部留學(xué)回國人員科研啟動基金 高效能服務(wù)器和存儲技術(shù)國家重點(diǎn)實(shí)驗(yàn)室開放課題(2014HSSA04) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(20720140515)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

2 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J];軟件學(xué)報;2012年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鐘德榮;蔣園園;張愷樂;王智泉;;基于云計(jì)算的全球眼視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年20期

2 宋秀麗;陳龍;肖敏;;云存儲中支持XOR旋轉(zhuǎn)編碼的可恢復(fù)性驗(yàn)證方案[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2012年06期

3 王永;李敏;張勤;;云計(jì)算模式下合同協(xié)同擬定模型研究[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2012年06期

4 陳崇成;林劍峰;吳小竹;巫建偉;連惠群;;基于NoSQL的海量空間數(shù)據(jù)云存儲與服務(wù)方法[J];地球信息科學(xué)學(xué)報;2013年02期

5 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測中的應(yīng)用研究[J];電腦知識與技術(shù);2013年21期

6 饒慶云;丁晶晶;蘇樂樂;谷永權(quán);夏良暉;胡中南;;基于云計(jì)算的分布式切圖服務(wù)設(shè)計(jì)與實(shí)現(xiàn)[J];測繪與空間地理信息;2013年S1期

7 范真榮;;基于云計(jì)算的企業(yè)XBRL跨平臺協(xié)同管理研究[J];財會通訊;2013年25期

8 郭翠云;;云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)分析[J];硅谷;2013年16期

9 萬武南;王拓;索望;;一種三容錯數(shù)據(jù)布局[J];電子與信息學(xué)報;2013年10期

10 張志杰;何利力;;煙草工業(yè)數(shù)據(jù)災(zāi)備中重復(fù)數(shù)據(jù)刪除技術(shù)研究[J];工業(yè)控制計(jì)算機(jī);2013年12期

相關(guān)會議論文 前4條

1 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];2013年中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會年會論文集[C];2013年

2 陳玉龍;王丹平;方曉群;;工業(yè)視頻監(jiān)控系統(tǒng)在豐山銅礦的應(yīng)用和發(fā)展[A];第三屆全國數(shù)字礦山高新技術(shù)成果交流會論文集[C];2014年

3 司煒;;IT支撐系統(tǒng)云計(jì)算資源池實(shí)現(xiàn)研究[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2013年年會論文集[C];2013年

4 田原;王營康;肖達(dá);楊榆;;云存儲系統(tǒng)中的存儲與數(shù)據(jù)拆分方案[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 陳震;黑龍江省森工林區(qū)“智慧林業(yè)”框架應(yīng)用技術(shù)研究[D];東北林業(yè)大學(xué);2012年

2 肖宜龍;隨機(jī)化數(shù)據(jù)冗余方法及其在存儲系統(tǒng)中的應(yīng)用[D];電子科技大學(xué);2013年

3 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

4 黃震;大規(guī)模分布式存儲系統(tǒng)中數(shù)據(jù)冗余技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

5 夏純中;云存儲多數(shù)據(jù)中心QoS保障機(jī)制研究[D];江蘇大學(xué);2014年

6 龍賽琴;云存儲系統(tǒng)中的數(shù)據(jù)布局策略研究[D];華南理工大學(xué);2014年

7 王繼彬;磁盤陣列快速重構(gòu)，，擴(kuò)容及性能優(yōu)化研究[D];華中科技大學(xué);2013年

8 姜久雷;云計(jì)算環(huán)境下跨組織業(yè)務(wù)流程建模方法研究[D];東華大學(xué);2014年

9 馬莉;云計(jì)算環(huán)境下煤礦應(yīng)急管理關(guān)鍵技術(shù)研究[D];西安科技大學(xué);2014年

10 朱李楠;云制造環(huán)境下資源建模及其匹配方法研究[D];浙江工業(yè)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 蔡博;基于MBasedSWC-Varsize算法的重復(fù)數(shù)據(jù)消除技術(shù)研究[D];電子科技大學(xué);2012年

3 魏偉;一種基于laaS的模式的管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

4 孫春菊;云環(huán)境下數(shù)據(jù)模型和索引技術(shù)研究[D];南京郵電大學(xué);2013年

5 田怡萌;BlueOcean海量存儲系統(tǒng)Windows客戶端設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

6 方旋;云計(jì)算在土地利用規(guī)劃信息系統(tǒng)中的應(yīng)用研究[D];浙江大學(xué);2013年

7 田曉艷;云環(huán)境下高考視頻監(jiān)控數(shù)據(jù)管理技術(shù)研究[D];山東師范大學(xué);2013年

8 吳永發(fā);面向終端應(yīng)用的云存儲系統(tǒng)研究與設(shè)計(jì)[D];廣東工業(yè)大學(xué);2013年

9 諶侃;用戶數(shù)據(jù)融合云計(jì)算存儲方案研究[D];北京郵電大學(xué);2013年

10 許維龍;基于HDFS的數(shù)據(jù)備份系統(tǒng)的分析與設(shè)計(jì)[D];北京郵電大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

2 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

2 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

3 徐立洋;;選購重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計(jì)算機(jī)用戶;2009年08期

4 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

5 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國計(jì)算機(jī)用戶;2009年16期

6 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

7 王樹鵬;;重復(fù)數(shù)據(jù)刪除技術(shù)的發(fā)展及應(yīng)用[J];中興通訊技術(shù);2010年05期

8 倪顯利;;重復(fù)數(shù)據(jù)刪除技術(shù)的應(yīng)用與實(shí)踐[J];中國金融電腦;2011年05期

9 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

10 拜路;;重復(fù)數(shù)據(jù)刪除技術(shù)分析及其對存儲系統(tǒng)性能的影響[J];電腦編程技巧與維護(hù);2012年06期

相關(guān)會議論文 前3條

1 賈志凱;王樹鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場試驗(yàn)信息存儲技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會議論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 本報記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國計(jì)算機(jī)報;2009年

2 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報;2009年

3 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

4 郭濤;重復(fù)數(shù)據(jù)刪除比越大越好嗎？[N];中國計(jì)算機(jī)報;2007年

5 中國傳媒大學(xué)計(jì)算機(jī)學(xué)院 朱立谷;重復(fù)數(shù)據(jù)刪除：改寫存儲行業(yè)經(jīng)濟(jì)規(guī)則？[N];中國計(jì)算機(jī)報;2007年

6 劉學(xué)習(xí);刪除重復(fù)數(shù)據(jù)[N];計(jì)算機(jī)世界;2006年

7 張群英;重復(fù)數(shù)據(jù)刪除技術(shù)異軍突起[N];網(wǎng)絡(luò)世界;2006年

8 張峰;重復(fù)數(shù)據(jù)刪除 難走的平衡木[N];網(wǎng)絡(luò)世界;2007年

9 王s

本文編號：1613506