本文關(guān)鍵詞： 重復(fù)數(shù)據(jù)刪除 重刪率 體系結(jié)構(gòu) 元數(shù)據(jù)結(jié)構(gòu) I/O優(yōu)化　出處：《計算機(jī)科學(xué)》2014年01期 　論文類型：期刊論文

【摘要】：目前企業(yè)對數(shù)據(jù)量不斷增長的需求使得數(shù)據(jù)中心面臨嚴(yán)峻的挑戰(zhàn)。研究發(fā)現(xiàn),存儲系統(tǒng)中高達(dá)60%的數(shù)據(jù)是冗余的,如何縮減存儲系統(tǒng)中的冗余數(shù)據(jù)受到越來越多科研人員的關(guān)注。重復(fù)數(shù)據(jù)刪除技術(shù)利用CPU計算資源,通過數(shù)據(jù)塊指紋對比能夠有效地減少數(shù)據(jù)存儲空間,已成為工業(yè)界和學(xué)術(shù)界研究的熱點(diǎn)。在分析和總結(jié)近10年重復(fù)數(shù)據(jù)刪除技術(shù)文獻(xiàn)后,首先通過分析卷級重刪系統(tǒng)體系結(jié)構(gòu),闡述了重刪系統(tǒng)的原理、實(shí)現(xiàn)機(jī)制和評價標(biāo)準(zhǔn)。然后結(jié)合數(shù)據(jù)規(guī)模行為對重刪系統(tǒng)性能的影響,重點(diǎn)分析和總結(jié)了重刪系統(tǒng)的各種性能改進(jìn)技術(shù)。最后對各種應(yīng)用場景的重刪系統(tǒng)進(jìn)行對比分析,給出了4個需要重點(diǎn)研究的方向,包括基于主存儲環(huán)境的重刪方案、基于分布式集群環(huán)境的重刪方案、快速指紋查詢優(yōu)化技術(shù)以及智能數(shù)據(jù)檢測技術(shù)。
[Abstract]:At present, the growing demand for data in enterprises makes data centers face severe challenges. The study found that up to 60% of the data in storage systems are redundant. How to reduce redundant data in storage system has attracted more and more attention of researchers. Repeated data deletion technology can effectively reduce data storage space by comparing data block fingerprints with CPU computing resources. It has become a hot topic in industry and academic circles. After analyzing and summarizing the technical documents of data deletion in the past 10 years, the principle of redelete system is expounded by analyzing the architecture of volume level redelete system. Based on the effect of data scale behavior on the performance of the redelete system, the performance improvement techniques of the redelete system are analyzed and summarized. Finally, the redelete system of various application scenarios is compared and analyzed. Four important research directions are given, including redelete scheme based on main storage environment, redelete scheme based on distributed cluster environment, fast fingerprint query optimization technology and intelligent data detection technology.
【作者單位】： 青海師范大學(xué)計算機(jī)學(xué)院;華中科技大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：國家973重點(diǎn)基礎(chǔ)研究發(fā)展計劃(2011CB302303)資助
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2012年01期

2 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復(fù)數(shù)據(jù)刪除技術(shù)的SQL Server數(shù)據(jù)庫備份系統(tǒng)[J];計算機(jī)安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠(yuǎn)程文件備份系統(tǒng)[J];計算機(jī)安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災(zāi)備中心[J];計算機(jī)安全;2012年05期

4 張清松;梁智強(qiáng);;基于硬盤的主機(jī)防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復(fù)數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫備份系統(tǒng)[J];電腦知識與技術(shù);2013年01期

6 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測中的應(yīng)用研究[J];電腦知識與技術(shù);2013年21期

7 王燦;秦志光;楊磊;楊皓;;基于改進(jìn)Sparse Indexing的多負(fù)載消冗方法[J];電子科技大學(xué)學(xué)報;2013年05期

8 張志杰;何利力;;煙草工業(yè)數(shù)據(jù)災(zāi)備中重復(fù)數(shù)據(jù)刪除技術(shù)研究[J];工業(yè)控制計算機(jī);2013年12期

9 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強(qiáng)研究[J];計算機(jī)研究與發(fā)展;2011年S1期

10 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2012年01期

相關(guān)會議論文 前1條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

相關(guān)博士學(xué)位論文 前4條

1 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究[D];華中科技大學(xué);2012年

2 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

3 魏建生;高性能重復(fù)數(shù)據(jù)檢測與刪除技術(shù)研究[D];華中科技大學(xué);2012年

4 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 丁躍進(jìn);網(wǎng)關(guān)型病毒防火墻的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

3 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

4 張鵬;在線備份系統(tǒng)中存儲服務(wù)器的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 周國惠;支持重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)備份系統(tǒng)中存儲服務(wù)器的設(shè)計與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學(xué)技術(shù)大學(xué);2011年

7 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設(shè)計與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

8 郭永安;網(wǎng)絡(luò)協(xié)議棧下TCP隊列管理研究[D];南京郵電大學(xué);2012年

9 毛允亭;廣域網(wǎng)數(shù)據(jù)壓縮算法的研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

10 肖紅鳳;基于數(shù)據(jù)中心的數(shù)據(jù)訪問服務(wù)模型研究[D];東北石油大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王敬治;計算系統(tǒng)體系結(jié)構(gòu)的發(fā)展趨勢[J];計算機(jī)工程與應(yīng)用;1979年08期

2 李金良;日本正準(zhǔn)備制造數(shù)據(jù)流計算機(jī)[J];計算機(jī)工程與設(shè)計;1983年04期

3 惠毓明;;CONVEX C-1小巨型計算機(jī)的體系結(jié)構(gòu)[J];計算機(jī)研究與發(fā)展;1988年12期

4 郭仲偉，張燕云，肖田元;計算機(jī)集成制造系統(tǒng)(CIMS)的體系結(jié)構(gòu)、模型與方法[J];管理科學(xué)學(xué)報;1994年01期

5 倪鵬云;對開放系統(tǒng)互聯(lián)OSI有關(guān)重要概念的分析[J];計算機(jī)工程與科學(xué);1994年04期

6 江芳澤,李昕;現(xiàn)場總線體系結(jié)構(gòu)的研究[J];自動化儀表;1996年03期

7 尚明，，李晶;Internet網(wǎng)絡(luò)體系結(jié)構(gòu)及其應(yīng)用資源[J];術(shù)語標(biāo)準(zhǔn)化與信息技術(shù);1996年03期

8 Markus Levy;;微機(jī)體系結(jié)構(gòu)主宰芯片集的特性[J];電子設(shè)計技術(shù);1997年05期

9 王晨;;Bay副總裁“泄密” 交換路由集一芯片[J];每周電腦報;1997年35期

10 ;TI方案端口多[J];每周電腦報;1997年49期

相關(guān)會議論文 前10條

1 王宇;程小輝;;基于移動agent虛擬儀器系統(tǒng)體系結(jié)構(gòu)研究[A];第三屆全國虛擬儀器大會論文集[C];2008年

2 徐海;韓宇;孫永兵;韋水生;鄧慶緒;于戈;;基于軟硬件聯(lián)合設(shè)計的嵌入式實(shí)時數(shù)據(jù)庫體系結(jié)構(gòu)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

3 蕭蘊(yùn)詩;武廣;徐立鴻;;復(fù)雜信息系統(tǒng)集成方法及其在智能建筑中的應(yīng)用研究[A];1998中國控制與決策學(xué)術(shù)年會論文集[C];1998年

4 魏定國;;試論企業(yè)級數(shù)據(jù)傳輸體系結(jié)構(gòu)[A];1998中國控制與決策學(xué)術(shù)年會論文集[C];1998年

5 董永貴;董恩生;賈惠波;;生物啟發(fā)儀器的體系結(jié)構(gòu)及實(shí)現(xiàn)技術(shù)[A];第二屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2004年

6 苗宇;程蔭杭;張超;;室外自主輪式移動機(jī)器人的發(fā)展及關(guān)鍵技術(shù)[A];可持續(xù)發(fā)展的中國交通——2005全國博士生學(xué)術(shù)論壇（交通運(yùn)輸工程學(xué)科）論文集（下冊）[C];2005年

7 劉仲英;胡衍強(qiáng);胡斌;;物流公共信息平臺的體系結(jié)構(gòu)研究[A];第11屆海峽兩岸信息管理發(fā)展策略研討會論文集[C];2005年

8 李勁;;綜合射頻傳感器的開放式系統(tǒng)結(jié)構(gòu)[A];中國雷達(dá)行業(yè)協(xié)會航空電子分會暨四川省電子學(xué)會航空航天專委會學(xué)術(shù)交流會論文集[C];2005年

9 王瑜;孟濤;相敬林;夏靖波;;一種應(yīng)用于Ad hoc網(wǎng)絡(luò)管理的分簇算法[A];2005中國控制與決策學(xué)術(shù)年會論文集（下）[C];2005年

10 蔡京平;賈云得;;星球探測機(jī)器人分布式計算系統(tǒng)體系結(jié)構(gòu)研究[A];中國宇航學(xué)會深空探測技術(shù)專業(yè)委員會第一屆學(xué)術(shù)會議論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 四川 陳路;淺談網(wǎng)格的典型體系結(jié)構(gòu)[N];電子報;2008年

2 ;電聯(lián)關(guān)注面向用戶基于業(yè)務(wù)的體系結(jié)構(gòu)[N];人民郵電;2001年

3 安燁;企業(yè)門戶的特點(diǎn)及體系結(jié)構(gòu)[N];網(wǎng)絡(luò)世界;2001年

4 ;詮釋智能理念 奠基存儲未來[N];計算機(jī)世界;2003年

5 劉鈍;我國研究成果對新一代互聯(lián)網(wǎng)體系結(jié)構(gòu)產(chǎn)生重大影響[N];大眾科技報;2007年

6 ;思科演示IP網(wǎng)絡(luò)體系結(jié)構(gòu)[N];中國電子報;2000年

7 ;新磚瓦精裝新數(shù)據(jù)中心[N];網(wǎng)絡(luò)世界;2006年

8 彭芳;更新ASIC體系結(jié)構(gòu)[N];中國計算機(jī)報;2001年

9 李貴林;瑞星：網(wǎng)絡(luò)殺毒取決于體系結(jié)構(gòu)[N];計算機(jī)世界;2002年

10 憨墨;構(gòu)畫20世紀(jì)出版學(xué)的體系結(jié)構(gòu)[N];中華讀書報;2005年

相關(guān)博士學(xué)位論文 前10條

1 王醒策;基于強(qiáng)化學(xué)習(xí)和群集智能方法的多機(jī)器人協(xié)作協(xié)調(diào)研究[D];哈爾濱工程大學(xué);2005年

2 李治軍;美韓同盟與東亞安全：一種結(jié)構(gòu)主義理論的分析[D];復(fù)旦大學(xué);2008年

3 楊建宇;基于組件的分布式地理信息服務(wù)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2005年

4 董艇艦;基于開放結(jié)構(gòu)數(shù)控系統(tǒng)引導(dǎo)型二次開發(fā)仿真平臺構(gòu)建研究[D];天津大學(xué);2005年

5 孟憲松;多水下機(jī)器人系統(tǒng)合作與協(xié)調(diào)技術(shù)研究[D];哈爾濱工程大學(xué);2006年

6 耿文莉;中國林產(chǎn)工業(yè)企業(yè)管理信息化問題研究[D];東北林業(yè)大學(xué);2007年

7 夏緒輝;逆向供應(yīng)鏈的體系結(jié)構(gòu)及其物流關(guān)鍵技術(shù)研究[D];重慶大學(xué);2003年

8 林川;基于立體跨層體系結(jié)構(gòu)無線傳感器網(wǎng)絡(luò)的能量問題研究[D];武漢大學(xué);2007年

9 嚴(yán)勇杰;多機(jī)器人系統(tǒng)協(xié)調(diào)與控制研究[D];哈爾濱工程大學(xué);2007年

10 甘永;水下機(jī)器人運(yùn)動控制系統(tǒng)體系結(jié)構(gòu)的研究[D];哈爾濱工程大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 常武;三層分布式PACS體系結(jié)構(gòu)的研究與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2001年

2 王征;現(xiàn)場總線通信技術(shù)的研究與實(shí)現(xiàn)[D];大慶石油學(xué)院;2004年

3 屈紅軍;基于網(wǎng)關(guān)安全平臺的虛擬線程體系結(jié)構(gòu)[D];華中科技大學(xué);2004年

4 白玉;基于供應(yīng)鏈的采購管理系統(tǒng)研究[D];河北工業(yè)大學(xué);2005年

5 朱健松;一種基于RISC及DSP雙內(nèi)核集成芯片系統(tǒng)的研究[D];廣東工業(yè)大學(xué);2005年

6 徐德宏;全集成的石化儲運(yùn)計量監(jiān)控與管理系統(tǒng)研究[D];南京理工大學(xué);2005年

7 李艷;論國際貿(mào)易理論的體系與發(fā)展[D];黑龍江大學(xué);2005年

8 林森;大規(guī)模定制制造企業(yè)的產(chǎn)品平臺擴(kuò)展策略及優(yōu)化分析[D];重慶大學(xué);2005年

9 盧松杰;基于Internet的車輛監(jiān)控系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];中國人民解放軍信息工程大學(xué);2005年

10 沈青春;大重集團(tuán)產(chǎn)品數(shù)據(jù)管理系統(tǒng)的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2006年

本文編號：1533065