【摘要】：現(xiàn)有的重復(fù)數(shù)據(jù)刪除技術(shù)大部分是基于變長分塊(content defined chunking,CDC)算法的,不考慮不同文件類型的內(nèi)容特征.這種方法以一種隨機(jī)的方式確定分塊邊界并應(yīng)用于所有文件類型,已經(jīng)證明其非常適合于文本和簡單內(nèi)容,而不適合非結(jié)構(gòu)化數(shù)據(jù)構(gòu)成的復(fù)合文件.分析了OpenXML標(biāo)準(zhǔn)的復(fù)合文件屬性,給出了對象提取的基本方法,并提出基于對象分布和對象結(jié)構(gòu)的去重粒度確定算法.目的是對于非結(jié)構(gòu)化數(shù)據(jù)構(gòu)成的復(fù)合文件,有效地檢測不同文件中和同一文件不同位置的相同對象,在文件物理布局改變時也能夠有效去重.通過對典型的非結(jié)構(gòu)化數(shù)據(jù)集合的模擬實驗表明,在綜合情況下,對象重復(fù)數(shù)據(jù)刪除比CDC方法提高了10%左右的非結(jié)構(gòu)化數(shù)據(jù)的去重率.

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 王超;張惠臻;周學(xué)海;馬宏星;;異質(zhì)存儲系統(tǒng)中的高速緩存機(jī)制研究[J];電子學(xué)報;2011年06期

2 王麗娜;任正偉;余榮威;韓鳳;董永峰;;一種適于云存儲的數(shù)據(jù)確定性刪除方法[J];電子學(xué)報;2012年02期

3 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計算機(jī)研究與發(fā)展;2012年01期

4 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復(fù)數(shù)據(jù)刪除技術(shù)的SQL Server數(shù)據(jù)庫備份系統(tǒng)[J];計算機(jī)安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠(yuǎn)程文件備份系統(tǒng)[J];計算機(jī)安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災(zāi)備中心[J];計算機(jī)安全;2012年05期

4 張清松;梁智強(qiáng);;基于硬盤的主機(jī)防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 徐永剛;任國強(qiáng);吳欽章;孫健;;NAND Flash圖像記錄系統(tǒng)底層寫入控制技術(shù)[J];光電工程;2012年09期

6 李向前;;一種基于重復(fù)數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫備份系統(tǒng)[J];電腦知識與技術(shù);2013年01期

7 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測中的應(yīng)用研究[J];電腦知識與技術(shù);2013年21期

8 王燦;秦志光;楊磊;楊皓;;基于改進(jìn)Sparse Indexing的多負(fù)載消冗方法[J];電子科技大學(xué)學(xué)報;2013年05期

9 張志杰;何利力;;煙草工業(yè)數(shù)據(jù)災(zāi)備中重復(fù)數(shù)據(jù)刪除技術(shù)研究[J];工業(yè)控制計算機(jī);2013年12期

10 馬海峰;姚念民;杜文杰;;基于不等長counter的存儲器機(jī)密性和完整性保護(hù)方法[J];電子學(xué)報;2013年12期

相關(guān)會議論文 前6條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 馮小梅;劉怡君;;云存儲技術(shù)的現(xiàn)狀分析與發(fā)展趨勢[A];廣西計算機(jī)學(xué)會2014年學(xué)術(shù)年會論文集[C];2014年

5 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

6 李重文;劉宇文;楊家紅;羅倫;;觀測數(shù)據(jù)多機(jī)實時處理調(diào)度策略研究[A];第三屆高分辨率對地觀測學(xué)術(shù)年會優(yōu)秀論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 方維;面向數(shù)據(jù)通信優(yōu)化的并行程序執(zhí)行模型[D];中國科學(xué)技術(shù)大學(xué);2011年

2 苗乾坤;面向共享存儲系統(tǒng)的計算模型及性能優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2010年

3 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究[D];華中科技大學(xué);2012年

4 呂海;多核處理器芯片計算平臺中并行程序性能優(yōu)化的研究[D];北京工業(yè)大學(xué);2012年

5 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

6 魏建生;高性能重復(fù)數(shù)據(jù)檢測與刪除技術(shù)研究[D];華中科技大學(xué);2012年

7 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

8 徐永剛;基于NAND Flash的嵌入式圖像記錄技術(shù)[D];中國科學(xué)院研究生院（光電技術(shù)研究所）;2013年

9 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

10 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳智強(qiáng);自由基聚合反應(yīng)過程動態(tài)分子量分布的并行計算方法研究[D];浙江大學(xué);2011年

2 丁躍進(jìn);網(wǎng)關(guān)型病毒防火墻的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

3 王龍;造船廠鋼板出庫計劃并行嵌套優(yōu)化算法研究[D];大連理工大學(xué);2011年

4 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學(xué);2011年

5 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學(xué);2011年

6 張鵬;在線備份系統(tǒng)中存儲服務(wù)器的研究與實現(xiàn)[D];華中科技大學(xué);2011年

7 周國惠;支持重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)備份系統(tǒng)中存儲服務(wù)器的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2011年

8 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學(xué)技術(shù)大學(xué);2011年

9 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設(shè)計與實現(xiàn)[D];南京郵電大學(xué);2012年

10 郭永安;網(wǎng)絡(luò)協(xié)議棧下TCP隊列管理研究[D];南京郵電大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 朱晴波,喬浩,陳道蓄;分布式多媒體存儲系統(tǒng)中的全局緩存管理[J];電子學(xué)報;2002年12期

2 王芳,李恪,蘇林,耿立紅;空間太陽望遠(yuǎn)鏡的星載固態(tài)存儲器研制[J];電子學(xué)報;2004年03期

3 張科;郝智泉;王貞松;;一種基于新體系結(jié)構(gòu)的空間固態(tài)記錄器原型系統(tǒng)[J];電子學(xué)報;2008年02期

4 劉禎;劉斌;鄭凱;陳善真;;網(wǎng)絡(luò)處理器中的高速緩沖機(jī)制及其有效性分析[J];清華大學(xué)學(xué)報(自然科學(xué)版);2008年01期

5 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報;2010年05期

6 馮登國;張敏;張妍;徐震;;云計算安全研究[J];軟件學(xué)報;2011年01期

7 張燕;焦新泉;熊繼軍;;超大容量高速存儲技術(shù)研究[J];微計算機(jī)信息;2008年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前2條

1 潘明惠;富宇;范真鈺;李丹升;;OpenXml在SQL Server 2000數(shù)據(jù)庫中的應(yīng)用[J];辦公自動化;2005年05期

2 ;[J];;年期

，

本文編號：2572244