本文選題：滑動分塊算法 + 重復(fù)數(shù)據(jù)檢測��； 參考：《計(jì)算機(jī)研究與發(fā)展》2014年S2期

【摘要】：網(wǎng)絡(luò)中相似的數(shù)據(jù)文件進(jìn)行同步與存儲的過程中,對數(shù)據(jù)進(jìn)行分塊是檢測數(shù)據(jù)重復(fù)的重要步驟之一,在有效地對數(shù)據(jù)分塊的基礎(chǔ)上才能更準(zhǔn)確地定位數(shù)據(jù)間的差異部分.就數(shù)據(jù)分塊方法予以分析總結(jié),在滑動分塊算法的基礎(chǔ)上,重新將數(shù)據(jù)文件組織成類似位圖的排列形式,對數(shù)據(jù)位圖以列向讀取數(shù)據(jù)信息,形成新的數(shù)據(jù)分塊,并計(jì)算列向讀取數(shù)據(jù)的分塊指紋信息,以列向數(shù)據(jù)指紋作為補(bǔ)充校正滑動分塊算法定位差異數(shù)據(jù)能力的不足之處,從而獲得更精確的數(shù)據(jù)差異信息.經(jīng)實(shí)驗(yàn)證明,本方法在同源文件的數(shù)據(jù)重復(fù)檢測中效果好于相同條件下的滑動分塊方法.
[Abstract]:In the process of synchronizing and storing the similar data files in the network, dividing the data into blocks is one of the important steps to detect the data repetition. The difference part of the data can be located more accurately on the basis of effectively dividing the data into blocks.Based on the sliding block algorithm, the data file is reorganized into a similar arrangement form of bitmap, and the data bitmap is read in column direction to form a new data block.The segmented fingerprint information of column reading data is calculated, and the deficiency of differential data location ability is corrected by column data fingerprint as supplementary correction, so as to obtain more accurate data difference information.The experimental results show that this method is more effective than the sliding block method under the same conditions in data repetition detection of the same source file.
【作者單位】： 中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室;
【基金】：中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(2013YJ008) 國家科技支撐計(jì)劃資助項(xiàng)目(2012BAH26B01)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

2 徐旦;生擁宏;鞠大鵬;吳建平;汪東升;;高效的兩輪遠(yuǎn)程文件快速同步算法[J];計(jì)算機(jī)科學(xué)與探索;2011年01期

3 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧亮;胡曉勤;梁剛;;基于重復(fù)數(shù)據(jù)刪除技術(shù)的SQL Server數(shù)據(jù)庫備份系統(tǒng)[J];計(jì)算機(jī)安全;2011年07期

2 吳曉勇;李慧娜;;基于文件類型的遠(yuǎn)程文件備份系統(tǒng)[J];計(jì)算機(jī)安全;2012年03期

3 吳曉勇;李慧娜;;基于Internet的共享式災(zāi)備中心[J];計(jì)算機(jī)安全;2012年05期

4 張清松;梁智強(qiáng);;基于硬盤的主機(jī)防客體重用性能的檢測方法[J];廣東電力;2012年07期

5 李向前;;一種基于重復(fù)數(shù)據(jù)刪除的Oracle數(shù)據(jù)庫備份系統(tǒng)[J];電腦知識與技術(shù);2013年01期

6 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測中的應(yīng)用研究[J];電腦知識與技術(shù);2013年21期

7 王燦;秦志光;楊磊;楊皓;;基于改進(jìn)Sparse Indexing的多負(fù)載消冗方法[J];電子科技大學(xué)學(xué)報(bào);2013年05期

8 張志杰;何利力;;煙草工業(yè)數(shù)據(jù)災(zāi)備中重復(fù)數(shù)據(jù)刪除技術(shù)研究[J];工業(yè)控制計(jì)算機(jī);2013年12期

9 林曉君;;信息系統(tǒng)數(shù)據(jù)自動備份技術(shù)研究[J];電腦知識與技術(shù);2014年08期

10 周斌;王晶奇;張瑩;;布隆過濾器在重復(fù)數(shù)據(jù)刪除中的應(yīng)用[J];電腦知識與技術(shù);2014年08期

相關(guān)會議論文 前4條

1 彭成;王樹鵬;賈志凱;;基于糾刪碼的數(shù)據(jù)消冗存儲系統(tǒng)可靠性增強(qiáng)研究[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 胡寧玉;杜秀麗;劉焱;盧剛;王運(yùn)明;;基于快速消冗方法的增量備份策略研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 吳朋朋;黃瑋;楊璐皓;;移動終端通訊錄數(shù)據(jù)同步去重算法[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

相關(guān)博士學(xué)位論文 前8條

1 譚玉娟;數(shù)據(jù)備份系統(tǒng)中數(shù)據(jù)去重技術(shù)研究[D];華中科技大學(xué);2012年

2 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

3 魏建生;高性能重復(fù)數(shù)據(jù)檢測與刪除技術(shù)研究[D];華中科技大學(xué);2012年

4 蔣海波;海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

5 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

6 王國華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

7 鐘睿明;富云：一種跨越異構(gòu)云平臺的互備可靠云存儲系統(tǒng)的實(shí)現(xiàn)機(jī)制研究[D];北京郵電大學(xué);2014年

8 夏文;數(shù)據(jù)備份系統(tǒng)中冗余數(shù)據(jù)的高性能消除技術(shù)研究[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 丁躍進(jìn);網(wǎng)關(guān)型病毒防火墻的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

2 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

3 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

4 張鵬;在線備份系統(tǒng)中存儲服務(wù)器的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

5 周國惠;支持重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)備份系統(tǒng)中存儲服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

6 張航;文件同步服務(wù)中數(shù)據(jù)同步傳輸消重策略研究[D];國防科學(xué)技術(shù)大學(xué);2011年

7 武銓;廣域網(wǎng)數(shù)據(jù)冗余消除TCP透明代理的設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

8 郭永安;網(wǎng)絡(luò)協(xié)議棧下TCP隊(duì)列管理研究[D];南京郵電大學(xué);2012年

9 毛允亭;廣域網(wǎng)數(shù)據(jù)壓縮算法的研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2012年

10 吳益堅(jiān);移動終端多媒體數(shù)據(jù)同步的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 胡曉勤;盧正添;劉曉潔;李濤;趙慶華;趙奎;;遠(yuǎn)程文件快速同步方法[J];電子科技大學(xué)學(xué)報(bào);2008年04期

2 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 李芝棠,張江陵,徐則琨;分塊同步磁盤I/O系統(tǒng)的分析與設(shè)計(jì)[J];華中理工大學(xué)學(xué)報(bào);1992年02期

2 徐煜祥;模擬電路的分塊故障診斷法[J];微機(jī)發(fā)展;1998年06期

3 方旭明,徐銳;印制電路板圖形的分塊輸出[J];計(jì)算機(jī)應(yīng)用研究;1990年06期

4 史岳鵬;周溪召;孔素真;;基于優(yōu)化PSO的LU循環(huán)分塊方法[J];科學(xué)技術(shù)與工程;2013年20期

5 ;[J];;年期

，

本文編號：1739361