本文關(guān)鍵詞：基于多特征匹配和Bloom filter的重復(fù)數(shù)據(jù)刪除算法

  更多相關(guān)文章： 計(jì)算技術(shù) 重復(fù)數(shù)據(jù)刪除 多特征匹配 布隆過(guò)濾器 EB算法 磁盤(pán)優(yōu)化

【摘要】：針對(duì)EB(extreme binning)算法重復(fù)數(shù)據(jù)刪除率低,磁盤(pán)I/O開(kāi)銷大的缺陷,提出基于多特征匹配和Bloom filter的重復(fù)數(shù)據(jù)刪除算法DBMB(deduplication based on multi-feature matching and Bloom filter).將小文件聚合為局部性文件單元,作為一個(gè)整體進(jìn)行去重處理,采用最大、最小以及中間數(shù)據(jù)塊ID的多重相似性特征進(jìn)行匹配,并基于Bloom filter優(yōu)化磁盤(pán)數(shù)據(jù)塊的查找和匹配過(guò)程.結(jié)果表明,DBMB算法能有效提升重復(fù)數(shù)據(jù)刪除率,降低算法執(zhí)行時(shí)間,同時(shí)減少處理小文件的內(nèi)存開(kāi)銷,性能提升顯著.
【作者單位】： 國(guó)家電網(wǎng)公司北京電力醫(yī)院信息通訊部;電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： 計(jì)算技術(shù) 重復(fù)數(shù)據(jù)刪除 多特征匹配 布隆過(guò)濾器 EB算法 磁盤(pán)優(yōu)化
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61300192) 中央高�；究蒲袠I(yè)務(wù)費(fèi)資助項(xiàng)目(ZYGX2014J052) 北京電力醫(yī)院一體化運(yùn)維監(jiān)控與管理資助項(xiàng)目~~
【分類號(hào)】：TP333;TP301.6
【正文快照】： Received:2016-08-12;Accepted:2016-09-05Foundation:National Natural Science Foundation of China(61300192);Fundamental Research Funds for the Central Universities(ZYGX2014J052);Integration of Operational Monitoring and Management Project of Beijing Electri

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 肖明忠,代亞非,李曉明;拆分型Bloom Filter[J];電子學(xué)報(bào);2004年02期

2 任洪慶;盧建朱;許嬌陽(yáng);;基于Bloom Filter的加密數(shù)據(jù)庫(kù)字段認(rèn)證方案[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年03期

3 段迅;李堅(jiān)石;清水敬司;;基于距離加權(quán)Bloom filter的網(wǎng)絡(luò)路由算法[J];海軍工程大學(xué)學(xué)報(bào);2006年04期

4 徐娜;劉四維;汪翔;倪衛(wèi)明;;基于Bloom Filter的網(wǎng)頁(yè)去重算法[J];微型電腦應(yīng)用;2011年03期

5 徐克付;齊德昱;鄭偉平;錢(qián)正平;;一種基于Bloom Filter的正則表達(dá)式集合快速搜索算法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

6 賈明志;伊鵬;汪斌強(qiáng);;一種基于Bloom filter的高速浮動(dòng)關(guān)鍵詞匹配算法[J];通信技術(shù);2008年08期

7 羅理;劉響光;胡振;周姣;張剛偉;李啟平;;基于Bloom Filter的海量數(shù)據(jù)分布式快速匹配算法研究[J];計(jì)算機(jī)與數(shù)字工程;2011年03期

8 曹楊雄;陳澤鋒;;Bloom filter的硬件字符串匹配設(shè)計(jì)研究[J];信息通信;2012年02期

9 薛開(kāi)平;洪佩琳;郭嬋;盧漢成;駱連合;;信源定位方案中基于Bloom Filter存儲(chǔ)的概率日志記錄方法研究[J];電子與信息學(xué)報(bào);2009年11期

10 林海;;一種基于Bloom Filter的頻繁模式挖掘算法[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2009年03期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 白建東;基于Bloom Filter的報(bào)文分類算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

2 王新光;基于Bloom Filter的實(shí)時(shí)蠕蟲(chóng)檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

3 朱行林;基于Bloom Filter的密文全文檢索技術(shù)研究[D];中國(guó)工程物理研究院;2012年

4 張磊;利用Bloom Filter的木馬報(bào)文檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

，

本文編號(hào)：851840