【摘要】：基于現(xiàn)有重復(fù)數(shù)據(jù)刪除策略,提出了一種基于負載均衡的C/S雙端延遲重復(fù)數(shù)據(jù)刪除方法。利用基于類型的數(shù)據(jù)分塊方法將數(shù)據(jù)塊分成若干塊;利用MD5提取指紋值,與客戶端本地的索引表對比指紋,若相同則用指針取代該數(shù)據(jù)塊,具有數(shù)據(jù)塊指紋和數(shù)據(jù)類型的索引表一同發(fā)送至控制器;控制器在收到客戶端的請求后,首先根據(jù)自己實時監(jiān)控得到的各服務(wù)器的當(dāng)前狀態(tài)來選擇最佳目標(biāo)存儲節(jié)點;服務(wù)器端根據(jù)數(shù)據(jù)類型查詢不同的索引表以縮小查找范圍。對提出的方法的重復(fù)數(shù)據(jù)刪除率進行了實驗驗證,結(jié)果表明該機制具有較好的性能表現(xiàn)。
[Abstract]:Based on the existing duplicate data deletion strategy, a C / S dual-terminal delayed duplicate data deletion method based on load balancing is proposed. The data block is divided into several blocks by using the type-based data block method. The fingerprint value is extracted by MD5, and the fingerprint is compared with the local index table of the client. If the same, the pointer is used to replace the data block, and the fingerprint of the data block and the index table of the data type are sent to the controller together. After receiving the request from the client, the controller first selects the best target storage node according to the current state of each server monitored in real time, and the server queries different index tables according to the data type to narrow the search range. The repeated data deletion rate of the proposed method is verified by experiments, and the results show that the mechanism has good performance.
【作者單位】： 南京財經(jīng)大學(xué)江蘇省現(xiàn)代服務(wù)業(yè)研究院;南京郵電大學(xué)計算機學(xué)院;
【基金】：江蘇省高校優(yōu)勢學(xué)科建設(shè)工程資助項目(YXK999) 江蘇省現(xiàn)代服務(wù)業(yè)研究院專項科研基金資助項目(LSZ200003)
【分類號】：TP333

【參考文獻】

相關(guān)博士學(xué)位論文 前1條

1 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

【共引文獻】

相關(guān)期刊論文 前1條

1 尤紅桃;張延園;劉勝;;Linux下高效存儲優(yōu)化的研究[J];計算機與現(xiàn)代化;2012年11期

相關(guān)博士學(xué)位論文 前1條

1 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前7條

1 韓書婷;基于在線重復(fù)數(shù)據(jù)刪除技術(shù)的Openstack鏡像管理系統(tǒng)的設(shè)計與實現(xiàn)[D];杭州電子科技大學(xué);2013年

2 何磊;虛擬磁帶庫中重復(fù)數(shù)據(jù)刪除技術(shù)的研究與設(shè)計[D];西南交通大學(xué);2013年

3 鄧長生;基于重復(fù)數(shù)據(jù)消除的數(shù)據(jù)備份關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

4 彭飛;光盤庫備份系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學(xué);2013年

5 王興;重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化研究[D];華中科技大學(xué);2013年

6 周旋;云網(wǎng)關(guān)上重復(fù)數(shù)據(jù)刪除的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2013年

7 劉容;備份系統(tǒng)中全局數(shù)據(jù)去重技術(shù)的研究[D];華中科技大學(xué);2013年

【二級參考文獻】

相關(guān)期刊論文 前1條

1 ;Scalable high performance de-duplication backup via hash join[J];Journal of Zhejiang University-Science C(Computer & Electronics);2010年05期

相關(guān)博士學(xué)位論文 前1條

1 劉群;基于可擴展對象的海量存儲系統(tǒng)研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前1條

1 賀翔;一種基于NDMP的塊級備份和數(shù)據(jù)管理方法及其實現(xiàn)[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

【相似文獻】

相關(guān)期刊論文 前10條

1 梁立,陳宇悝,盛德君;成倍提高HP機打印速度的有效方法[J];中文信息;1997年03期

2 盧敏;;點亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

3 Hu Yoshida;;2008年存儲需求的5大新趨勢[J];通訊世界;2008年01期

4 Hu Yoshida;;2008年存儲需求的新趨勢[J];每周電腦報;2008年03期

5 本刊編輯部;;新技術(shù)解決數(shù)據(jù)存儲老問題[J];華南金融電腦;2008年08期

6 劉謙;;磁盤歸檔將逐漸取代磁帶[J];每周電腦報;2007年40期

7 ;新產(chǎn)品[J];中國計算機用戶;2008年20期

8 陳瑩;羅杰;;“云”在學(xué)校計算機公共服務(wù)平臺的應(yīng)用探討[J];硅谷;2009年19期

9 范曉俊;用單片機制作邏輯分析器[J];電子世界;1997年05期

10 殷世敏;實用單片微機數(shù)據(jù)排序[J];山西電子技術(shù);1996年03期

相關(guān)重要報紙文章 前10條

1 SEPATON技術(shù)支持中心 楊濤;SEPATON:重復(fù)數(shù)據(jù)刪除五步走[N];中國計算機報;2007年

2 日立數(shù)據(jù)系統(tǒng)公司首席技術(shù)執(zhí)行官 Hu Yoshida;五大技術(shù)推動2008年存儲需求新趨勢[N];電子資訊時報;2008年

3 本報記者 李洋;向冗余數(shù)據(jù)要空間[N];計算機世界;2008年

4 ;EMC:大型數(shù)據(jù)中心節(jié)能降耗方案[N];計算機世界;2007年

5 本報記者 張峰;存儲成本運籌學(xué)[N];網(wǎng)絡(luò)世界;2006年

6 傅紅;如何最簡單實現(xiàn)從DAS向SAN的遷移[N];中國信息報;2003年

7 中國傳媒大學(xué)計算機學(xué)院 朱立谷;重復(fù)數(shù)據(jù)刪除：改寫存儲行業(yè)經(jīng)濟規(guī)則？[N];中國計算機報;2007年

8 清水;為存儲“減負”[N];計算機世界;2010年

9 本報記者 王琨月;存儲TCO應(yīng)注重重復(fù)數(shù)據(jù)刪除[N];網(wǎng)絡(luò)世界;2008年

10 《計算機世界》方案評估中心 程鴻邋《網(wǎng)絡(luò)存儲》 郭平;綠色數(shù)據(jù)中心什么樣？[N];計算機世界;2007年

相關(guān)博士學(xué)位論文 前1條

1 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 戈星晨;面向移動終端的數(shù)據(jù)去重研究[D];山東大學(xué);2014年

2 尚穎丹;面向文件級重復(fù)數(shù)據(jù)刪除的稀疏索引技術(shù)[D];國防科學(xué)技術(shù)大學(xué);2012年

3 許文龍;基于Hadoop分布式系統(tǒng)的重復(fù)數(shù)據(jù)檢測技術(shù)研究與應(yīng)用[D];湖南大學(xué);2013年

4 石俊杰;基于云存儲的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學(xué);2013年

5 張甲燃;重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];山東大學(xué);2013年

6 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學(xué);2011年

7 張波;HDFS下文件存儲研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年

8 王興;重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化研究[D];華中科技大學(xué);2013年

9 張?zhí)m英;基于云存儲的教育管理系統(tǒng)研究與設(shè)計[D];北京郵電大學(xué);2013年

10 沈瑞清;云存儲中避免重復(fù)數(shù)據(jù)存儲機制研究[D];云南大學(xué);2013年

，

本文編號：2481330