發(fā)布時間：2017-06-16 17:01

  本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲中的應(yīng)用與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著電子信息科技和互聯(lián)網(wǎng)產(chǎn)業(yè)的高速發(fā)展，企業(yè)和個人產(chǎn)生了大量的數(shù)據(jù)，并且其中重要的數(shù)據(jù)需要安全存儲，云存儲技術(shù)很好的解決了這個難題。然而，在這些備份的數(shù)據(jù)中有大量都是冗余的，這些冗余數(shù)據(jù)的存儲和傳輸浪費了大量的存儲成本和網(wǎng)絡(luò)帶寬。 針對這些問題，設(shè)計了一種高效的重復(fù)數(shù)據(jù)刪除系統(tǒng)來減少重復(fù)數(shù)據(jù)的存儲和網(wǎng)絡(luò)傳輸首先針對常見的文件類型，為不同數(shù)據(jù)類型的文件提出了不同的分塊算法，，尤其是針對文檔類文件，設(shè)計了一種改進的滑動窗口算法，通過犧牲少量重刪率，但使得性能獲得巨大提升；其次提出了一種分布式的系統(tǒng)來分治指紋庫和實現(xiàn)數(shù)據(jù)的并行處理，該系統(tǒng)由1臺Nameserver和多臺Dataservers組成，Nameserver管理用戶文件地址表信息，Dataserver管理該節(jié)點的指紋庫和數(shù)據(jù)存儲，對于用戶文件地址表的索引提出了一種高效的索引結(jié)構(gòu)；最后設(shè)計了一種高性能的具有三層過濾、判重結(jié)構(gòu)的指紋庫，進一步地提升了系統(tǒng)的性能。 針對系統(tǒng)進行了相關(guān)測試。首先，對改進的滑動窗口算法進行了測試，結(jié)果表明，該算法相對于滑動窗口算法在損失少于10%重刪率的基礎(chǔ)上，使性能最高提升了30倍左右。其次，針對分布式系統(tǒng)的性能進行了測試，結(jié)果表明，數(shù)據(jù)節(jié)點數(shù)量增加到4臺情況下，系統(tǒng)的吞吐率也得到了相應(yīng)的提升3.12倍。最后，測試了單機情況下，有重刪和無重刪備份和恢復(fù)性能的對比，結(jié)果表明該系統(tǒng)的吞吐率是無重刪系統(tǒng)的67%以上。
【關(guān)鍵詞】：分塊算法 重復(fù)數(shù)據(jù)刪除 指紋庫 分布式系統(tǒng) 地址表
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-13
• 1.1 課題研究背景8-9
• 1.2 重刪技術(shù)的國內(nèi)外研究現(xiàn)狀9-11
• 1.3 課題來源11-12
• 1.4 主要研究內(nèi)容與章節(jié)安排12-13
• 2 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)13-22
• 2.1 重刪基本原理13-14
• 2.2 重復(fù)數(shù)據(jù)檢測技術(shù)14-19
• 2.3 指紋計算19-20
• 2.4 指紋查詢20-21
• 2.5 本章小結(jié)21-22
• 3 重刪系統(tǒng)整體設(shè)計22-38
• 3.1 系統(tǒng)設(shè)計背景22-23
• 3.2 系統(tǒng)架構(gòu)23
• 3.3 功能模塊23-35
• 3.4 系統(tǒng)數(shù)據(jù)分配策略35-37
• 3.5 本章小結(jié)37-38
• 4 重刪系統(tǒng)詳細設(shè)計38-46
• 4.1 系統(tǒng)讀寫流程描述38-40
• 4.2 分塊算法模塊40-41
• 4.3 文件路徑索引和地址表模塊41-43
• 4.4 指紋庫模塊43-45
• 4.5 本章小結(jié)45-46
• 5 測試結(jié)果和分析46-52
• 5.1 測試環(huán)境46
• 5.2 測試結(jié)果和分析46-51
• 5.3 本章小結(jié)51-52
• 6 總結(jié)和展望52-54
• 6.1 總結(jié)52-53
• 6.2 展望53-54
• 致謝54-55
• 參考文獻55-58

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;重復(fù)數(shù)據(jù)刪除可實現(xiàn)25:1壓縮[J];每周電腦報;2007年01期

2 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[J];計算機研究與發(fā)展;2011年S1期

3 Eric Bassier;;應(yīng)對數(shù)據(jù)增長的重磅武器——重復(fù)數(shù)據(jù)刪除技術(shù)[J];計算機與網(wǎng)絡(luò);2013年06期

4 于丹;;昆騰進入重復(fù)數(shù)據(jù)刪除市場[J];每周電腦報;2007年09期

5 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

6 盧敏;;點亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

7 徐立洋;;選購重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國計算機用戶;2009年08期

8 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

9 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國計算機用戶;2009年16期

10 雷赫;;重復(fù)數(shù)據(jù)刪除技術(shù)方案選型 刪除冗余 優(yōu)化存儲[J];中國計算機用戶;2009年23期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 賈志凱;王樹鵬;陳光達;彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場試驗信息存儲技術(shù)[A];2009年西部光子學學術(shù)會議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學術(shù)交流會議論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 張偉;重復(fù)數(shù)據(jù)刪除能被扶正嗎[N];中國計算機報;2008年

2 王琨月;重復(fù)數(shù)據(jù)刪除不該忽視弱點[N];網(wǎng)絡(luò)世界;2008年

3 本報記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國計算機報;2009年

4 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報;2009年

5 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

6 本報記者 刑小萍;重復(fù)數(shù)據(jù)刪除市場迎來開門紅[N];網(wǎng)絡(luò)世界;2010年

7 清水　編譯;部署重復(fù)數(shù)據(jù)刪除[N];計算機世界;2010年

8 編譯 張磊;誰在拖重復(fù)數(shù)據(jù)刪除的后腿[N];中國計算機報;2009年

9 本報記者 郭濤;重復(fù)數(shù)據(jù)刪除2.0追求“雙高”[N];中國計算機報;2012年

10 編譯 沈建苗;你果真需要重復(fù)數(shù)據(jù)刪除技術(shù)嗎[N];計算機世界;2013年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 林彬;主存儲服務(wù)系統(tǒng)中高I/O性能的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 閻芳;重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學;2015年

3 周炳;海量數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學;2015年

4 王國華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學;2014年

5 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學;2012年

6 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2013年

7 周正達;信息存儲系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學;2012年

8 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學;2010年

9 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學;2013年

10 葉鵬迪;云存儲系統(tǒng)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 張明月;客戶端加密重復(fù)數(shù)據(jù)刪除機制的研究[D];西安電子科技大學;2014年

2 黃可;重復(fù)數(shù)據(jù)可刪除的云數(shù)據(jù)審計協(xié)議的研究[D];電子科技大學;2015年

3 王振宇;安全云存儲中重復(fù)數(shù)據(jù)刪除機制研究[D];南京郵電大學;2015年

4 李志然;云存儲中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計[D];東北大學;2014年

5 張宏亮;重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲中的應(yīng)用與實現(xiàn)[D];華中科技大學;2014年

6 王珂;一種基于代理重加密的安全重復(fù)數(shù)據(jù)刪除機制的研究[D];北京郵電大學;2012年

7 沈瑞清;云存儲中避免重復(fù)數(shù)據(jù)存儲機制研究[D];云南大學;2013年

8 石俊杰;基于云存儲的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計與實現(xiàn)[D];華中科技大學;2013年

9 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學;2011年

10 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實現(xiàn)[D];華中科技大學;2011年

  本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲中的應(yīng)用與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：455899