本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)中的應(yīng)用與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著電子信息科技和互聯(lián)網(wǎng)產(chǎn)業(yè)的高速發(fā)展，企業(yè)和個(gè)人產(chǎn)生了大量的數(shù)據(jù)，并且其中重要的數(shù)據(jù)需要安全存儲(chǔ)，云存儲(chǔ)技術(shù)很好的解決了這個(gè)難題。然而，在這些備份的數(shù)據(jù)中有大量都是冗余的，這些冗余數(shù)據(jù)的存儲(chǔ)和傳輸浪費(fèi)了大量的存儲(chǔ)成本和網(wǎng)絡(luò)帶寬。 針對(duì)這些問(wèn)題，設(shè)計(jì)了一種高效的重復(fù)數(shù)據(jù)刪除系統(tǒng)來(lái)減少重復(fù)數(shù)據(jù)的存儲(chǔ)和網(wǎng)絡(luò)傳輸首先針對(duì)常見(jiàn)的文件類型，為不同數(shù)據(jù)類型的文件提出了不同的分塊算法，，尤其是針對(duì)文檔類文件，設(shè)計(jì)了一種改進(jìn)的滑動(dòng)窗口算法，通過(guò)犧牲少量重刪率，但使得性能獲得巨大提升；其次提出了一種分布式的系統(tǒng)來(lái)分治指紋庫(kù)和實(shí)現(xiàn)數(shù)據(jù)的并行處理，該系統(tǒng)由1臺(tái)Nameserver和多臺(tái)Dataservers組成，Nameserver管理用戶文件地址表信息，Dataserver管理該節(jié)點(diǎn)的指紋庫(kù)和數(shù)據(jù)存儲(chǔ)，對(duì)于用戶文件地址表的索引提出了一種高效的索引結(jié)構(gòu)；最后設(shè)計(jì)了一種高性能的具有三層過(guò)濾、判重結(jié)構(gòu)的指紋庫(kù)，進(jìn)一步地提升了系統(tǒng)的性能。 針對(duì)系統(tǒng)進(jìn)行了相關(guān)測(cè)試。首先，對(duì)改進(jìn)的滑動(dòng)窗口算法進(jìn)行了測(cè)試，結(jié)果表明，該算法相對(duì)于滑動(dòng)窗口算法在損失少于10%重刪率的基礎(chǔ)上，使性能最高提升了30倍左右。其次，針對(duì)分布式系統(tǒng)的性能進(jìn)行了測(cè)試，結(jié)果表明，數(shù)據(jù)節(jié)點(diǎn)數(shù)量增加到4臺(tái)情況下，系統(tǒng)的吞吐率也得到了相應(yīng)的提升3.12倍。最后，測(cè)試了單機(jī)情況下，有重刪和無(wú)重刪備份和恢復(fù)性能的對(duì)比，結(jié)果表明該系統(tǒng)的吞吐率是無(wú)重刪系統(tǒng)的67%以上。
【關(guān)鍵詞】：分塊算法 重復(fù)數(shù)據(jù)刪除 指紋庫(kù) 分布式系統(tǒng) 地址表
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-13
• 1.1 課題研究背景8-9
• 1.2 重刪技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.3 課題來(lái)源11-12
• 1.4 主要研究?jī)?nèi)容與章節(jié)安排12-13
• 2 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)13-22
• 2.1 重刪基本原理13-14
• 2.2 重復(fù)數(shù)據(jù)檢測(cè)技術(shù)14-19
• 2.3 指紋計(jì)算19-20
• 2.4 指紋查詢20-21
• 2.5 本章小結(jié)21-22
• 3 重刪系統(tǒng)整體設(shè)計(jì)22-38
• 3.1 系統(tǒng)設(shè)計(jì)背景22-23
• 3.2 系統(tǒng)架構(gòu)23
• 3.3 功能模塊23-35
• 3.4 系統(tǒng)數(shù)據(jù)分配策略35-37
• 3.5 本章小結(jié)37-38
• 4 重刪系統(tǒng)詳細(xì)設(shè)計(jì)38-46
• 4.1 系統(tǒng)讀寫流程描述38-40
• 4.2 分塊算法模塊40-41
• 4.3 文件路徑索引和地址表模塊41-43
• 4.4 指紋庫(kù)模塊43-45
• 4.5 本章小結(jié)45-46
• 5 測(cè)試結(jié)果和分析46-52
• 5.1 測(cè)試環(huán)境46
• 5.2 測(cè)試結(jié)果和分析46-51
• 5.3 本章小結(jié)51-52
• 6 總結(jié)和展望52-54
• 6.1 總結(jié)52-53
• 6.2 展望53-54
• 致謝54-55
• 參考文獻(xiàn)55-58

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;重復(fù)數(shù)據(jù)刪除可實(shí)現(xiàn)25:1壓縮[J];每周電腦報(bào);2007年01期

2 賈志凱;王樹(shù)鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

3 Eric Bassier;;應(yīng)對(duì)數(shù)據(jù)增長(zhǎng)的重磅武器——重復(fù)數(shù)據(jù)刪除技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年06期

4 于丹;;昆騰進(jìn)入重復(fù)數(shù)據(jù)刪除市場(chǎng)[J];每周電腦報(bào);2007年09期

5 盧敏;;“零距離”重復(fù)數(shù)據(jù)刪除[J];軟件世界;2008年11期

6 盧敏;;點(diǎn)亮“重復(fù)數(shù)據(jù)刪除”[J];軟件世界;2008年06期

7 徐立洋;;選購(gòu)重復(fù)數(shù)據(jù)刪除方案 軟硬兼施剔除雞肋數(shù)據(jù)[J];中國(guó)計(jì)算機(jī)用戶;2009年08期

8 邢延剛;;刪除重復(fù)值我有妙法[J];電腦迷;2009年09期

9 李剛;;重復(fù)數(shù)據(jù)刪除走向“源頭”[J];中國(guó)計(jì)算機(jī)用戶;2009年16期

10 雷赫;;重復(fù)數(shù)據(jù)刪除技術(shù)方案選型 刪除冗余 優(yōu)化存儲(chǔ)[J];中國(guó)計(jì)算機(jī)用戶;2009年23期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 賈志凱;王樹(shù)鵬;陳光達(dá);彭成;;一種并行層次化的重復(fù)數(shù)據(jù)刪除技術(shù)[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 楊廷梧;;基于重復(fù)數(shù)據(jù)刪除的靶場(chǎng)試驗(yàn)信息存儲(chǔ)技術(shù)[A];2009年西部光子學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

3 肖鈞;黃亮;;虛擬化搭配去重,雙劍合璧更給力[A];2011年CAD/CAM學(xué)術(shù)交流會(huì)議論文集[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 本報(bào)記者 張偉;重復(fù)數(shù)據(jù)刪除能被扶正嗎[N];中國(guó)計(jì)算機(jī)報(bào);2008年

2 王琨月;重復(fù)數(shù)據(jù)刪除不該忽視弱點(diǎn)[N];網(wǎng)絡(luò)世界;2008年

3 本報(bào)記者 郭濤;基于硬件的重復(fù)數(shù)據(jù)刪除效率更高[N];中國(guó)計(jì)算機(jī)報(bào);2009年

4 朱皎;重復(fù)數(shù)據(jù)刪除技術(shù)漸成主流[N];電腦商報(bào);2009年

5 邢小萍;重復(fù)數(shù)據(jù)刪除技術(shù)漸入佳境[N];網(wǎng)絡(luò)世界;2009年

6 本報(bào)記者 刑小萍;重復(fù)數(shù)據(jù)刪除市場(chǎng)迎來(lái)開(kāi)門紅[N];網(wǎng)絡(luò)世界;2010年

7 清水　編譯;部署重復(fù)數(shù)據(jù)刪除[N];計(jì)算機(jī)世界;2010年

8 編譯 張磊;誰(shuí)在拖重復(fù)數(shù)據(jù)刪除的后腿[N];中國(guó)計(jì)算機(jī)報(bào);2009年

9 本報(bào)記者 郭濤;重復(fù)數(shù)據(jù)刪除2.0追求“雙高”[N];中國(guó)計(jì)算機(jī)報(bào);2012年

10 編譯 沈建苗;你果真需要重復(fù)數(shù)據(jù)刪除技術(shù)嗎[N];計(jì)算機(jī)世界;2013年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 林彬;主存儲(chǔ)服務(wù)系統(tǒng)中高I/O性能的重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 閻芳;重復(fù)數(shù)據(jù)刪除系統(tǒng)數(shù)據(jù)組織研究[D];北京理工大學(xué);2015年

3 周炳;海量數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除中元數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];清華大學(xué);2015年

4 王國(guó)華;高效重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華南理工大學(xué);2014年

5 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

6 付印金;面向云環(huán)境的重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

7 周正達(dá);信息存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

8 楊天明;網(wǎng)絡(luò)備份中重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];華中科技大學(xué);2010年

9 朱銳;重復(fù)數(shù)據(jù)刪除技術(shù)中的并行性能優(yōu)化算法研究[D];華中科技大學(xué);2013年

10 葉鵬迪;云存儲(chǔ)系統(tǒng)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張明月;客戶端加密重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];西安電子科技大學(xué);2014年

2 黃可;重復(fù)數(shù)據(jù)可刪除的云數(shù)據(jù)審計(jì)協(xié)議的研究[D];電子科技大學(xué);2015年

3 王振宇;安全云存儲(chǔ)中重復(fù)數(shù)據(jù)刪除機(jī)制研究[D];南京郵電大學(xué);2015年

4 李志然;云存儲(chǔ)中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計(jì)[D];東北大學(xué);2014年

5 張宏亮;重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)中的應(yīng)用與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

6 王珂;一種基于代理重加密的安全重復(fù)數(shù)據(jù)刪除機(jī)制的研究[D];北京郵電大學(xué);2012年

7 沈瑞清;云存儲(chǔ)中避免重復(fù)數(shù)據(jù)存儲(chǔ)機(jī)制研究[D];云南大學(xué);2013年

8 石俊杰;基于云存儲(chǔ)的重復(fù)數(shù)據(jù)刪除文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

9 胡盼盼;在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

10 曾濤;重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

  本文關(guān)鍵詞：重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)中的應(yīng)用與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：455899