本文關(guān)鍵詞：面向移動(dòng)終端的數(shù)據(jù)去重研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在信息社會(huì)高速發(fā)展的時(shí)期,移動(dòng)互聯(lián)網(wǎng)快速發(fā)展,加上個(gè)人云存儲(chǔ)等以個(gè)人云為基礎(chǔ)的服務(wù)快速興起,推動(dòng)了數(shù)據(jù)云同步和云存儲(chǔ)業(yè)務(wù)的增長,使得網(wǎng)絡(luò)數(shù)據(jù)信息量呈現(xiàn)爆炸式增長形勢(shì),給網(wǎng)絡(luò)存儲(chǔ)空間和網(wǎng)絡(luò)帶寬帶來了巨大的壓力,尤其是在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域,問題則更為明顯。眾所周知,移動(dòng)終端存儲(chǔ)空間相對(duì)較小,并且移動(dòng)互聯(lián)網(wǎng)的接入網(wǎng)絡(luò)如蜂窩網(wǎng)的成本相對(duì)較高,所以,面向移動(dòng)終端的數(shù)據(jù)云服務(wù)對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)帶寬有著更高的要求,如何減少冗余數(shù)據(jù)的傳輸和存儲(chǔ)就顯得至關(guān)重要。 重復(fù)數(shù)據(jù)刪除技術(shù)(Data De-duplication Technology)通過刪除數(shù)據(jù)存儲(chǔ)系統(tǒng)中相同的文件或相同的文件數(shù)據(jù)塊,只保留重復(fù)文件或重復(fù)數(shù)據(jù)塊的一個(gè)備份,以達(dá)到消除數(shù)據(jù)冗余并縮減網(wǎng)絡(luò)存儲(chǔ)空間的目的,同時(shí)提升了網(wǎng)絡(luò)帶寬的利用率。根據(jù)文件數(shù)據(jù)去重的粒度重復(fù)數(shù)據(jù)刪除技術(shù)可分為文件級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)對(duì)象級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)。目前重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)應(yīng)用于數(shù)據(jù)備份和存儲(chǔ)系統(tǒng)中,大幅減少了數(shù)據(jù)冗余,提高了存儲(chǔ)空間的有效利用率。但是,由于移動(dòng)互聯(lián)網(wǎng)接入網(wǎng)絡(luò)和移動(dòng)終端內(nèi)存小等一系列局限性,重復(fù)數(shù)據(jù)刪除技術(shù)并沒有在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用。雖然在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域也出現(xiàn)了部分應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)的實(shí)例,但是該類應(yīng)用仍然有很多不足之處可以得到改進(jìn)。比如以Dropbox為代表的基于個(gè)人云服務(wù)的應(yīng)用采用了以定長切分算法(FSP)為基礎(chǔ)的數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除算法,此方法雖然簡(jiǎn)單有效,但是對(duì)于增加數(shù)據(jù)和刪除數(shù)據(jù)的操作敏感性太高,從而影響了數(shù)據(jù)去重率。 本文提出將多種重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用于移動(dòng)互聯(lián)網(wǎng)領(lǐng)域,以數(shù)據(jù)去重率和移動(dòng)終端設(shè)備性能損耗兩方面作為主要衡量標(biāo)準(zhǔn),面向移動(dòng)互聯(lián)平臺(tái)對(duì)重復(fù)數(shù)據(jù)刪除算法進(jìn)行深入的研究和優(yōu)化。主要完成了以下兩方面工作：第一,結(jié)合移動(dòng)互聯(lián)網(wǎng)在移動(dòng)終端性能和網(wǎng)絡(luò)接入等多方面的限制,綜合數(shù)據(jù)去重率和機(jī)器開銷兩方面因素,選取適用于移動(dòng)互聯(lián)網(wǎng)的最優(yōu)重復(fù)數(shù)據(jù)刪除算法進(jìn)行深入研究和優(yōu)化；第二,采集多種類型的文件作為樣本,對(duì)移動(dòng)互聯(lián)平臺(tái)的最優(yōu)重復(fù)數(shù)據(jù)刪除算法的數(shù)據(jù)塊切分算法選擇和數(shù)據(jù)塊切分粒度設(shè)置方面進(jìn)行了優(yōu)化和實(shí)驗(yàn)驗(yàn)證,為重復(fù)數(shù)據(jù)刪除技術(shù)在面向移動(dòng)互聯(lián)網(wǎng)平臺(tái)的云同步和云存儲(chǔ)領(lǐng)域的應(yīng)用提供依據(jù),同時(shí)設(shè)計(jì)了面向PC、移動(dòng)設(shè)備和云服務(wù)器的三端重復(fù)數(shù)據(jù)刪除云存儲(chǔ)和云同步系統(tǒng)。
【關(guān)鍵詞】：移動(dòng)終端 重復(fù)數(shù)據(jù)刪除 CDC可變分塊算法 數(shù)據(jù)指紋計(jì)算算法 數(shù)據(jù)塊切分粒度設(shè)置
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• CONTENTS6-8
• 中文摘要8-10
• ABSTRACT10-12
• 第一章 緒論12-17
• 1.1 選題背景與研究意義12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 本文的主要工作15
• 1.4 本文的組織結(jié)構(gòu)15-17
• 第二章 重復(fù)數(shù)據(jù)刪除技術(shù)相關(guān)知識(shí)介紹17-24
• 2.1 重復(fù)數(shù)據(jù)刪除技術(shù)簡(jiǎn)介17-18
• 2.2 文件級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)18
• 2.3 數(shù)據(jù)對(duì)象級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)18-19
• 2.4 數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)19-22
• 2.4.1 FSP固定分塊重復(fù)數(shù)據(jù)刪除算法19-20
• 2.4.2 CDC可變分塊重復(fù)數(shù)據(jù)刪除算法20-21
• 2.4.3 基于滑動(dòng)塊技術(shù)的重復(fù)數(shù)據(jù)刪除算法21-22
• 2.5 本章小節(jié)22-24
• 第三章 面向移動(dòng)終端的重復(fù)數(shù)據(jù)刪除算法研究24-34
• 3.1 引言24
• 3.2 面向移動(dòng)終端的重復(fù)數(shù)據(jù)刪除算法分析24-26
• 3.3 面向移動(dòng)終端的最優(yōu)重復(fù)數(shù)據(jù)刪除算法選擇26-29
• 3.4 面向移動(dòng)終端的CDC重復(fù)數(shù)據(jù)刪除算法研究29-32
• 3.4.1 基于內(nèi)容的文件數(shù)據(jù)塊切分算法29
• 3.4.2 Fingerprint數(shù)據(jù)指紋算法和特征值計(jì)算算法研究29-31
• 3.4.3 文件切分粒度研究31-32
• 3.4.4 基于CDC的重復(fù)數(shù)據(jù)刪除算法優(yōu)化32
• 3.5 本章小節(jié)32-34
• 第四章 面向移動(dòng)終端的重復(fù)數(shù)據(jù)刪除算法實(shí)現(xiàn)34-41
• 4.1 引言34
• 4.2 實(shí)驗(yàn)?zāi)康暮蛯?shí)驗(yàn)環(huán)境34-35
• 4.2.1 實(shí)驗(yàn)?zāi)康?/span>34
• 4.2.2 實(shí)驗(yàn)環(huán)境34-35
• 4.3 算法實(shí)現(xiàn)35-36
• 4.4 結(jié)果分析36-39
• 4.4.1 數(shù)據(jù)指紋值計(jì)算方法驗(yàn)證36-38
• 4.4.2 數(shù)據(jù)塊切分粒度實(shí)驗(yàn)驗(yàn)證38-39
• 4.5 本章小節(jié)39-41
• 第五章 基于重復(fù)數(shù)據(jù)刪除的個(gè)人云同步應(yīng)用客戶端設(shè)計(jì)41-50
• 5.1 引言41
• 5.2 系統(tǒng)整體框架41-43
• 5.3 文件數(shù)據(jù)變化時(shí)Delta信息的生成43-44
• 5.3.1 本地文件數(shù)據(jù)變化的Delta信息產(chǎn)生43
• 5.3.2 云端文件數(shù)據(jù)變化的Delta信息產(chǎn)生43-44
• 5.4 基于數(shù)據(jù)塊的重復(fù)數(shù)據(jù)系統(tǒng)核心機(jī)制44-45
• 5.5 同步機(jī)制的設(shè)計(jì)45-48
• 5.5.1 同步狀態(tài)機(jī)設(shè)計(jì)45-46
• 5.5.2 線程池管理46
• 5.5.3 沖突判斷和處理46-48
• 5.6 系統(tǒng)設(shè)計(jì)原則48-49
• 5.7 本章小節(jié)49-50
• 第六章 結(jié)論與展望50-52
• 6.1 結(jié)論50
• 6.2 展望50-52
• 參考文獻(xiàn)52-56
• 致謝56-57
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文和參加科研情況57-58
• 學(xué)位論文評(píng)閱及答辯情況表58

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 謝垂益;鐘紅君;;Rabin指紋算法在重復(fù)數(shù)據(jù)檢測(cè)中的應(yīng)用研究[J];電腦知識(shí)與技術(shù);2013年21期

2 付印金;肖儂;劉芳;;重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究進(jìn)展[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

3 羅軍舟;吳文甲;楊明;;移動(dòng)互聯(lián)網(wǎng):終端、網(wǎng)絡(luò)與服務(wù)[J];計(jì)算機(jī)學(xué)報(bào);2011年11期

4 崔興華;杜曉黎;趙曉睿;;重復(fù)數(shù)據(jù)檢測(cè)在多版本數(shù)據(jù)備份中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用研究;2009年01期

5 廖海生;趙躍龍;;基于MD5算法的重復(fù)數(shù)據(jù)刪除技術(shù)的研究與改進(jìn)[J];計(jì)算機(jī)測(cè)量與控制;2010年03期

6 付印金;肖儂;劉芳;鮑先強(qiáng);;基于重復(fù)數(shù)據(jù)刪除的虛擬桌面存儲(chǔ)優(yōu)化技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

7 周敬利;聶雪軍;秦磊華;劉科;朱建峰;王宇;;基于存儲(chǔ)環(huán)境感知的重復(fù)數(shù)據(jù)刪除算法優(yōu)化[J];計(jì)算機(jī)科學(xué);2011年02期

8 顧瑜;劉川意;孫林春;閻斌;汪東升;鞠大鵬;;帶重復(fù)數(shù)據(jù)刪除的大規(guī)模存儲(chǔ)系統(tǒng)可靠性保證[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

9 陶安;王軍武;;利用虛擬磁帶庫技術(shù)實(shí)現(xiàn)異地?cái)?shù)據(jù)容災(zāi)備份[J];軟件導(dǎo)刊(教育技術(shù));2011年12期

10 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 王燦;基于在線重復(fù)數(shù)據(jù)消除的海量數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2012年

2 陳釗;基于云災(zāi)備的數(shù)據(jù)安全存儲(chǔ)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

3 周正達(dá);信息存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究[D];華中科技大學(xué);2012年

  本文關(guān)鍵詞：面向移動(dòng)終端的數(shù)據(jù)去重研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：385101