本文關鍵詞：面向移動終端的數(shù)據(jù)去重研究，由筆耕文化傳播整理發(fā)布。

【摘要】：在信息社會高速發(fā)展的時期,移動互聯(lián)網(wǎng)快速發(fā)展,加上個人云存儲等以個人云為基礎的服務快速興起,推動了數(shù)據(jù)云同步和云存儲業(yè)務的增長,使得網(wǎng)絡數(shù)據(jù)信息量呈現(xiàn)爆炸式增長形勢,給網(wǎng)絡存儲空間和網(wǎng)絡帶寬帶來了巨大的壓力,尤其是在移動互聯(lián)網(wǎng)領域,問題則更為明顯。眾所周知,移動終端存儲空間相對較小,并且移動互聯(lián)網(wǎng)的接入網(wǎng)絡如蜂窩網(wǎng)的成本相對較高,所以,面向移動終端的數(shù)據(jù)云服務對存儲空間和網(wǎng)絡帶寬有著更高的要求,如何減少冗余數(shù)據(jù)的傳輸和存儲就顯得至關重要。 重復數(shù)據(jù)刪除技術(Data De-duplication Technology)通過刪除數(shù)據(jù)存儲系統(tǒng)中相同的文件或相同的文件數(shù)據(jù)塊,只保留重復文件或重復數(shù)據(jù)塊的一個備份,以達到消除數(shù)據(jù)冗余并縮減網(wǎng)絡存儲空間的目的,同時提升了網(wǎng)絡帶寬的利用率。根據(jù)文件數(shù)據(jù)去重的粒度重復數(shù)據(jù)刪除技術可分為文件級別的重復數(shù)據(jù)刪除技術、數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除技術和數(shù)據(jù)對象級別的重復數(shù)據(jù)刪除技術。目前重復數(shù)據(jù)刪除技術已經(jīng)應用于數(shù)據(jù)備份和存儲系統(tǒng)中,大幅減少了數(shù)據(jù)冗余,提高了存儲空間的有效利用率。但是,由于移動互聯(lián)網(wǎng)接入網(wǎng)絡和移動終端內(nèi)存小等一系列局限性,重復數(shù)據(jù)刪除技術并沒有在移動互聯(lián)網(wǎng)領域得到廣泛應用。雖然在移動互聯(lián)網(wǎng)領域也出現(xiàn)了部分應用重復數(shù)據(jù)刪除技術的實例,但是該類應用仍然有很多不足之處可以得到改進。比如以Dropbox為代表的基于個人云服務的應用采用了以定長切分算法(FSP)為基礎的數(shù)據(jù)塊級別的重復數(shù)據(jù)刪除算法,此方法雖然簡單有效,但是對于增加數(shù)據(jù)和刪除數(shù)據(jù)的操作敏感性太高,從而影響了數(shù)據(jù)去重率。 本文提出將多種重復數(shù)據(jù)刪除技術應用于移動互聯(lián)網(wǎng)領域,以數(shù)據(jù)去重率和移動終端設備性能損耗兩方面作為主要衡量標準,面向移動互聯(lián)平臺對重復數(shù)據(jù)刪除算法進行深入的研究和優(yōu)化。主要完成了以下兩方面工作：第一,結合移動互聯(lián)網(wǎng)在移動終端性能和網(wǎng)絡接入等多方面的限制,綜合數(shù)據(jù)去重率和機器開銷兩方面因素,選取適用于移動互聯(lián)網(wǎng)的最優(yōu)重復數(shù)據(jù)刪除算法進行深入研究和優(yōu)化；第二,采集多種類型的文件作為樣本,對移動互聯(lián)平臺的最優(yōu)重復數(shù)據(jù)刪除算法的數(shù)據(jù)塊切分算法選擇和數(shù)據(jù)塊切分粒度設置方面進行了優(yōu)化和實驗驗證,為重復數(shù)據(jù)刪除技術在面向移動互聯(lián)網(wǎng)平臺的云同步和云存儲領域的應用提供依據(jù),同時設計了面向PC、移動設備和云服務器的三端重復數(shù)據(jù)刪除云存儲和云同步系統(tǒng)。
【關鍵詞】：移動終端 重復數(shù)據(jù)刪除 CDC可變分塊算法 數(shù)據(jù)指紋計算算法 數(shù)據(jù)塊切分粒度設置
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• CONTENTS6-8
• 中文摘要8-10
• ABSTRACT10-12
• 第一章 緒論12-17
• 1.1 選題背景與研究意義12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-15
• 1.3 本文的主要工作15
• 1.4 本文的組織結構15-17
• 第二章 重復數(shù)據(jù)刪除技術相關知識介紹17-24
• 2.1 重復數(shù)據(jù)刪除技術簡介17-18
• 2.2 文件級重復數(shù)據(jù)刪除技術18
• 2.3 數(shù)據(jù)對象級重復數(shù)據(jù)刪除技術18-19
• 2.4 數(shù)據(jù)塊級重復數(shù)據(jù)刪除技術19-22
• 2.4.1 FSP固定分塊重復數(shù)據(jù)刪除算法19-20
• 2.4.2 CDC可變分塊重復數(shù)據(jù)刪除算法20-21
• 2.4.3 基于滑動塊技術的重復數(shù)據(jù)刪除算法21-22
• 2.5 本章小節(jié)22-24
• 第三章 面向移動終端的重復數(shù)據(jù)刪除算法研究24-34
• 3.1 引言24
• 3.2 面向移動終端的重復數(shù)據(jù)刪除算法分析24-26
• 3.3 面向移動終端的最優(yōu)重復數(shù)據(jù)刪除算法選擇26-29
• 3.4 面向移動終端的CDC重復數(shù)據(jù)刪除算法研究29-32
• 3.4.1 基于內(nèi)容的文件數(shù)據(jù)塊切分算法29
• 3.4.2 Fingerprint數(shù)據(jù)指紋算法和特征值計算算法研究29-31
• 3.4.3 文件切分粒度研究31-32
• 3.4.4 基于CDC的重復數(shù)據(jù)刪除算法優(yōu)化32
• 3.5 本章小節(jié)32-34
• 第四章 面向移動終端的重復數(shù)據(jù)刪除算法實現(xiàn)34-41
• 4.1 引言34
• 4.2 實驗目的和實驗環(huán)境34-35
• 4.2.1 實驗目的34
• 4.2.2 實驗環(huán)境34-35
• 4.3 算法實現(xiàn)35-36
• 4.4 結果分析36-39
• 4.4.1 數(shù)據(jù)指紋值計算方法驗證36-38
• 4.4.2 數(shù)據(jù)塊切分粒度實驗驗證38-39
• 4.5 本章小節(jié)39-41
• 第五章 基于重復數(shù)據(jù)刪除的個人云同步應用客戶端設計41-50
• 5.1 引言41
• 5.2 系統(tǒng)整體框架41-43
• 5.3 文件數(shù)據(jù)變化時Delta信息的生成43-44
• 5.3.1 本地文件數(shù)據(jù)變化的Delta信息產(chǎn)生43
• 5.3.2 云端文件數(shù)據(jù)變化的Delta信息產(chǎn)生43-44
• 5.4 基于數(shù)據(jù)塊的重復數(shù)據(jù)系統(tǒng)核心機制44-45
• 5.5 同步機制的設計45-48
• 5.5.1 同步狀態(tài)機設計45-46
• 5.5.2 線程池管理46
• 5.5.3 沖突判斷和處理46-48
• 5.6 系統(tǒng)設計原則48-49
• 5.7 本章小節(jié)49-50
• 第六章 結論與展望50-52
• 6.1 結論50
• 6.2 展望50-52
• 參考文獻52-56
• 致謝56-57
• 攻讀學位期間發(fā)表的學術論文和參加科研情況57-58
• 學位論文評閱及答辯情況表58

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 謝垂益;鐘紅君;;Rabin指紋算法在重復數(shù)據(jù)檢測中的應用研究[J];電腦知識與技術;2013年21期

2 付印金;肖儂;劉芳;;重復數(shù)據(jù)刪除關鍵技術研究進展[J];計算機研究與發(fā)展;2012年01期

3 羅軍舟;吳文甲;楊明;;移動互聯(lián)網(wǎng):終端、網(wǎng)絡與服務[J];計算機學報;2011年11期

4 崔興華;杜曉黎;趙曉睿;;重復數(shù)據(jù)檢測在多版本數(shù)據(jù)備份中的應用[J];計算機應用研究;2009年01期

5 廖海生;趙躍龍;;基于MD5算法的重復數(shù)據(jù)刪除技術的研究與改進[J];計算機測量與控制;2010年03期

6 付印金;肖儂;劉芳;鮑先強;;基于重復數(shù)據(jù)刪除的虛擬桌面存儲優(yōu)化技術[J];計算機研究與發(fā)展;2012年S1期

7 周敬利;聶雪軍;秦磊華;劉科;朱建峰;王宇;;基于存儲環(huán)境感知的重復數(shù)據(jù)刪除算法優(yōu)化[J];計算機科學;2011年02期

8 顧瑜;劉川意;孫林春;閻斌;汪東升;鞠大鵬;;帶重復數(shù)據(jù)刪除的大規(guī)模存儲系統(tǒng)可靠性保證[J];清華大學學報(自然科學版);2010年05期

9 陶安;王軍武;;利用虛擬磁帶庫技術實現(xiàn)異地數(shù)據(jù)容災備份[J];軟件導刊(教育技術);2011年12期

10 敖莉;舒繼武;李明強;;重復數(shù)據(jù)刪除技術[J];軟件學報;2010年05期

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 王燦;基于在線重復數(shù)據(jù)消除的海量數(shù)據(jù)處理關鍵技術研究[D];電子科技大學;2012年

2 陳釗;基于云災備的數(shù)據(jù)安全存儲關鍵技術研究[D];北京郵電大學;2012年

3 周正達;信息存儲系統(tǒng)中重復數(shù)據(jù)刪除技術的研究[D];華中科技大學;2012年

  本文關鍵詞：面向移動終端的數(shù)據(jù)去重研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：385101