隨著云存儲(chǔ)和大數(shù)據(jù)等技術(shù)的迅猛發(fā)展,各行各業(yè)越來(lái)越多的數(shù)據(jù)都存儲(chǔ)在云端。而存儲(chǔ)在云端的海量數(shù)據(jù)中,有大量的數(shù)據(jù)是重復(fù)數(shù)據(jù),這就造成了寶貴的存儲(chǔ)空間的浪費(fèi)。為了減少重復(fù)數(shù)據(jù)對(duì)存儲(chǔ)資源的浪費(fèi),重復(fù)數(shù)據(jù)刪除技術(shù)在云存儲(chǔ)中被廣泛應(yīng)用。當(dāng)前,重復(fù)數(shù)據(jù)刪除技術(shù)的研究熱點(diǎn)集中在兩個(gè)方向,一個(gè)是對(duì)重復(fù)數(shù)據(jù)檢測(cè)技術(shù)的研究,另一個(gè)是對(duì)分布式可擴(kuò)展的重復(fù)數(shù)據(jù)刪除技術(shù)的研究。在這兩個(gè)研究領(lǐng)域已經(jīng)有不少研究工作取得了許多有價(jià)值的成果,但還存在許多不足之處。在解決重復(fù)數(shù)據(jù)檢測(cè)中存在的磁盤(pán)訪問(wèn)瓶頸問(wèn)題以及實(shí)現(xiàn)分布式重復(fù)數(shù)據(jù)刪除技術(shù)中的擴(kuò)展性、容錯(cuò)性以及負(fù)載均衡等方面,當(dāng)前的研究還有很多不完善的地方。本文針對(duì)重復(fù)數(shù)據(jù)檢測(cè)中的磁盤(pán)訪問(wèn)瓶頸問(wèn)題,提出了B+樹(shù)簇和哈希表相結(jié)合的重復(fù)數(shù)據(jù)檢測(cè)方案。此外,在分布式重復(fù)數(shù)據(jù)刪除技術(shù)的研究基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)。論文主要工作如下:1、分析現(xiàn)有的重復(fù)數(shù)據(jù)檢測(cè)方法的不足后,提出并實(shí)現(xiàn)了B+樹(shù)簇和哈希表相結(jié)合的重復(fù)數(shù)據(jù)檢測(cè)方法。其中B+樹(shù)簇能夠?qū)哂锌臻g局部性特征的數(shù)據(jù)快速檢測(cè),而哈希表能夠?qū)Σ痪呖臻g局部性特征的數(shù)據(jù)快速檢測(cè),將兩者相結(jié)合后,能夠有...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 數(shù)據(jù)分塊技術(shù)的研究
        1.2.2 快速檢測(cè)識(shí)別重復(fù)數(shù)據(jù)技術(shù)的研究
        1.2.3 分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究
    1.3 主要研究目的和研究?jī)?nèi)容
        1.3.1 研究目的
        1.3.2 研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)研究
    2.1 重復(fù)數(shù)據(jù)刪除流程
    2.2 重復(fù)數(shù)據(jù)刪除粒度
        2.2.1 文件粒度
        2.2.2 數(shù)據(jù)塊粒度
        2.2.3 字節(jié)粒度
    2.3 數(shù)據(jù)分塊與指紋生成
        2.3.1 數(shù)據(jù)固定長(zhǎng)度分塊(Fixed-sizeChunking)
        2.3.2 數(shù)據(jù)變長(zhǎng)分塊(VariableChunking)
        2.3.3 數(shù)據(jù)指紋生成
    2.4 數(shù)據(jù)塊指紋索引與檢索策略
        2.4.1 布隆過(guò)濾器指紋索引與檢索策略
        2.4.2 B+樹(shù)指紋索引與檢索策略
        2.4.3 B+樹(shù)簇指紋索引與檢索策略
        2.4.4 哈希表指紋索引與檢索策略
    2.5 分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)研究
        2.5.1 取模分布式方案
        2.5.2 基于P2P路由機(jī)制的分布式方案
    2.6 本章小結(jié)
第三章 B+樹(shù)簇和哈希表相結(jié)合的指紋索引和檢索方法設(shè)計(jì)
    3.1 數(shù)據(jù)塊指紋檢索流程
    3.2 B+樹(shù)簇和哈希表相結(jié)合的指紋索引和檢索方法
        3.2.1 B+樹(shù)簇指紋索引
        3.2.2 哈希表指紋索引
        3.2.3 基于B+樹(shù)簇和哈希表的指紋索引和檢索方法
    3.3 本章小結(jié)
第四章 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
    4.1 重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
        4.1.1 數(shù)據(jù)分塊和指紋計(jì)算模塊
        4.1.2 生成備份流模塊
        4.1.3 網(wǎng)絡(luò)傳輸模塊
        4.1.4 備份流處理模塊
        4.1.5 指紋管理模塊
        4.1.6 數(shù)據(jù)塊管理模塊
        4.1.7 文件恢復(fù)模塊
        4.1.8 數(shù)據(jù)存儲(chǔ)模塊
    4.2 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)設(shè)計(jì)
        4.2.1 Chord協(xié)議簡(jiǎn)介
        4.2.2 分布式重復(fù)數(shù)據(jù)刪除原型系統(tǒng)(Chord-DDS)架構(gòu)
        4.2.3 資源在Chord-DDS中定位機(jī)制
        4.2.4 節(jié)點(diǎn)加入Chord-DDS機(jī)制
        4.2.5 節(jié)點(diǎn)失效或退出Chord-DDS機(jī)制
        4.2.6 Chord-DDS的負(fù)載均衡機(jī)制
        4.2.7 Chord-DDS的資源備份機(jī)制
    4.3 本章小結(jié)
第五章 實(shí)驗(yàn)結(jié)果與分析
    5.1 實(shí)驗(yàn)環(huán)境搭建
        5.1.1 重復(fù)數(shù)據(jù)刪除原型系統(tǒng)搭建
        5.1.2 基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)搭建
    5.2 實(shí)驗(yàn)數(shù)據(jù)集
    5.3 指紋索引和檢索方法的性能對(duì)比測(cè)試
        5.3.1 測(cè)試數(shù)據(jù)集和參數(shù)設(shè)置
        5.3.2 BTreeHash和LRU對(duì)比測(cè)試
        5.3.3 BTreeHash和HashTable對(duì)比測(cè)試
    5.4 基于Chord協(xié)議的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)測(cè)試
        5.4.1 Chord-DDS資源定位功能測(cè)試
        5.4.2 節(jié)點(diǎn)加入Chord-DDS功能測(cè)試
        5.4.3 節(jié)點(diǎn)失效或退出Chord-DDS功能測(cè)試
        5.4.4 Chord-DDS負(fù)載均衡性能測(cè)試
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 展望
致謝
參考文獻(xiàn)



本文編號(hào)：3804392