本文關(guān)鍵詞：基于Bloom Filter的云存儲文件去重方法研究與優(yōu)化，，由筆耕文化傳播整理發(fā)布。

【摘要】：目前,隨著云存儲的流行,以及用戶的認(rèn)知度的提高,越來越多的用戶將數(shù)據(jù)上傳于云盤,用于存儲文件,能夠方便地與他人分享文件或者在其它移動設(shè)備上下載,或者定期的將部分的個人數(shù)據(jù)備份于云存儲中。因此,這造成了云存儲上有大量的重復(fù)數(shù)據(jù)。如果將這些文件進(jìn)行去重,將會使得云存儲商減少存儲文件的容量,在備份或者恢復(fù)數(shù)據(jù)時能夠節(jié)約帶寬與存儲以及提高存儲效率與帶寬效率,從而帶來經(jīng)濟利益。因此,文件去重成為了云存儲系統(tǒng)中并不可少的一部分。由于云存儲的數(shù)據(jù)來源大多數(shù)是個人用戶,因此云存儲中的文件特點是隨機性。無法預(yù)測下一個到達(dá)云端的文件是哪一個,大部分文件數(shù)據(jù)并不具有備份系統(tǒng)的數(shù)據(jù)源局部性的特點。根據(jù)云存儲中數(shù)據(jù)源的特點,本文提出了一種基于Bloom Filter的云存儲去重方法。在分塊階段根據(jù)不同文件類型的特點,經(jīng)過調(diào)研與實驗,對不同文件類型分別采用了最有效的分塊方式。在文件分塊的索引階段,在利用了文件的相似性原理的基礎(chǔ)上,加入了Bloom Filter過濾分塊加快查找速度。并且由于不同的分塊方式產(chǎn)生的分塊查詢開銷不同,為了減少查詢開銷與時間,使用了差異化的Bloom Filter。最終建立了內(nèi)存哈希表——差異化Bloom Filter——文件相似索引表的結(jié)構(gòu)。在實驗部分,本方法與一般實現(xiàn)方式中的非差異化Bloom Filter實現(xiàn)方式進(jìn)行比較,并且也同時與采用同樣分塊方式的AA-Dedupe算法與同樣基于文件相似性原理的Extreme Binning算法進(jìn)行了對比,驗證了本方法在性能方面的提升與優(yōu)勢。
【關(guān)鍵詞】：云存儲 文件去重 差異化Bloom Filter
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-17
• 1.1 研究背景9
• 1.2 國內(nèi)外研究現(xiàn)狀9-15
• 1.2.1 文件的分塊10-11
• 1.2.2 文件分塊的索引11-14
• 1.2.3 文件去重處理過程速率的提升14-15
• 1.3 本文的研究內(nèi)容15-16
• 1.4 本文的組織結(jié)構(gòu)16-17
• 第二章 相關(guān)技術(shù)17-21
• 2.1 應(yīng)用感知型的文件分塊技術(shù)17
• 2.2 Bloom Filter技術(shù)17-19
• 2.3 文件的相似性19-20
• 2.4 本章小結(jié)20-21
• 第三章 基于Bloom Filter的文件去重的設(shè)計與優(yōu)化21-35
• 3.1 文件的分塊21-25
• 3.2 基于Bloom Filter的文件去重的索引設(shè)計以及優(yōu)化25-31
• 3.3 基于Bloom Filter的文件去重的方法實現(xiàn)31-33
• 3.4 本章小結(jié)33-35
• 第四章 實驗結(jié)果及分析35-46
• 4.1 實驗環(huán)境35
• 4.2 文件數(shù)據(jù)來源及特點35
• 4.3 實驗參數(shù)設(shè)置35-37
• 4.4 實驗對比算法37-39
• 4.4.1 非差異化Bloom Filter實現(xiàn)方式37-38
• 4.4.2 AA-Dedupe算法和Extreme Binning算法38-39
• 4.5 性能對比結(jié)果及分析39-45
• 4.5.1 重復(fù)數(shù)據(jù)刪除率39-41
• 4.5.2 時間開銷41-43
• 4.5.3 內(nèi)存使用情況43-45
• 4.6 本章小結(jié)45-46
• 結(jié)論46-49
• 參考文獻(xiàn)49-52
• 攻讀碩士學(xué)位期間取得的研究成果52-53
• 致謝53-54
• 附件54

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 肖明忠;代亞非;;Bloom Filter及其應(yīng)用綜述[J];計算機科學(xué);2004年04期

2 池靜;倪健;王華;邢秀娥;;Bloom Filter和Weighted Bloom Filter的比較與研究[J];河北師范大學(xué)學(xué)報;2006年04期

3 李s

本文編號：447142