本文關(guān)鍵詞：數(shù)據(jù)去重與垃圾數(shù)據(jù)刪除策略的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 分布式存儲(chǔ)系統(tǒng) 重復(fù)數(shù)據(jù)刪除 無(wú)效數(shù)據(jù)回收 布隆過(guò)濾器

【摘要】：伴隨著我國(guó)下一代無(wú)線移動(dòng)網(wǎng)絡(luò)的進(jìn)程,支撐各種各樣電信業(yè)務(wù)的移動(dòng)控制網(wǎng)絡(luò)對(duì)底層的存儲(chǔ)系統(tǒng)的支持提出了更高的要求。如今日益增加的用戶(hù)數(shù)量和數(shù)據(jù)流量已經(jīng)讓傳統(tǒng)的存儲(chǔ)方案顯得捉襟見(jiàn)肘。隨著這種趨勢(shì)的到來(lái),如何有效的利用存儲(chǔ)空間成為亟待解決的問(wèn)題。本文首先對(duì)國(guó)內(nèi)外主流的幾個(gè)分布式存儲(chǔ)系統(tǒng)進(jìn)行介紹和分析,并分析分布式系統(tǒng)需要面對(duì)的問(wèn)題和解決方案。在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了面向海量用戶(hù)和海量文件、基于數(shù)據(jù)塊級(jí)別數(shù)據(jù)去重的分布式文件系統(tǒng)CStore,本文主要設(shè)計(jì)并實(shí)現(xiàn)了基于CStore系統(tǒng)的數(shù)據(jù)回收系統(tǒng)。CStore系統(tǒng)是典型的分布式存儲(chǔ)系統(tǒng),它采用元數(shù)據(jù)和數(shù)據(jù)流分離的設(shè)計(jì)方案,將系統(tǒng)的元數(shù)據(jù)和文件數(shù)據(jù)分別存儲(chǔ)在不同的集群中,客戶(hù)端分別訪問(wèn)這些數(shù)據(jù)關(guān)于它們各自的管理和優(yōu)化。系統(tǒng)的資源定位基于一種兩級(jí)的哈希映射方案,以桶為單位的負(fù)載均衡和副本策略提高系統(tǒng)的可靠性,同時(shí)使得系統(tǒng)具有很好的可擴(kuò)展性。數(shù)據(jù)去重是CStore系統(tǒng)的主要特點(diǎn)之一,它采用在線的基于數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除策略,這就要求用戶(hù)在上傳文件的時(shí)候?qū)⒄麄�(gè)文件劃分成多個(gè)數(shù)據(jù)塊,然后分別上傳。這樣的策略可以節(jié)約大量的數(shù)據(jù)存儲(chǔ)空間,提高用戶(hù)體驗(yàn),但是同樣帶來(lái)了數(shù)據(jù)刪除的難題。在CStore數(shù)據(jù)去重的總體架構(gòu)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了能夠以在線或者離線方式執(zhí)行無(wú)效數(shù)據(jù)刪除的垃圾數(shù)據(jù)刪除系統(tǒng),可以高效并且準(zhǔn)確的判斷無(wú)效數(shù)據(jù),進(jìn)一步節(jié)省存儲(chǔ)資源。垃圾數(shù)據(jù)回收系統(tǒng)用于清理系統(tǒng)中沒(méi)有任何文件引用的無(wú)效數(shù)據(jù)塊。該系統(tǒng)基于Bloom Filter算法,在元數(shù)據(jù)服務(wù)器集群數(shù)據(jù)服務(wù)器集群上分別進(jìn)行相應(yīng)的操作,由一個(gè)中心控制節(jié)點(diǎn)負(fù)責(zé)全局的監(jiān)控。在容錯(cuò)方面,通過(guò)與中心節(jié)點(diǎn)建立的心跳連接可以有效得檢測(cè)到失效的節(jié)點(diǎn),進(jìn)而進(jìn)行任務(wù)的重新分發(fā),并且該系統(tǒng)為管理員提供了可視化界面,方便管理員控制與管理。本文最后對(duì)垃圾數(shù)據(jù)回收系統(tǒng)的功能和性能進(jìn)行了測(cè)試,證明了它可以正確執(zhí)行所需功能并保證了其可靠性和準(zhǔn)確性。
【關(guān)鍵詞】：分布式存儲(chǔ)系統(tǒng) 重復(fù)數(shù)據(jù)刪除 無(wú)效數(shù)據(jù)回收 布隆過(guò)濾器
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-21
• 1.1 背景介紹11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-19
• 1.2.1 GFS12-14
• 1.2.2 Haystack文件系統(tǒng)14-17
• 1.2.3 Ocean Base數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)17-19
• 1.3 主要研究?jī)?nèi)容19-20
• 1.4 論文組織20-21
• 第二章 相關(guān)理論與技術(shù)基礎(chǔ)21-31
• 2.1 分布式存儲(chǔ)系統(tǒng)21-22
• 2.2 數(shù)據(jù)分布方式22-25
• 2.2.1 哈希方式劃分22-23
• 2.2.2 順序分布23-24
• 2.2.3 一致性哈希分布24-25
• 2.3 可擴(kuò)展性25-26
• 2.4 負(fù)載均衡26-27
• 2.5 基本副本協(xié)議27-29
• 2.5.1 中心化副本控制協(xié)議27-28
• 2.5.2 去中心化副本控制協(xié)議28-29
• 2.6 CAP理論29-30
• 2.7 本章小結(jié)30-31
• 第三章 CStore存儲(chǔ)系統(tǒng)的設(shè)計(jì)31-41
• 3.1 系統(tǒng)目標(biāo)31-32
• 3.2 系統(tǒng)設(shè)計(jì)方案32-35
• 3.2.1 可用性32
• 3.2.2 可擴(kuò)展性32-33
• 3.2.3 性能33-35
• 3.3 CStore存儲(chǔ)系統(tǒng)架構(gòu)35-39
• 3.3.1 元數(shù)據(jù)節(jié)點(diǎn)功能設(shè)計(jì)36-37
• 3.3.2 系統(tǒng)配置管理節(jié)點(diǎn)功能設(shè)計(jì)37-38
• 3.3.3 數(shù)據(jù)服務(wù)節(jié)點(diǎn)功能設(shè)計(jì)38-39
• 3.4 典型下載流程39-40
• 3.5 本章小結(jié)40-41
• 第四章 垃圾數(shù)據(jù)回收系統(tǒng)的設(shè)計(jì)41-56
• 4.1 理論基礎(chǔ)41-45
• 4.1.1 重復(fù)數(shù)據(jù)刪除41-44
• 4.1.2 布隆過(guò)濾器44-45
• 4.2 需求分析45-46
• 4.3 概要設(shè)計(jì)46-48
• 4.4 桶的設(shè)計(jì)48-50
• 4.4.1 SU中的桶48-49
• 4.4.2 MU中的桶49-50
• 4.4.3 垃圾數(shù)據(jù)回收系統(tǒng)中的桶50
• 4.5 容錯(cuò)與恢復(fù)50-51
• 4.6 物理存儲(chǔ)模型51-53
• 4.6.1 元數(shù)據(jù)物理存儲(chǔ)模型51-53
• 4.6.2 數(shù)據(jù)塊存儲(chǔ)模型53
• 4.7 通信協(xié)議的設(shè)計(jì)53-55
• 4.8 本章小結(jié)55-56
• 第五章 垃圾數(shù)據(jù)回收系統(tǒng)的實(shí)現(xiàn)56-70
• 5.1 模塊之間的交互56-58
• 5.2 全局控制模塊的實(shí)現(xiàn)58-63
• 5.2.1 通信模塊的實(shí)現(xiàn)58-59
• 5.2.2 定時(shí)器模塊的實(shí)現(xiàn)59-61
• 5.2.3 GC模塊狀態(tài)機(jī)61-62
• 5.2.4 GC模塊執(zhí)行流程62-63
• 5.3 位圖生成模塊與數(shù)據(jù)判斷模塊63-65
• 5.4 位圖生成模塊的業(yè)務(wù)流程65-67
• 5.5 數(shù)據(jù)判斷模塊的業(yè)務(wù)流程67-68
• 5.6 管理員界面的實(shí)現(xiàn)68-69
• 5.7 本章小結(jié)69-70
• 第六章 系統(tǒng)測(cè)試與分析70-78
• 6.1 測(cè)試環(huán)境準(zhǔn)備70-72
• 6.2 系統(tǒng)功能測(cè)試72-75
• 6.2.1 基本功能測(cè)試72-74
• 6.2.2 異常處理測(cè)試74-75
• 6.3 系統(tǒng)性能測(cè)試75-77
• 6.4 本章小結(jié)77-78
• 第七章 結(jié)論與展望78-80
• 致謝80-81
• 參考文獻(xiàn)81-83

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 舒涵;;怎能讓這樣的“數(shù)字說(shuō)話”[J];中國(guó)計(jì)算機(jī)用戶(hù);2007年22期

2 徐海斌;全面清除Windows垃圾[J];中國(guó)電子與網(wǎng)絡(luò)出版;2003年03期

3 魏s，

本文編號(hào)：787256