本文關(guān)鍵詞：面向大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)可靠性保障技術(shù)研究

  更多相關(guān)文章： 大規(guī)模數(shù)據(jù) 分布式存儲(chǔ) 元數(shù)據(jù)管理 元數(shù)據(jù)集群 一致性哈希動(dòng)態(tài)副本機(jī)制 負(fù)載均衡

【摘要】：大規(guī)模數(shù)據(jù)存儲(chǔ)面臨著數(shù)據(jù)容量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、基礎(chǔ)設(shè)施異構(gòu)、失效常態(tài)化等問題。高效的、去中心化的元數(shù)據(jù)管理方案對(duì)大型分布式存儲(chǔ)系統(tǒng)的可靠性、可擴(kuò)展性具有重要作用。動(dòng)態(tài)的、自適應(yīng)的副本機(jī)制對(duì)系統(tǒng)I/O響應(yīng)性能、容錯(cuò)性和存儲(chǔ)利用率有很大影響�，F(xiàn)有相關(guān)工作在可擴(kuò)展性、數(shù)據(jù)遷移、數(shù)據(jù)結(jié)點(diǎn)負(fù)載均衡等方面存在一些不足之處。 首先,針對(duì)基于哈希的劃分和基于子樹劃分的元數(shù)據(jù)管理方案擴(kuò)展代價(jià)巨大以及對(duì)集群變動(dòng)敏感等問題,提出一種基于一致性哈希結(jié)構(gòu)的MDS(MetaData Server)集群化方案—CH-MMS。 CH-MMS在一致性MDS集群上引入虛擬MDS,有效平衡MDS集群負(fù)載；將Standby機(jī)制與延遲更新策略融合并應(yīng)用于MDS集群,實(shí)現(xiàn)MDS快速失效恢復(fù)以及集群變動(dòng)時(shí)零數(shù)據(jù)遷移量。闡述了CH-MMS的體系結(jié)構(gòu),介紹了核心數(shù)據(jù)結(jié)構(gòu)LayoutTable、虛擬MDS結(jié)構(gòu)、延遲更新機(jī)制以及相關(guān)算法,并對(duì)CH-MMS擴(kuò)展性、容錯(cuò)性作了定性分析。 其次,針對(duì)分布式存儲(chǔ)系統(tǒng)中結(jié)點(diǎn)失效的不可避免性,在CH-MMS作為元數(shù)據(jù)服務(wù)組件的基礎(chǔ)上,提出一種基于文件支持度的文件熱度評(píng)價(jià)模型。該模型通過周期性的參數(shù)調(diào)整,使其能夠自適應(yīng)系統(tǒng)不斷變化的負(fù)載狀態(tài),盡可能做出反映系統(tǒng)實(shí)際狀態(tài)的副本決策。提出一種數(shù)據(jù)結(jié)點(diǎn)分群算法,根據(jù)整體負(fù)載狀況對(duì)數(shù)據(jù)結(jié)點(diǎn)進(jìn)行劃分,避免片面性。在該模型基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)結(jié)點(diǎn)負(fù)載均衡調(diào)整算法、文件支持度動(dòng)態(tài)調(diào)整算法和惰性副本清理算法,達(dá)到副本動(dòng)態(tài)自適應(yīng)調(diào)整的目的。 最后,通過理論分析和原型實(shí)驗(yàn),驗(yàn)證了CH-MMS具有元數(shù)據(jù)平衡分布、快速失效恢復(fù)、靈活的擴(kuò)展性以及零結(jié)點(diǎn)變動(dòng)數(shù)據(jù)遷移量等特點(diǎn),能滿足數(shù)據(jù)量不斷增加的大規(guī)模存儲(chǔ)集群元數(shù)據(jù)靈活、高效管理的需求；驗(yàn)證基于文件支持度模型的動(dòng)態(tài)副本機(jī)制具有良好的數(shù)據(jù)結(jié)點(diǎn)負(fù)載均衡和自適應(yīng)性。
【關(guān)鍵詞】：大規(guī)模數(shù)據(jù) 分布式存儲(chǔ) 元數(shù)據(jù)管理 元數(shù)據(jù)集群 一致性哈希動(dòng)態(tài)副本機(jī)制 負(fù)載均衡
【學(xué)位授予單位】：廣西大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-8
• 目錄8-10
• 第一章 緒論10-14
• 1.1 研究背景10-12
• 1.2 研究意義與內(nèi)容12-13
• 1.2.1 研究意義12
• 1.2.2 研究?jī)?nèi)容12-13
• 1.3 論文組織13-14
• 第二章 海量數(shù)據(jù)存儲(chǔ)及其元數(shù)據(jù)技術(shù)概述14-24
• 2.1 概述14-16
• 2.2 單點(diǎn)元數(shù)據(jù)服務(wù)器16-19
• 2.2.1 GFS的元數(shù)據(jù)管理管理機(jī)制16-17
• 2.2.2 HDFS的元數(shù)據(jù)管理機(jī)制17-18
• 2.2.3 單點(diǎn)MDS的高可用方案18-19
• 2.3 元數(shù)據(jù)劃分19-21
• 2.3.1 基于靜態(tài)子樹的元數(shù)據(jù)劃分19-20
• 2.3.2 基于動(dòng)態(tài)子樹的元數(shù)據(jù)劃分20-21
• 2.3.3 基于哈希的元數(shù)據(jù)劃分21
• 2.4 分布式存儲(chǔ)容錯(cuò)技術(shù)21-22
• 2.4.1 Erasure Code21-22
• 2.4.2 副本冗余策略22
• 2.5 本章小結(jié)22-24
• 第三章 基于一致性劃分的元數(shù)據(jù)組織技術(shù)24-44
• 3.1 引言24
• 3.2 相關(guān)工作24-26
• 3.3 系統(tǒng)架構(gòu)26-28
• 3.4 MDS布局結(jié)構(gòu)28-30
• 3.5 元數(shù)據(jù)平衡分布30-33
• 3.6 MDS集群變動(dòng)33-37
• 3.6.1 MDS失效接管33-35
• 3.6.2 加入MDS35-36
• 3.6.3 移除MDS36-37
• 3.7 延遲更新策略37-38
• 3.8 list語(yǔ)義38
• 3.9 實(shí)驗(yàn)分析38-42
• 3.9.1 lookup性能分析39-40
• 3.9.2 元數(shù)據(jù)分布40-41
• 3.9.3 數(shù)據(jù)遷移41-42
• 3.10 討論和分析42-43
• 3.11 本章小結(jié)43-44
• 第四章 基于文件支持度模型的動(dòng)態(tài)副本管理機(jī)制44-64
• 4.1 引言44-45
• 4.2 相關(guān)工作45-46
• 4.3 動(dòng)態(tài)文件支持度評(píng)價(jià)模型46-52
• 4.3.1 副本管理架構(gòu)46-47
• 4.3.2 文件支持度計(jì)算模型47-51
• 4.3.3 相關(guān)系數(shù)計(jì)算及動(dòng)態(tài)修正51-52
• 4.4 Data Node負(fù)載均衡52-54
• 4.5 文件支持度驅(qū)動(dòng)的副本調(diào)整54-55
• 4.6 惰性副本清理55-56
• 4.7 實(shí)驗(yàn)測(cè)試與模型驗(yàn)證56-61
• 4.7.1 負(fù)載均衡測(cè)試57-59
• 4.7.2 系統(tǒng)響應(yīng)時(shí)間59-61
• 4.7.3 模型動(dòng)態(tài)調(diào)整61
• 4.8 討論和分析61-63
• 4.9 本章小結(jié)63-64
• 第五章 總結(jié)與展望64-66
• 5.1 工作總結(jié)64
• 5.2 未來(lái)工作展望64-66
• 參考文獻(xiàn)66-72
• 致謝72-73
• 攻讀碩士學(xué)位期間參加的科研項(xiàng)目73
• 攻讀碩士期間發(fā)表和錄用的學(xué)術(shù)論文73

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 陳龍;張?zhí)鞈c;陳寧江;張莉莉;胡丹丹;;可區(qū)分服務(wù)的反饋式Web應(yīng)用負(fù)載均衡策略[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

2 湯大權(quán);賀明科;孟慶崧;;基于冪律分布和小世界特性的無(wú)結(jié)構(gòu)P2P網(wǎng)絡(luò)中搜索方法研究[J];計(jì)算機(jī)研究與發(fā)展;2007年09期

3 李國(guó)徽,王洪亞,陳基雄,劉云生;支持分布式合作實(shí)時(shí)事務(wù)處理的協(xié)同檢驗(yàn)點(diǎn)方法[J];計(jì)算機(jī)學(xué)報(bào);2004年09期

4 陳寧江;張莉莉;張文博;;運(yùn)用云模型評(píng)價(jià)復(fù)合網(wǎng)絡(luò)情境的方法研究[J];計(jì)算機(jī)科學(xué)與探索;2012年06期

5 覃雄派;王會(huì)舉;杜小勇;王珊;;大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J];軟件學(xué)報(bào);2012年01期

，

本文編號(hào)：1064044