發(fā)布時(shí)間：2017-09-12 18:33

  本文關(guān)鍵詞：高擴(kuò)展性的海量存儲(chǔ)文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 元數(shù)據(jù)管理 子樹分割 可擴(kuò)展性 事務(wù)處理 分布式文件系統(tǒng)

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)規(guī)模增長迅速，數(shù)據(jù)的應(yīng)用模式也越來越多樣，這自然給存儲(chǔ)系統(tǒng)的發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。采用縱向擴(kuò)展模式來對存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容的傳統(tǒng)方法，已經(jīng)越來越無法滿足具體應(yīng)用在存儲(chǔ)規(guī)模、并發(fā)性能與成本等方面的要求；而通過良好的分布式調(diào)度策略來集成大量商品機(jī)器的橫向擴(kuò)展模式卻能取得奇效。 碧海文件系統(tǒng)正是采用橫向擴(kuò)展模式的大規(guī)模分布式文件系統(tǒng)，它能良好的作為Hadoop之類的批處理框架的底層存儲(chǔ)堆棧，然而當(dāng)它應(yīng)用于通用存儲(chǔ)環(huán)境時(shí)，卻存在著擴(kuò)展性、可用性和并發(fā)性的不足，而其中擴(kuò)展性不足的問題更是阻礙了碧海文件系統(tǒng)的發(fā)展。這些不足大都來源于元數(shù)據(jù)節(jié)點(diǎn)的單點(diǎn)架構(gòu)，因而本課題嘗試著使用分布式元數(shù)據(jù)節(jié)點(diǎn)的方式來解決上述不足。 具體的工作內(nèi)容為：對目錄樹進(jìn)行子樹分割，從而將元數(shù)據(jù)布局在不同的節(jié)點(diǎn)之上；設(shè)計(jì)了監(jiān)控節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)能夠仲裁元數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)，收集并分發(fā)子樹信息，以及增減元數(shù)據(jù)節(jié)點(diǎn)集群的規(guī)模；優(yōu)化了數(shù)據(jù)節(jié)點(diǎn)與元數(shù)據(jù)節(jié)點(diǎn)的通信模型，避免了重命名操作造成文件數(shù)據(jù)的移動(dòng)；規(guī)范了分布式元數(shù)據(jù)節(jié)點(diǎn)的事務(wù)處理方式，使元數(shù)據(jù)信息可以高可靠地在不同節(jié)點(diǎn)之間移動(dòng)。 測試表明，通過以上的改進(jìn)，，碧海文件系統(tǒng)的擴(kuò)展性有了較為顯著的提升，并且較好的支持監(jiān)控協(xié)議和分布式事務(wù)。
【關(guān)鍵詞】：元數(shù)據(jù)管理 子樹分割 可擴(kuò)展性 事務(wù)處理 分布式文件系統(tǒng)
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 目錄9-12
• 圖錄12-14
• 表錄14-15
• 第一章 緒論15-19
• 1.1 研究背景15-16
• 1.2 研究領(lǐng)域的現(xiàn)狀16-17
• 1.3 研究內(nèi)容及意義17-18
• 1.4 論文結(jié)構(gòu)18-19
• 第二章 典型分布式文件系統(tǒng)的介紹19-29
• 2.1 NFS19-22
• 2.2 Google File System22-24
• 2.3 GlusterFS24-26
• 2.4 Ceph26-28
• 2.5 本章小結(jié)28-29
• 第三章 碧海文件系統(tǒng)的介紹29-43
• 3.1 元數(shù)據(jù)節(jié)點(diǎn)的元數(shù)據(jù)存儲(chǔ)機(jī)制介紹29-31
• 3.2 元數(shù)據(jù)節(jié)點(diǎn)的集群監(jiān)控和負(fù)載均衡機(jī)制介紹31-32
• 3.3 元數(shù)據(jù)節(jié)點(diǎn)的元數(shù)據(jù)信息持久化機(jī)制介紹32-33
• 3.4 元數(shù)據(jù)節(jié)點(diǎn)的租約機(jī)制介紹33-34
• 3.5 數(shù)據(jù)節(jié)點(diǎn)的總體架構(gòu)介紹34-36
• 3.6 客戶端與數(shù)據(jù)節(jié)點(diǎn)的交互介紹36-39
• 3.7 異步框架介紹39-42
• 3.8 本章小結(jié)42-43
• 第四章 分布式元數(shù)據(jù)節(jié)點(diǎn)的改進(jìn)方案43-86
• 4.1 改進(jìn)方案的總體分析43-47
• 4.1.1 分割方案的探討與選擇43-44
• 4.1.2 分布式元數(shù)據(jù)節(jié)點(diǎn)的架構(gòu)44-46
• 4.1.3 子樹分割46-47
• 4.2 監(jiān)控協(xié)議的設(shè)計(jì)分析47-62
• 4.2.1 監(jiān)控節(jié)點(diǎn)層的架構(gòu)47-48
• 4.2.2 Paxos 算法的介紹與簡化48-52
• 4.2.3 狀態(tài)信息表和監(jiān)控協(xié)議52-56
• 4.2.4 監(jiān)控協(xié)議實(shí)現(xiàn)中的工程問題56-57
• 4.2.5 監(jiān)控協(xié)議的性質(zhì)分析57-59
• 4.2.6 子樹信息表和子樹界限路徑表59-61
• 4.2.7 元數(shù)據(jù)節(jié)點(diǎn)的啟動(dòng)和退休流程61-62
• 4.3 監(jiān)控協(xié)議的實(shí)現(xiàn)方案62-67
• 4.3.1 監(jiān)控協(xié)議的總體實(shí)現(xiàn)框架62-63
• 4.3.2 監(jiān)控協(xié)議線程模塊的具體介紹63-65
• 4.3.3 監(jiān)控協(xié)議所涉及的其他相關(guān)模塊的具體介紹65-67
• 4.4 分布式事務(wù)的設(shè)計(jì)分析67-79
• 4.4.1 碧海文件系統(tǒng)的事務(wù)特性分析68-70
• 4.4.2 事務(wù)的具體流程和高性能處理框架70-75
• 4.4.3 數(shù)據(jù)節(jié)點(diǎn)的匯報(bào)協(xié)議75-77
• 4.4.4 客戶端的查詢優(yōu)化77-79
• 4.5 分布式事務(wù)的實(shí)現(xiàn)方案79-85
• 4.5.1 分布式事務(wù)的總體實(shí)現(xiàn)框架79-80
• 4.5.2 事務(wù)處理線程模塊的具體介紹80-81
• 4.5.3 分布式事務(wù)所涉及的其他相關(guān)模塊的具體介紹81-82
• 4.5.4 數(shù)據(jù)節(jié)點(diǎn)和客戶端主要模塊的介紹82-85
• 4.6 本章小結(jié)85-86
• 第五章 系統(tǒng)的評估與驗(yàn)證86-101
• 5.1 評估和驗(yàn)證的目的與環(huán)境86-87
• 5.2 分布式事務(wù)的執(zhí)行效果驗(yàn)證87-93
• 5.2.1 正常狀態(tài)下分布式事務(wù)效果的驗(yàn)證方案87-90
• 5.2.2 異常狀態(tài)下分布式事務(wù)效果的驗(yàn)證方案90-91
• 5.2.3 分布式事務(wù)驗(yàn)證實(shí)驗(yàn)的結(jié)果匯總與分析91-93
• 5.3 監(jiān)控協(xié)議的執(zhí)行效果驗(yàn)證93-98
• 5.3.1 正常狀態(tài)下監(jiān)控協(xié)議效果的驗(yàn)證方案93-94
• 5.3.2 異常狀態(tài)下監(jiān)控協(xié)議效果的驗(yàn)證方案94-95
• 5.3.3 監(jiān)控協(xié)議驗(yàn)證實(shí)驗(yàn)的結(jié)果匯總與分析95-98
• 5.4 系統(tǒng)擴(kuò)展性的評估98-100
• 5.4.1 系統(tǒng)擴(kuò)展性的評估方案98-99
• 5.4.2 系統(tǒng)擴(kuò)展性評估結(jié)果的分析99-100
• 5.5 本章小結(jié)100-101
• 第六章 總結(jié)與展望101-103
• 6.1 本文總結(jié)101
• 6.2 不足與展望101-103
• 致謝103-104
• 參考文獻(xiàn)104-108
• 攻讀碩士學(xué)位期間已發(fā)表或錄用的論文108

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 ;2011年世界建筑節(jié)[J];世界建筑;2011年12期

2 付長冬,舒繼武,沈美明,鄭緯民;網(wǎng)絡(luò)存儲(chǔ)體系結(jié)構(gòu)的發(fā)展和研究[J];小型微型計(jì)算機(jī)系統(tǒng);2004年04期

本文編號：838857