本文關鍵詞：高擴展性的海量存儲文件系統(tǒng)設計與實現(xiàn)

  更多相關文章： 元數(shù)據(jù)管理 子樹分割 可擴展性 事務處理 分布式文件系統(tǒng)

【摘要】：隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)規(guī)模增長迅速，數(shù)據(jù)的應用模式也越來越多樣，這自然給存儲系統(tǒng)的發(fā)展帶來了新的機遇和挑戰(zhàn)。采用縱向擴展模式來對存儲系統(tǒng)進行擴容的傳統(tǒng)方法，已經(jīng)越來越無法滿足具體應用在存儲規(guī)模、并發(fā)性能與成本等方面的要求；而通過良好的分布式調度策略來集成大量商品機器的橫向擴展模式卻能取得奇效。 碧海文件系統(tǒng)正是采用橫向擴展模式的大規(guī)模分布式文件系統(tǒng)，它能良好的作為Hadoop之類的批處理框架的底層存儲堆棧，然而當它應用于通用存儲環(huán)境時，卻存在著擴展性、可用性和并發(fā)性的不足，而其中擴展性不足的問題更是阻礙了碧海文件系統(tǒng)的發(fā)展。這些不足大都來源于元數(shù)據(jù)節(jié)點的單點架構，因而本課題嘗試著使用分布式元數(shù)據(jù)節(jié)點的方式來解決上述不足。 具體的工作內容為：對目錄樹進行子樹分割，從而將元數(shù)據(jù)布局在不同的節(jié)點之上；設計了監(jiān)控節(jié)點，監(jiān)控節(jié)點能夠仲裁元數(shù)據(jù)節(jié)點的狀態(tài)，收集并分發(fā)子樹信息，以及增減元數(shù)據(jù)節(jié)點集群的規(guī)模；優(yōu)化了數(shù)據(jù)節(jié)點與元數(shù)據(jù)節(jié)點的通信模型，避免了重命名操作造成文件數(shù)據(jù)的移動；規(guī)范了分布式元數(shù)據(jù)節(jié)點的事務處理方式，使元數(shù)據(jù)信息可以高可靠地在不同節(jié)點之間移動。 測試表明，通過以上的改進，，碧海文件系統(tǒng)的擴展性有了較為顯著的提升，并且較好的支持監(jiān)控協(xié)議和分布式事務。
【關鍵詞】：元數(shù)據(jù)管理 子樹分割 可擴展性 事務處理 分布式文件系統(tǒng)
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 目錄9-12
• 圖錄12-14
• 表錄14-15
• 第一章 緒論15-19
• 1.1 研究背景15-16
• 1.2 研究領域的現(xiàn)狀16-17
• 1.3 研究內容及意義17-18
• 1.4 論文結構18-19
• 第二章 典型分布式文件系統(tǒng)的介紹19-29
• 2.1 NFS19-22
• 2.2 Google File System22-24
• 2.3 GlusterFS24-26
• 2.4 Ceph26-28
• 2.5 本章小結28-29
• 第三章 碧海文件系統(tǒng)的介紹29-43
• 3.1 元數(shù)據(jù)節(jié)點的元數(shù)據(jù)存儲機制介紹29-31
• 3.2 元數(shù)據(jù)節(jié)點的集群監(jiān)控和負載均衡機制介紹31-32
• 3.3 元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息持久化機制介紹32-33
• 3.4 元數(shù)據(jù)節(jié)點的租約機制介紹33-34
• 3.5 數(shù)據(jù)節(jié)點的總體架構介紹34-36
• 3.6 客戶端與數(shù)據(jù)節(jié)點的交互介紹36-39
• 3.7 異步框架介紹39-42
• 3.8 本章小結42-43
• 第四章 分布式元數(shù)據(jù)節(jié)點的改進方案43-86
• 4.1 改進方案的總體分析43-47
• 4.1.1 分割方案的探討與選擇43-44
• 4.1.2 分布式元數(shù)據(jù)節(jié)點的架構44-46
• 4.1.3 子樹分割46-47
• 4.2 監(jiān)控協(xié)議的設計分析47-62
• 4.2.1 監(jiān)控節(jié)點層的架構47-48
• 4.2.2 Paxos 算法的介紹與簡化48-52
• 4.2.3 狀態(tài)信息表和監(jiān)控協(xié)議52-56
• 4.2.4 監(jiān)控協(xié)議實現(xiàn)中的工程問題56-57
• 4.2.5 監(jiān)控協(xié)議的性質分析57-59
• 4.2.6 子樹信息表和子樹界限路徑表59-61
• 4.2.7 元數(shù)據(jù)節(jié)點的啟動和退休流程61-62
• 4.3 監(jiān)控協(xié)議的實現(xiàn)方案62-67
• 4.3.1 監(jiān)控協(xié)議的總體實現(xiàn)框架62-63
• 4.3.2 監(jiān)控協(xié)議線程模塊的具體介紹63-65
• 4.3.3 監(jiān)控協(xié)議所涉及的其他相關模塊的具體介紹65-67
• 4.4 分布式事務的設計分析67-79
• 4.4.1 碧海文件系統(tǒng)的事務特性分析68-70
• 4.4.2 事務的具體流程和高性能處理框架70-75
• 4.4.3 數(shù)據(jù)節(jié)點的匯報協(xié)議75-77
• 4.4.4 客戶端的查詢優(yōu)化77-79
• 4.5 分布式事務的實現(xiàn)方案79-85
• 4.5.1 分布式事務的總體實現(xiàn)框架79-80
• 4.5.2 事務處理線程模塊的具體介紹80-81
• 4.5.3 分布式事務所涉及的其他相關模塊的具體介紹81-82
• 4.5.4 數(shù)據(jù)節(jié)點和客戶端主要模塊的介紹82-85
• 4.6 本章小結85-86
• 第五章 系統(tǒng)的評估與驗證86-101
• 5.1 評估和驗證的目的與環(huán)境86-87
• 5.2 分布式事務的執(zhí)行效果驗證87-93
• 5.2.1 正常狀態(tài)下分布式事務效果的驗證方案87-90
• 5.2.2 異常狀態(tài)下分布式事務效果的驗證方案90-91
• 5.2.3 分布式事務驗證實驗的結果匯總與分析91-93
• 5.3 監(jiān)控協(xié)議的執(zhí)行效果驗證93-98
• 5.3.1 正常狀態(tài)下監(jiān)控協(xié)議效果的驗證方案93-94
• 5.3.2 異常狀態(tài)下監(jiān)控協(xié)議效果的驗證方案94-95
• 5.3.3 監(jiān)控協(xié)議驗證實驗的結果匯總與分析95-98
• 5.4 系統(tǒng)擴展性的評估98-100
• 5.4.1 系統(tǒng)擴展性的評估方案98-99
• 5.4.2 系統(tǒng)擴展性評估結果的分析99-100
• 5.5 本章小結100-101
• 第六章 總結與展望101-103
• 6.1 本文總結101
• 6.2 不足與展望101-103
• 致謝103-104
• 參考文獻104-108
• 攻讀碩士學位期間已發(fā)表或錄用的論文108

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 ;2011年世界建筑節(jié)[J];世界建筑;2011年12期

2 付長冬,舒繼武,沈美明,鄭緯民;網(wǎng)絡存儲體系結構的發(fā)展和研究[J];小型微型計算機系統(tǒng);2004年04期

本文編號：838857