本文關(guān)鍵詞：海量數(shù)據(jù)存儲系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： GFS 海量數(shù)據(jù) 存儲 節(jié)點選擇 負載計算

【摘要】：互聯(lián)網(wǎng)技術(shù)日益發(fā)達，網(wǎng)絡(luò)上的數(shù)據(jù)量呈爆炸式增長，海量數(shù)據(jù)的管理和維護，對企業(yè)和個人來說，都面臨著巨大的困難，不僅成本高昂，而且在海量數(shù)據(jù)存取的可靠性和可用性方面也都存在著巨大的問題。Google公司提出的GFS文件系統(tǒng)，最早給出了完整有效的海量數(shù)據(jù)存儲理論框架，并面向大型分布式數(shù)據(jù)密集型應(yīng)用，建立以大量異構(gòu)的存儲機器為基礎(chǔ)的集群，實現(xiàn)海量數(shù)據(jù)的存儲和讀取的高性能服務(wù)，并提供良好的系統(tǒng)容錯性。 本文是以Google的GFS文件系統(tǒng)理論為基礎(chǔ)，結(jié)合海量數(shù)據(jù)存儲的特點以及存儲的高可靠性，并針對數(shù)據(jù)存儲節(jié)點的異構(gòu)性，提出基于機器存儲性能和數(shù)據(jù)塊訪問次數(shù)等因素的負載計算模型，，并給出了數(shù)據(jù)存儲節(jié)點選擇優(yōu)化策略、數(shù)據(jù)讀取節(jié)點選擇優(yōu)化策略以及負載均衡節(jié)點選擇優(yōu)化策略，同時將優(yōu)化策略和默認策略進行性能上的對比。 論文在詳細分析海量數(shù)據(jù)存儲理論、方法、技術(shù)的基礎(chǔ)上，對系統(tǒng)的整體結(jié)構(gòu)進行設(shè)計，細分系統(tǒng)各個部分的功能，給出存儲系統(tǒng)的功能設(shè)計，并實現(xiàn)了包括數(shù)據(jù)存儲功能、集群節(jié)點管理功能以及節(jié)點優(yōu)化選擇功能在內(nèi)的海量數(shù)據(jù)存儲系統(tǒng)軟件，最后進行了系統(tǒng)測試。 論文實現(xiàn)的系統(tǒng)能夠有效完成海量數(shù)據(jù)的基本存儲功能，并提供了一定的容錯性，系統(tǒng)的讀寫性能表現(xiàn)良好，基于基本存儲服務(wù)所提出的節(jié)點優(yōu)化選擇策略，在系統(tǒng)負載均衡性方面比默認策略更均衡，并且能夠在一定程度上提升海量數(shù)據(jù)的讀寫速度。
【關(guān)鍵詞】：GFS 海量數(shù)據(jù) 存儲 節(jié)點選擇 負載計算
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-14
• 1.1 課題來源及研究的目的和意義8
• 1.1.1 課題來源8
• 1.1.2 課題的研究目的及意義8
• 1.2 與課題相關(guān)的國內(nèi)外研究現(xiàn)狀8-12
• 1.2.1 分布式存儲研究現(xiàn)狀9-10
• 1.2.2 海量數(shù)據(jù)存儲的研究現(xiàn)狀10-12
• 1.3 本文研究內(nèi)容及章節(jié)安排12-14
• 第2章 海量數(shù)據(jù)存儲系統(tǒng)需求分析14-24
• 2.1 總體需求14-15
• 2.2 用例分析15-20
• 2.2.1 用戶側(cè)用例分析15-17
• 2.2.2 管理員側(cè)用例分析17-20
• 2.3 功能性需求20-22
• 2.3.1 文件組織管理20-21
• 2.3.2 數(shù)據(jù)塊存儲管理21
• 2.3.3 數(shù)據(jù)節(jié)點選擇策略21-22
• 2.4 非功能性需求22-23
• 2.4.1 性能需求22
• 2.4.2 可擴展性22-23
• 2.4.3 數(shù)據(jù)完整性23
• 2.5 本章小結(jié)23-24
• 第3章 海量數(shù)據(jù)存儲系統(tǒng)的設(shè)計24-55
• 3.1 系統(tǒng)結(jié)構(gòu)24-25
• 3.2 系統(tǒng)功能25-47
• 3.2.1 客戶端功能模塊25-29
• 3.2.2 主節(jié)點功能模塊29-38
• 3.2.3 數(shù)據(jù)節(jié)點功能模塊38-47
• 3.3 節(jié)點選擇策略47-54
• 3.3.1 節(jié)點存儲性能計算47-50
• 3.3.2 節(jié)點存儲負載計算50-52
• 3.3.3 數(shù)據(jù)節(jié)點選擇策略設(shè)計52-54
• 3.4 本章小結(jié)54-55
• 第4章 海量數(shù)據(jù)存儲系統(tǒng)的實現(xiàn)55-77
• 4.1 數(shù)據(jù)讀取55-60
• 4.1.1 操作接口55-57
• 4.1.2 讀取功能內(nèi)部實現(xiàn)57-59
• 4.1.3 數(shù)據(jù)讀取節(jié)點選擇策略59-60
• 4.2 數(shù)據(jù)寫入60-68
• 4.2.1 操作接口61-62
• 4.2.2 數(shù)據(jù)寫入功能內(nèi)部實現(xiàn)62-66
• 4.2.3 數(shù)據(jù)寫入節(jié)點選擇策略66-68
• 4.3 節(jié)點管理68-75
• 4.3.1 負載均衡功能68-71
• 4.3.2 指令執(zhí)行功能71-73
• 4.3.3 數(shù)據(jù)塊掃描功能73-74
• 4.3.4 數(shù)據(jù)節(jié)點信息處理功能74-75
• 4.4 本章小結(jié)75-77
• 第5章 海量數(shù)據(jù)存儲系統(tǒng)的測試77-86
• 5.1 測試環(huán)境說明77
• 5.2 功能性測試77-81
• 5.3 非功能性測試81-85
• 5.3.1 性能測試81-85
• 5.5 本章小結(jié)85-86
• 結(jié)論86-87
• 參考文獻87-92
• 致謝92

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 魏青松;盧顯良;周旭;;FastQueue:一種高性能的磁盤隊列存儲管理機制[J];計算機科學(xué);2003年10期

本文編號：974351