本文關(guān)鍵詞：海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： GFS 海量數(shù)據(jù) 存儲(chǔ) 節(jié)點(diǎn)選擇 負(fù)載計(jì)算

【摘要】：互聯(lián)網(wǎng)技術(shù)日益發(fā)達(dá)，網(wǎng)絡(luò)上的數(shù)據(jù)量呈爆炸式增長(zhǎng)，海量數(shù)據(jù)的管理和維護(hù)，對(duì)企業(yè)和個(gè)人來說，都面臨著巨大的困難，不僅成本高昂，而且在海量數(shù)據(jù)存取的可靠性和可用性方面也都存在著巨大的問題。Google公司提出的GFS文件系統(tǒng)，最早給出了完整有效的海量數(shù)據(jù)存儲(chǔ)理論框架，并面向大型分布式數(shù)據(jù)密集型應(yīng)用，建立以大量異構(gòu)的存儲(chǔ)機(jī)器為基礎(chǔ)的集群，實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和讀取的高性能服務(wù)，并提供良好的系統(tǒng)容錯(cuò)性。 本文是以Google的GFS文件系統(tǒng)理論為基礎(chǔ)，結(jié)合海量數(shù)據(jù)存儲(chǔ)的特點(diǎn)以及存儲(chǔ)的高可靠性，并針對(duì)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性，提出基于機(jī)器存儲(chǔ)性能和數(shù)據(jù)塊訪問次數(shù)等因素的負(fù)載計(jì)算模型，，并給出了數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)選擇優(yōu)化策略、數(shù)據(jù)讀取節(jié)點(diǎn)選擇優(yōu)化策略以及負(fù)載均衡節(jié)點(diǎn)選擇優(yōu)化策略，同時(shí)將優(yōu)化策略和默認(rèn)策略進(jìn)行性能上的對(duì)比。 論文在詳細(xì)分析海量數(shù)據(jù)存儲(chǔ)理論、方法、技術(shù)的基礎(chǔ)上，對(duì)系統(tǒng)的整體結(jié)構(gòu)進(jìn)行設(shè)計(jì)，細(xì)分系統(tǒng)各個(gè)部分的功能，給出存儲(chǔ)系統(tǒng)的功能設(shè)計(jì)，并實(shí)現(xiàn)了包括數(shù)據(jù)存儲(chǔ)功能、集群節(jié)點(diǎn)管理功能以及節(jié)點(diǎn)優(yōu)化選擇功能在內(nèi)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)軟件，最后進(jìn)行了系統(tǒng)測(cè)試。 論文實(shí)現(xiàn)的系統(tǒng)能夠有效完成海量數(shù)據(jù)的基本存儲(chǔ)功能，并提供了一定的容錯(cuò)性，系統(tǒng)的讀寫性能表現(xiàn)良好，基于基本存儲(chǔ)服務(wù)所提出的節(jié)點(diǎn)優(yōu)化選擇策略，在系統(tǒng)負(fù)載均衡性方面比默認(rèn)策略更均衡，并且能夠在一定程度上提升海量數(shù)據(jù)的讀寫速度。
【關(guān)鍵詞】：GFS 海量數(shù)據(jù) 存儲(chǔ) 節(jié)點(diǎn)選擇 負(fù)載計(jì)算
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 第1章 緒論8-14
• 1.1 課題來源及研究的目的和意義8
• 1.1.1 課題來源8
• 1.1.2 課題的研究目的及意義8
• 1.2 與課題相關(guān)的國(guó)內(nèi)外研究現(xiàn)狀8-12
• 1.2.1 分布式存儲(chǔ)研究現(xiàn)狀9-10
• 1.2.2 海量數(shù)據(jù)存儲(chǔ)的研究現(xiàn)狀10-12
• 1.3 本文研究?jī)?nèi)容及章節(jié)安排12-14
• 第2章 海量數(shù)據(jù)存儲(chǔ)系統(tǒng)需求分析14-24
• 2.1 總體需求14-15
• 2.2 用例分析15-20
• 2.2.1 用戶側(cè)用例分析15-17
• 2.2.2 管理員側(cè)用例分析17-20
• 2.3 功能性需求20-22
• 2.3.1 文件組織管理20-21
• 2.3.2 數(shù)據(jù)塊存儲(chǔ)管理21
• 2.3.3 數(shù)據(jù)節(jié)點(diǎn)選擇策略21-22
• 2.4 非功能性需求22-23
• 2.4.1 性能需求22
• 2.4.2 可擴(kuò)展性22-23
• 2.4.3 數(shù)據(jù)完整性23
• 2.5 本章小結(jié)23-24
• 第3章 海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)24-55
• 3.1 系統(tǒng)結(jié)構(gòu)24-25
• 3.2 系統(tǒng)功能25-47
• 3.2.1 客戶端功能模塊25-29
• 3.2.2 主節(jié)點(diǎn)功能模塊29-38
• 3.2.3 數(shù)據(jù)節(jié)點(diǎn)功能模塊38-47
• 3.3 節(jié)點(diǎn)選擇策略47-54
• 3.3.1 節(jié)點(diǎn)存儲(chǔ)性能計(jì)算47-50
• 3.3.2 節(jié)點(diǎn)存儲(chǔ)負(fù)載計(jì)算50-52
• 3.3.3 數(shù)據(jù)節(jié)點(diǎn)選擇策略設(shè)計(jì)52-54
• 3.4 本章小結(jié)54-55
• 第4章 海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)55-77
• 4.1 數(shù)據(jù)讀取55-60
• 4.1.1 操作接口55-57
• 4.1.2 讀取功能內(nèi)部實(shí)現(xiàn)57-59
• 4.1.3 數(shù)據(jù)讀取節(jié)點(diǎn)選擇策略59-60
• 4.2 數(shù)據(jù)寫入60-68
• 4.2.1 操作接口61-62
• 4.2.2 數(shù)據(jù)寫入功能內(nèi)部實(shí)現(xiàn)62-66
• 4.2.3 數(shù)據(jù)寫入節(jié)點(diǎn)選擇策略66-68
• 4.3 節(jié)點(diǎn)管理68-75
• 4.3.1 負(fù)載均衡功能68-71
• 4.3.2 指令執(zhí)行功能71-73
• 4.3.3 數(shù)據(jù)塊掃描功能73-74
• 4.3.4 數(shù)據(jù)節(jié)點(diǎn)信息處理功能74-75
• 4.4 本章小結(jié)75-77
• 第5章 海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的測(cè)試77-86
• 5.1 測(cè)試環(huán)境說明77
• 5.2 功能性測(cè)試77-81
• 5.3 非功能性測(cè)試81-85
• 5.3.1 性能測(cè)試81-85
• 5.5 本章小結(jié)85-86
• 結(jié)論86-87
• 參考文獻(xiàn)87-92
• 致謝92

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 魏青松;盧顯良;周旭;;FastQueue:一種高性能的磁盤隊(duì)列存儲(chǔ)管理機(jī)制[J];計(jì)算機(jī)科學(xué);2003年10期

本文編號(hào)：974351