本文關(guān)鍵詞：基于云架構(gòu)的存儲資源管控技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計算的大力發(fā)展,云存儲作為其基礎(chǔ)設(shè)施層面,起著至關(guān)重要的作用。在對云存儲的研究過程中,Hadoop作為一個數(shù)據(jù)存儲與分析框架,其穩(wěn)定性和高效性,廣泛地吸引著工業(yè)界和學(xué)術(shù)界的關(guān)注。它為企業(yè)應(yīng)用提供了更強(qiáng)的計算力、更廣泛的數(shù)據(jù)分布、更高的穩(wěn)定性以及更靈活的可靠性,在搜索引擎、廣告優(yōu)化、機(jī)器學(xué)習(xí)等方面被越來越多的個人和企業(yè)運(yùn)用。 作為一個開源的分布式存儲與計算框架,Hadoop以其強(qiáng)大的功能,無需付費(fèi)使用,吸引了大批的人員來進(jìn)行研究。目前針對Hadoop的操作,主要是在Linux上通過終端命令行來進(jìn)行管理和維護(hù),缺少相應(yīng)的工具,在操作過程中稍有差池,就會導(dǎo)致集群運(yùn)行出錯,而原生的Hadoop提供了基本的分布式存儲方式,對于當(dāng)前千差萬別的硬件存儲設(shè)備,它無法達(dá)到最優(yōu)的性能。目前有很多組織根據(jù)自己的集群狀況進(jìn)行優(yōu)化,如Cloudera的CHP,hortonworks的HDP等。 本文則是針對上述問題,設(shè)計并實(shí)現(xiàn)了基于云架構(gòu)的存儲資源管控系統(tǒng)。系統(tǒng)采用了Puppet作為配置同步的底層架構(gòu),Hadoop作為分布式數(shù)據(jù)存儲和處理的云架構(gòu),通過SpringMvC框架開發(fā)了一套針對該架構(gòu)的集群部署、監(jiān)控、管理和優(yōu)化系統(tǒng),提供了一鍵式集群搭建,集群節(jié)點(diǎn)動態(tài)增加與移除和集群副本調(diào)度優(yōu)化。本文的主要貢獻(xiàn)如下： 1.提出了基于云架構(gòu)的一鍵式部署框架 針對Hadoop搭建過程中的特點(diǎn),本文提出了一鍵式部署框架,該框架是主從模式,通過對其整體架構(gòu)設(shè)計以及服務(wù)端和及客戶端的設(shè)計進(jìn)行描述,從技術(shù)層面證明了集群的一鍵式部署的可行性。 2.提出了節(jié)點(diǎn)動態(tài)管理模型 集群節(jié)點(diǎn)理論上是可以無限增加的,如何對這些節(jié)點(diǎn)進(jìn)行統(tǒng)一管理是一個難點(diǎn)。本文提出了一種節(jié)點(diǎn)動態(tài)管理模型,該模型底層采用了觀察者模式,對節(jié)點(diǎn)的行為進(jìn)行監(jiān)聽,在節(jié)點(diǎn)發(fā)生變化時,能夠進(jìn)行自動更新,減少了運(yùn)維人員的操作。 3.集群優(yōu)化調(diào)度方法 分布式存儲的研究中,如何高效地利用存儲空間是個熱點(diǎn)問題。存儲集群中,每個數(shù)據(jù)節(jié)點(diǎn)存儲容量不可能完全一致,由于主節(jié)點(diǎn)選擇數(shù)據(jù)節(jié)點(diǎn)的隨機(jī)性,被選中數(shù)據(jù)節(jié)點(diǎn)磁盤可能接近滿額,此時主節(jié)點(diǎn)會自動做存儲負(fù)載均衡,占用數(shù)據(jù)傳輸帶寬,不僅影響數(shù)據(jù)傳輸?shù)男阅?而且會引起傳輸數(shù)據(jù)的不可靠。本文提出一種集群優(yōu)化調(diào)度模型：第一階段通過計算副本存儲優(yōu)選比率,采用基于貪心算法的局部優(yōu)化存儲方案,選擇存儲節(jié)點(diǎn),均衡副本放置空間；第二階段采用實(shí)時監(jiān)控存儲集群,動態(tài)調(diào)整副本放置節(jié)點(diǎn),達(dá)到存儲資源的高效利用。 存儲資源管控系統(tǒng)應(yīng)用于科技部視頻評審項(xiàng)目,簡化了用戶手動搭建Hadoop集群的步驟,摒棄了復(fù)雜的命令行管理集群的方式,借助于本系統(tǒng),能夠極大地提高用戶搭建集群的可操作性與可用性。簡潔的操作界面,便捷的操作方式,在集群的初期搭建與后期管理過程都能夠起到至關(guān)重要的作用。
【關(guān)鍵詞】：Hadoop Puppet 自動化運(yùn)維 資源管控
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要3-5
• Abstract5-7
• 目錄7-9
• 1 緒論9-14
• 1.1 課題研究背景及意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-12
• 1.2.1 Hadoop國內(nèi)外研究現(xiàn)狀10-11
• 1.2.2 自動化運(yùn)維國內(nèi)外研究11
• 1.2.3 對比分析11-12
• 1.3 研究目標(biāo)和研究內(nèi)容12-13
• 1.3.1 研究目標(biāo)12
• 1.3.2 研究內(nèi)容12-13
• 1.4 論文組織結(jié)構(gòu)13
• 1.5 本章小結(jié)13-14
• 2 課題相關(guān)技術(shù)概述14-23
• 2.1 計算的基礎(chǔ)概念14
• 2.2 Hadoop的基礎(chǔ)概念14-17
• 2.2.1 Hadoop版本介紹14-16
• 2.2.2 Hadoop分布式文件系統(tǒng)介紹16-17
• 2.3 運(yùn)維相關(guān)技術(shù)研究17-22
• 2.3.1 Puppet介紹18-20
• 2.3.2 Ambari介紹20-22
• 2.4 本章小結(jié)22-23
• 3 存儲資源管控技術(shù)原理23-32
• 3.1 一鍵式部署框架23-26
• 3.1.1 一鍵式部署框架架構(gòu)設(shè)計23-24
• 3.1.2 一鍵式部署框架行為模式24-25
• 3.1.3 一鍵式部署框架執(zhí)行流程25-26
• 3.2 節(jié)點(diǎn)動態(tài)管理模型26-29
• 3.2.1 節(jié)點(diǎn)動態(tài)管理模型設(shè)計26-27
• 3.2.2 節(jié)點(diǎn)動態(tài)管理模型執(zhí)行流程27-29
• 3.3 集群優(yōu)化調(diào)度方法29-31
• 3.3.1. 集群優(yōu)化調(diào)度方法架構(gòu)設(shè)計29-30
• 3.3.2 集群優(yōu)化調(diào)度模型算法30-31
• 3.4 本章小結(jié)31-32
• 4 存儲資源管控系統(tǒng)的設(shè)計與實(shí)現(xiàn)32-46
• 4.1 存儲資源管控系統(tǒng)分析與設(shè)計32-34
• 4.1.1 系統(tǒng)總體功能分析32
• 4.1.2 系統(tǒng)總體設(shè)計方案32-34
• 4.2 存儲資源管控系統(tǒng)的實(shí)現(xiàn)34-45
• 4.2.1 集群部署模塊實(shí)現(xiàn)34-36
• 4.2.2 集群監(jiān)控模塊實(shí)現(xiàn)36-39
• 4.2.3 集群管理模塊實(shí)現(xiàn)39-41
• 4.2.4 集群優(yōu)化模塊實(shí)現(xiàn)41-45
• 4.3 本章小結(jié)45-46
• 5 系統(tǒng)測試與評價46-53
• 5.1 系統(tǒng)測試概述46
• 5.2 測試范圍46
• 5.3 測試流程46-47
• 5.4 測試環(huán)境47-48
• 5.5 測試計劃48-52
• 5.5.1 測試目的48
• 5.5.2 系統(tǒng)測試48-52
• 5.6 本章小結(jié)52-53
• 6 總結(jié)與展望53-54
• 參考文獻(xiàn)54-57
• 申請學(xué)位期間的研究成果及發(fā)表的學(xué)術(shù)論文57-58
• 致謝58

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 陳康;鄭緯民;;云計算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

  本文關(guān)鍵詞：基于云架構(gòu)的存儲資源管控技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號：296694