發(fā)布時間：2021-11-17 11:04

　　近年來云計算飛速發(fā)展，分布式集群系統(tǒng)也被廣泛應(yīng)用，發(fā)展云計算技術(shù)已經(jīng)成為國家搶占經(jīng)濟和科技發(fā)展制高點的核心戰(zhàn)略選擇，研究和發(fā)展云計算技術(shù)、將原有信息化建設(shè)基礎(chǔ)設(shè)施向云計算平臺遷移，是未來十年政府信息化建設(shè)的主流方向，Hadoop集群成為IT界眾多大公司的應(yīng)用熱點之一。由于Hadoop集群是由眾多計算機組成的集群這一特點，對于該計算機集群的監(jiān)控、管理就成為了一大難點。為了能及時發(fā)現(xiàn)集群中的問題，較短的時間內(nèi)采取相應(yīng)的措施，Hadoop集群管理員需要不停地采集性能數(shù)據(jù)，分析各個節(jié)點的狀態(tài)，并準(zhǔn)確發(fā)現(xiàn)節(jié)點上出了什么問題，這就需要Hadoop集群監(jiān)控系統(tǒng)來進行輔助。而Hadoop集群如此大的數(shù)據(jù)量，監(jiān)控數(shù)據(jù)的存儲也會成為一大問題，這就需要對分布式系統(tǒng)和非關(guān)系型數(shù)據(jù)庫進行研究和結(jié)合，來處理這個問題。本文主要設(shè)計并完成開發(fā)Hadoop集群監(jiān)控系統(tǒng)，該監(jiān)控系統(tǒng)對Hadoop集群系統(tǒng)中節(jié)點進行性能監(jiān)控、分布式文件系統(tǒng)監(jiān)控以及作業(yè)任務(wù)監(jiān)控，為了方便Hadoop集群管理員對集群中的節(jié)點進行實時管理，系統(tǒng)將會在web頁面上實時展現(xiàn)相關(guān)監(jiān)控信息。監(jiān)控系統(tǒng)將運用Cacti開源集群監(jiān)控工具對節(jié)點性能進行采集�，F(xiàn)有... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

基于云平臺的數(shù)據(jù)挖掘基礎(chǔ)結(jié)構(gòu)

J2EE架構(gòu)圖

HDFS總體結(jié)構(gòu)示意圖

【參考文獻】：
期刊論文
[1]分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J]. 許春玲,張廣泉.  蘇州大學(xué)學(xué)報(工科版). 2010(04)
[2]基于Struts框架的Web應(yīng)用開發(fā)技術(shù)研究[J]. 郭廣軍,羊四清,戴經(jīng)國,劉永逸.  計算機應(yīng)用與軟件. 2007(09)
[3]關(guān)系數(shù)據(jù)庫查詢優(yōu)化方法研究[J]. 谷震離.  微計算機信息. 2006(15)
[4]高可用性集群數(shù)據(jù)庫服務(wù)器研究與實現(xiàn)[J]. 閆斌,徐紅兵,周小佳,洪波.  計算機應(yīng)用研究. 2005(12)
[5]基于讀寫特征的分布式互斥算法[J]. 劉丹,劉心松,丘志杰,邱元杰.  電子學(xué)報. 2004(02)
[6]J2EE平臺上MVC設(shè)計模式的研究與實現(xiàn)[J]. 陸榮幸,郁洲,阮永良,王志強.  計算機應(yīng)用研究. 2003(03)

碩士論文
[1]基于MongoDB的云監(jiān)控設(shè)計與應(yīng)用[D]. 蔡柳青.北京交通大學(xué) 2011
[2]云計算平臺監(jiān)控系統(tǒng)的研究與應(yīng)用[D]. 張棋勝.北京交通大學(xué) 2011
[3]面向云存儲的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D]. 趙黎斌.西安電子科技大學(xué) 2011
[4]基于JMX的監(jiān)控系統(tǒng)研究與實現(xiàn)[D]. 晏雪松.西南交通大學(xué) 2007



本文編號：3500782