近年來(lái)云計(jì)算飛速發(fā)展，分布式集群系統(tǒng)也被廣泛應(yīng)用，發(fā)展云計(jì)算技術(shù)已經(jīng)成為國(guó)家搶占經(jīng)濟(jì)和科技發(fā)展制高點(diǎn)的核心戰(zhàn)略選擇，研究和發(fā)展云計(jì)算技術(shù)、將原有信息化建設(shè)基礎(chǔ)設(shè)施向云計(jì)算平臺(tái)遷移，是未來(lái)十年政府信息化建設(shè)的主流方向，Hadoop集群成為IT界眾多大公司的應(yīng)用熱點(diǎn)之一。由于Hadoop集群是由眾多計(jì)算機(jī)組成的集群這一特點(diǎn)，對(duì)于該計(jì)算機(jī)集群的監(jiān)控、管理就成為了一大難點(diǎn)。為了能及時(shí)發(fā)現(xiàn)集群中的問(wèn)題，較短的時(shí)間內(nèi)采取相應(yīng)的措施，Hadoop集群管理員需要不停地采集性能數(shù)據(jù)，分析各個(gè)節(jié)點(diǎn)的狀態(tài)，并準(zhǔn)確發(fā)現(xiàn)節(jié)點(diǎn)上出了什么問(wèn)題，這就需要Hadoop集群監(jiān)控系統(tǒng)來(lái)進(jìn)行輔助。而Hadoop集群如此大的數(shù)據(jù)量，監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)也會(huì)成為一大問(wèn)題，這就需要對(duì)分布式系統(tǒng)和非關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行研究和結(jié)合，來(lái)處理這個(gè)問(wèn)題。本文主要設(shè)計(jì)并完成開(kāi)發(fā)Hadoop集群監(jiān)控系統(tǒng)，該監(jiān)控系統(tǒng)對(duì)Hadoop集群系統(tǒng)中節(jié)點(diǎn)進(jìn)行性能監(jiān)控、分布式文件系統(tǒng)監(jiān)控以及作業(yè)任務(wù)監(jiān)控，為了方便Hadoop集群管理員對(duì)集群中的節(jié)點(diǎn)進(jìn)行實(shí)時(shí)管理，系統(tǒng)將會(huì)在web頁(yè)面上實(shí)時(shí)展現(xiàn)相關(guān)監(jiān)控信息。監(jiān)控系統(tǒng)將運(yùn)用Cacti開(kāi)源集群監(jiān)控工具對(duì)節(jié)點(diǎn)性能進(jìn)行采集。現(xiàn)有... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

基于云平臺(tái)的數(shù)據(jù)挖掘基礎(chǔ)結(jié)構(gòu)

J2EE架構(gòu)圖

HDFS總體結(jié)構(gòu)示意圖

【參考文獻(xiàn)】：
期刊論文
[1]分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J]. 許春玲,張廣泉.  蘇州大學(xué)學(xué)報(bào)(工科版). 2010(04)
[2]基于Struts框架的Web應(yīng)用開(kāi)發(fā)技術(shù)研究[J]. 郭廣軍,羊四清,戴經(jīng)國(guó),劉永逸.  計(jì)算機(jī)應(yīng)用與軟件. 2007(09)
[3]關(guān)系數(shù)據(jù)庫(kù)查詢優(yōu)化方法研究[J]. 谷震離.  微計(jì)算機(jī)信息. 2006(15)
[4]高可用性集群數(shù)據(jù)庫(kù)服務(wù)器研究與實(shí)現(xiàn)[J]. 閆斌,徐紅兵,周小佳,洪波.  計(jì)算機(jī)應(yīng)用研究. 2005(12)
[5]基于讀寫(xiě)特征的分布式互斥算法[J]. 劉丹,劉心松,丘志杰,邱元杰.  電子學(xué)報(bào). 2004(02)
[6]J2EE平臺(tái)上MVC設(shè)計(jì)模式的研究與實(shí)現(xiàn)[J]. 陸榮幸,郁洲,阮永良,王志強(qiáng).  計(jì)算機(jī)應(yīng)用研究. 2003(03)

碩士論文
[1]基于MongoDB的云監(jiān)控設(shè)計(jì)與應(yīng)用[D]. 蔡柳青.北京交通大學(xué) 2011
[2]云計(jì)算平臺(tái)監(jiān)控系統(tǒng)的研究與應(yīng)用[D]. 張棋勝.北京交通大學(xué) 2011
[3]面向云存儲(chǔ)的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D]. 趙黎斌.西安電子科技大學(xué) 2011
[4]基于JMX的監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[D]. 晏雪松.西南交通大學(xué) 2007



本文編號(hào)：3500782