隨著計(jì)算機(jī)與移動(dòng)互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展,我們已經(jīng)進(jìn)入了一個(gè)數(shù)據(jù)量呈爆炸性增長(zhǎng)的年代。像社交網(wǎng)絡(luò)、電商交易、互聯(lián)網(wǎng)金融和生物健康這些行業(yè)在社會(huì)活動(dòng)中正源源不斷地產(chǎn)生大量的、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)資源。人們希望能夠從這些大量的、且與用戶行為密切相關(guān)的數(shù)據(jù)資源中得到有用的信息,從而改善人們的生活方式,提升生活品質(zhì)。在如此強(qiáng)烈的市場(chǎng)需求下,Hadoop作為一種先進(jìn)的大數(shù)據(jù)處理工具越來(lái)越受到學(xué)者的關(guān)注,已經(jīng)逐漸被應(yīng)用于各個(gè)領(lǐng)域,幫助企業(yè)完成各類的大數(shù)據(jù)處理需求。然而,大多數(shù)平臺(tái)節(jié)點(diǎn)都是廉價(jià)的機(jī)器,隨著平臺(tái)規(guī)模的增長(zhǎng),如何高效的管理與維護(hù)平臺(tái),保證平臺(tái)穩(wěn)定高效地工作已經(jīng)成為眾多用戶和學(xué)者所面臨的一個(gè)大問(wèn)題。所以Hadoop的監(jiān)控和優(yōu)化也逐漸成為了眾多學(xué)者和用戶研究的熱門之一。本文首先介紹了Hadoop的基本概念,對(duì)當(dāng)前主要的分布式監(jiān)控系統(tǒng)以及監(jiān)控技術(shù)進(jìn)行了概述,詳細(xì)介紹了分布式計(jì)算平臺(tái)監(jiān)控系統(tǒng)的功能需求,架構(gòu)設(shè)計(jì)以及關(guān)鍵技術(shù)核心。然后從不同角度分析了優(yōu)化Hadoop平臺(tái)的方法,詳細(xì)介紹了Hadoop配置參數(shù)優(yōu)化方法。主要內(nèi)容包括:針對(duì)單一監(jiān)控工具無(wú)法滿足監(jiān)控需求的問(wèn)題,本文在Nagios監(jiān)控工具的基礎(chǔ)上,使... 

【文章來(lái)源】：長(zhǎng)江大學(xué)湖北省

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

localhost的流量配置內(nèi)容Figure3-5trafficconfigurationcontentoflocalhost

第3章Hadoop平臺(tái)的監(jiān)控系統(tǒng)27圖3-6Hadoop平臺(tái)的監(jiān)控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1節(jié)點(diǎn)監(jiān)控，圖3-7是hadoop1在執(zhí)行pingbaidu.com命令時(shí)，監(jiān)控對(duì)象的監(jiān)控?cái)?shù)據(jù)及狀態(tài)（流量為報(bào)警狀態(tài)WARNING，其余服務(wù)器監(jiān)控指標(biāo)狀態(tài)為OK）；圖3-8是取消ping命令且關(guān)閉部分進(jìn)程時(shí)，流量報(bào)警解除的監(jiān)控界面（服務(wù)器監(jiān)控指標(biāo)狀態(tài)為OK）；據(jù)此可知每個(gè)監(jiān)控指標(biāo)的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，還可得出每個(gè)節(jié)點(diǎn)資源的利用率。圖3-7hadoop1節(jié)點(diǎn)的監(jiān)控界面1Figure3-7monitoringinterface1ofHadoop1node圖3-8hadoop1節(jié)點(diǎn)的監(jiān)控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可視化結(jié)果圖3-9展示了在一段時(shí)間內(nèi)，每個(gè)監(jiān)控對(duì)象的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000對(duì)應(yīng)圖3-5所設(shè)置的平均帶寬門限閾值；據(jù)此可分析出現(xiàn)異常狀態(tài)的原因，預(yù)測(cè)監(jiān)控對(duì)象未來(lái)的工作狀態(tài)，及時(shí)預(yù)防異常狀態(tài)的發(fā)生，更好的管理平臺(tái)。

第3章Hadoop平臺(tái)的監(jiān)控系統(tǒng)27圖3-6Hadoop平臺(tái)的監(jiān)控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1節(jié)點(diǎn)監(jiān)控，圖3-7是hadoop1在執(zhí)行pingbaidu.com命令時(shí)，監(jiān)控對(duì)象的監(jiān)控?cái)?shù)據(jù)及狀態(tài)（流量為報(bào)警狀態(tài)WARNING，其余服務(wù)器監(jiān)控指標(biāo)狀態(tài)為OK）；圖3-8是取消ping命令且關(guān)閉部分進(jìn)程時(shí)，流量報(bào)警解除的監(jiān)控界面（服務(wù)器監(jiān)控指標(biāo)狀態(tài)為OK）；據(jù)此可知每個(gè)監(jiān)控指標(biāo)的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，還可得出每個(gè)節(jié)點(diǎn)資源的利用率。圖3-7hadoop1節(jié)點(diǎn)的監(jiān)控界面1Figure3-7monitoringinterface1ofHadoop1node圖3-8hadoop1節(jié)點(diǎn)的監(jiān)控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可視化結(jié)果圖3-9展示了在一段時(shí)間內(nèi)，每個(gè)監(jiān)控對(duì)象的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000對(duì)應(yīng)圖3-5所設(shè)置的平均帶寬門限閾值；據(jù)此可分析出現(xiàn)異常狀態(tài)的原因，預(yù)測(cè)監(jiān)控對(duì)象未來(lái)的工作狀態(tài)，及時(shí)預(yù)防異常狀態(tài)的發(fā)生，更好的管理平臺(tái)。

【參考文獻(xiàn)】：
期刊論文
[1]文本情感分析方法對(duì)比研究[J]. 丁森華,邵佳慧,李春艷,楊枝蕊.  廣播電視信息. 2020(04)
[2]基于JMX技術(shù)的分布式工作流系統(tǒng)的研究與實(shí)現(xiàn)[J]. 吳占鋒.  江西科學(xué). 2019(05)
[3]使用Zabbix監(jiān)控服務(wù)器[J]. 郭建偉.  網(wǎng)絡(luò)安全和信息化. 2019(07)
[4]HBase數(shù)據(jù)庫(kù)模式設(shè)計(jì)準(zhǔn)則[J]. 袁曉東.  微型電腦應(yīng)用. 2018(10)
[5]基于Nagios和Cacti的集中運(yùn)維監(jiān)控系統(tǒng)的研究[J]. 張鵬.  現(xiàn)代信息科技. 2018(06)
[6]MRTG架構(gòu)下的校園網(wǎng)絡(luò)監(jiān)控平臺(tái)的應(yīng)用[J]. 廖國(guó)平.  電子技術(shù)與軟件工程. 2017(22)
[7]大數(shù)據(jù)下教務(wù)管理數(shù)據(jù)分析系統(tǒng)的研究與設(shè)計(jì)[J]. 何思橋.  數(shù)字技術(shù)與應(yīng)用. 2017(11)
[8]基于Ambari的Hadoop集群部署實(shí)驗(yàn)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 唐磊.  信息記錄材料. 2017(11)
[9]基于Matlab的遺傳算法在結(jié)構(gòu)優(yōu)化設(shè)計(jì)中的應(yīng)用[J]. 吳立華,白潔,左亞軍,譚國(guó)所,劉永福,李克天.  機(jī)電工程技術(shù). 2017(10)
[10]基于HDFS的煤炭企業(yè)云存儲(chǔ)平臺(tái)設(shè)計(jì)[J]. 譚冬平.  煤炭技術(shù). 2017(09)

碩士論文
[1]基于Zabbix的云監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王富康.西安電子科技大學(xué) 2019
[2]網(wǎng)站異常變化監(jiān)測(cè)系統(tǒng)的研究與實(shí)現(xiàn)[D]. 吳陽(yáng).遼寧大學(xué) 2017
[3]Hadoop環(huán)境下近似概念格的并行構(gòu)造算法研究[D]. 譚富林.昆明理工大學(xué) 2017
[4]Hadoop數(shù)據(jù)分析平臺(tái)性能監(jiān)控與分析[D]. 凌艷.北京郵電大學(xué) 2017
[5]面向車載信息的大規(guī)模數(shù)據(jù)處理平臺(tái)技術(shù)研究[D]. 張杰.電子科技大學(xué) 2016
[6]基于機(jī)器學(xué)習(xí)的Hadoop參數(shù)調(diào)優(yōu)方法[D]. 童穎.華中科技大學(xué) 2016
[7]基于Hadoop平臺(tái)的冠字號(hào)查詢系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[D]. 黃偉洲.華南理工大學(xué) 2016
[8]基于規(guī)則引擎Drools的企業(yè)營(yíng)銷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張樂(lè).東南大學(xué) 2016
[9]基于Hadoop的MapReduce計(jì)算模型優(yōu)化與應(yīng)用研究[D]. 李張永.武漢科技大學(xué) 2015
[10]Hadoop集群實(shí)時(shí)性能監(jiān)控及I/O性能優(yōu)化研究[D]. 朱喬.湖南大學(xué) 2015



本文編號(hào)：3432239