隨著計算機與移動互聯(lián)網(wǎng)技術的蓬勃發(fā)展,我們已經進入了一個數(shù)據(jù)量呈爆炸性增長的年代。像社交網(wǎng)絡、電商交易、互聯(lián)網(wǎng)金融和生物健康這些行業(yè)在社會活動中正源源不斷地產生大量的、結構復雜的數(shù)據(jù)資源。人們希望能夠從這些大量的、且與用戶行為密切相關的數(shù)據(jù)資源中得到有用的信息,從而改善人們的生活方式,提升生活品質。在如此強烈的市場需求下,Hadoop作為一種先進的大數(shù)據(jù)處理工具越來越受到學者的關注,已經逐漸被應用于各個領域,幫助企業(yè)完成各類的大數(shù)據(jù)處理需求。然而,大多數(shù)平臺節(jié)點都是廉價的機器,隨著平臺規(guī)模的增長,如何高效的管理與維護平臺,保證平臺穩(wěn)定高效地工作已經成為眾多用戶和學者所面臨的一個大問題。所以Hadoop的監(jiān)控和優(yōu)化也逐漸成為了眾多學者和用戶研究的熱門之一。本文首先介紹了Hadoop的基本概念,對當前主要的分布式監(jiān)控系統(tǒng)以及監(jiān)控技術進行了概述,詳細介紹了分布式計算平臺監(jiān)控系統(tǒng)的功能需求,架構設計以及關鍵技術核心。然后從不同角度分析了優(yōu)化Hadoop平臺的方法,詳細介紹了Hadoop配置參數(shù)優(yōu)化方法。主要內容包括:針對單一監(jiān)控工具無法滿足監(jiān)控需求的問題,本文在Nagios監(jiān)控工具的基礎上,使... 

【文章來源】：長江大學湖北省

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

localhost的流量配置內容Figure3-5trafficconfigurationcontentoflocalhost

第3章Hadoop平臺的監(jiān)控系統(tǒng)27圖3-6Hadoop平臺的監(jiān)控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1節(jié)點監(jiān)控，圖3-7是hadoop1在執(zhí)行pingbaidu.com命令時，監(jiān)控對象的監(jiān)控數(shù)據(jù)及狀態(tài)（流量為報警狀態(tài)WARNING，其余服務器監(jiān)控指標狀態(tài)為OK）；圖3-8是取消ping命令且關閉部分進程時，流量報警解除的監(jiān)控界面（服務器監(jiān)控指標狀態(tài)為OK）；據(jù)此可知每個監(jiān)控指標的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，還可得出每個節(jié)點資源的利用率。圖3-7hadoop1節(jié)點的監(jiān)控界面1Figure3-7monitoringinterface1ofHadoop1node圖3-8hadoop1節(jié)點的監(jiān)控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可視化結果圖3-9展示了在一段時間內，每個監(jiān)控對象的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000對應圖3-5所設置的平均帶寬門限閾值；據(jù)此可分析出現(xiàn)異常狀態(tài)的原因，預測監(jiān)控對象未來的工作狀態(tài)，及時預防異常狀態(tài)的發(fā)生，更好的管理平臺。

第3章Hadoop平臺的監(jiān)控系統(tǒng)27圖3-6Hadoop平臺的監(jiān)控界面Figure3-6monitoringinterfaceofHadoopplatform1）hadoop1節(jié)點監(jiān)控，圖3-7是hadoop1在執(zhí)行pingbaidu.com命令時，監(jiān)控對象的監(jiān)控數(shù)據(jù)及狀態(tài)（流量為報警狀態(tài)WARNING，其余服務器監(jiān)控指標狀態(tài)為OK）；圖3-8是取消ping命令且關閉部分進程時，流量報警解除的監(jiān)控界面（服務器監(jiān)控指標狀態(tài)為OK）；據(jù)此可知每個監(jiān)控指標的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，還可得出每個節(jié)點資源的利用率。圖3-7hadoop1節(jié)點的監(jiān)控界面1Figure3-7monitoringinterface1ofHadoop1node圖3-8hadoop1節(jié)點的監(jiān)控界面2Figure3-8monitoringinterface2ofHadoop1node2）流量可視化結果圖3-9展示了在一段時間內，每個監(jiān)控對象的工作狀態(tài)為“OK”、“WARNING”或“CRITICAL”，其中，Warning100.000000和Critical200.000000對應圖3-5所設置的平均帶寬門限閾值；據(jù)此可分析出現(xiàn)異常狀態(tài)的原因，預測監(jiān)控對象未來的工作狀態(tài)，及時預防異常狀態(tài)的發(fā)生，更好的管理平臺。

【參考文獻】：
期刊論文
[1]文本情感分析方法對比研究[J]. 丁森華,邵佳慧,李春艷,楊枝蕊.  廣播電視信息. 2020(04)
[2]基于JMX技術的分布式工作流系統(tǒng)的研究與實現(xiàn)[J]. 吳占鋒.  江西科學. 2019(05)
[3]使用Zabbix監(jiān)控服務器[J]. 郭建偉.  網(wǎng)絡安全和信息化. 2019(07)
[4]HBase數(shù)據(jù)庫模式設計準則[J]. 袁曉東.  微型電腦應用. 2018(10)
[5]基于Nagios和Cacti的集中運維監(jiān)控系統(tǒng)的研究[J]. 張鵬.  現(xiàn)代信息科技. 2018(06)
[6]MRTG架構下的校園網(wǎng)絡監(jiān)控平臺的應用[J]. 廖國平.  電子技術與軟件工程. 2017(22)
[7]大數(shù)據(jù)下教務管理數(shù)據(jù)分析系統(tǒng)的研究與設計[J]. 何思橋.  數(shù)字技術與應用. 2017(11)
[8]基于Ambari的Hadoop集群部署實驗的設計與實現(xiàn)[J]. 唐磊.  信息記錄材料. 2017(11)
[9]基于Matlab的遺傳算法在結構優(yōu)化設計中的應用[J]. 吳立華,白潔,左亞軍,譚國所,劉永福,李克天.  機電工程技術. 2017(10)
[10]基于HDFS的煤炭企業(yè)云存儲平臺設計[J]. 譚冬平.  煤炭技術. 2017(09)

碩士論文
[1]基于Zabbix的云監(jiān)控系統(tǒng)的設計與實現(xiàn)[D]. 王富康.西安電子科技大學 2019
[2]網(wǎng)站異常變化監(jiān)測系統(tǒng)的研究與實現(xiàn)[D]. 吳陽.遼寧大學 2017
[3]Hadoop環(huán)境下近似概念格的并行構造算法研究[D]. 譚富林.昆明理工大學 2017
[4]Hadoop數(shù)據(jù)分析平臺性能監(jiān)控與分析[D]. 凌艷.北京郵電大學 2017
[5]面向車載信息的大規(guī)模數(shù)據(jù)處理平臺技術研究[D]. 張杰.電子科技大學 2016
[6]基于機器學習的Hadoop參數(shù)調優(yōu)方法[D]. 童穎.華中科技大學 2016
[7]基于Hadoop平臺的冠字號查詢系統(tǒng)設計及實現(xiàn)[D]. 黃偉洲.華南理工大學 2016
[8]基于規(guī)則引擎Drools的企業(yè)營銷系統(tǒng)的設計與實現(xiàn)[D]. 張樂.東南大學 2016
[9]基于Hadoop的MapReduce計算模型優(yōu)化與應用研究[D]. 李張永.武漢科技大學 2015
[10]Hadoop集群實時性能監(jiān)控及I/O性能優(yōu)化研究[D]. 朱喬.湖南大學 2015



本文編號：3432239