發(fā)布時間：2021-02-22 17:53

　　隨著企業(yè)規(guī)模的不斷壯大以及計算機技術(shù)的發(fā)展,不少企業(yè)建立了自己的數(shù)據(jù)中心來運行各種業(yè)務(wù)系統(tǒng)。這些業(yè)務(wù)系統(tǒng)和服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲等設(shè)備日常產(chǎn)生的日志是一個非常大的數(shù)字。如何快速有效的分析處理這些海量日志成為企業(yè)和院校的重要研究課題。國內(nèi)外不少企業(yè)都研究出了適合自己企業(yè)的大數(shù)據(jù)日志分析系統(tǒng)并得到了很好的應(yīng)用,開源日志分析系統(tǒng)比如Facebook的Scribe、Apache的Chukwa等,商業(yè)日志分析系統(tǒng)如Splunk公司的Splunk等。目前市場上的日志系統(tǒng)大都存在一些問題,如功能不全不適合公司的實際環(huán)境、對開發(fā)人員的技術(shù)水平要求高、不容易使用等。為了解決這些問題,本文設(shè)計和實現(xiàn)了一個基于Hadoop的日志大數(shù)據(jù)分析系統(tǒng),該系統(tǒng)運行在分布式存儲和計算框架上,具備了高效分析海量日志的能力,同時具有功能強大、配置簡便、容易使用等特點。本文研究工作的關(guān)鍵點包括:1、設(shè)計并實現(xiàn)日志聚類分析算法,大大提高了日志處理效率。在系統(tǒng)記錄的日志信息中,有價值的日志信息約占所有日志的20%不到。通過Logcluster日志聚類分析算法可以排除日志信息中的一般信息,減少不必要的計算。2、實現(xiàn)故障預(yù)測,較為準... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖2-1日志系統(tǒng)功能用例圖

第三章日志分析系統(tǒng)的設(shè)計133.2.3交換機和防火墻日志的收集交換機的日志收集比較簡單，直接設(shè)置好日志接收服務(wù)器就可以了。需要配置的地方如下：info-centerloghost192.168.0.69//日志服務(wù)器地址info-centerenable//啟動日志發(fā)送info-centerloghostsourceVlanif205//指定日志發(fā)送源接口為邏輯口info-centersourcedefaultchannel2logleveldebugging//發(fā)送所有級別的日志同樣防火墻配置好日志服務(wù)器地址和收集的日志類型。如圖3-2所示：圖3-2防火墻收集日志配置圖3.2.4日志接收服務(wù)器的配置日志接收服務(wù)器同樣采用Rsyslog。1）開啟UDP端口和運行服務(wù)器，修改配置文件rsyslog.conf，加入如下代碼：

第四章日志分析系統(tǒng)的實現(xiàn)372）對業(yè)務(wù)指標和機器指標進行關(guān)聯(lián)異常檢測，可以確定系統(tǒng)發(fā)生明顯異常的時間點。然后根據(jù)數(shù)量產(chǎn)生異常的日志類型，可以對異常行為進行初步分析判斷。在本場景中，兩個時間點9點多和14點多都發(fā)現(xiàn)了應(yīng)用響應(yīng)時間以及CPU使用率發(fā)生異常，在這個時間點，可以發(fā)現(xiàn)對應(yīng)的日志模板也發(fā)生異常，如圖4-2所示：圖4-2CPU使用率異常3）異常時段特征變量分布對比。單從日志的數(shù)量上，不能準確發(fā)現(xiàn)異常，以及解釋異常發(fā)生的真實原因。對比正常時段與異常時段的特征變量分布情況，可以幫助我們定位到故障及發(fā)生的原因。系統(tǒng)將日常訓練時產(chǎn)生的日志各類變量分布和異常時間段產(chǎn)生的同類型日志變量分布自動做出對比。4）結(jié)合日志摘要，最終確認問題。通過上面智能分析給出的結(jié)果可以發(fā)現(xiàn)4號、6號和7號變量存在明顯異常，結(jié)合日志摘要，就可以確定異常日志為“[應(yīng)用程序]：云桌面組件，來源[perflib]，返回值[700]，返回信息[組件同步錯誤]”經(jīng)云桌面系統(tǒng)管理員查詢錯誤代碼庫，“返回值[700]，返回信息[組件同步錯誤]”問題為同步所使用的通信端口不可用，原因為網(wǎng)絡(luò)管理員調(diào)整了防火墻，關(guān)閉了同步使用端口。重新允許該端口訪問后問題解決。至此一個快速定位問題的流程結(jié)束。

【參考文獻】：
期刊論文
[1]云存儲系統(tǒng)的分析與應(yīng)用研究[J]. 唐箭.  電腦知識與技術(shù). 2009(20)
[2]讓服務(wù)成為客戶選擇的理由 西門子醫(yī)療業(yè)內(nèi)首家實現(xiàn)“前瞻式服務(wù)理念”[J]. 聞宜.  中國醫(yī)療器械信息. 2008(12)

博士論文
[1]基于日志的數(shù)據(jù)中心內(nèi)性能事件管理[D]. 張圣林.清華大學 2017
[2]數(shù)據(jù)挖掘中的聚類方法及其應(yīng)用[D]. 殷瑞飛.廈門大學 2008

碩士論文
[1]信息管理系統(tǒng)日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 萬欣隴.山東大學 2017
[2]云計算環(huán)境下實時日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 張之宣.浙江大學 2016
[3]HADOOP作業(yè)啟動性能優(yōu)化實踐[D]. 王謙.北京交通大學 2012
[4]基于Hadoop的日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 宋愛青.中國地質(zhì)大學(北京) 2012



本文編號：3046351