隨著企業(yè)規(guī)模的不斷壯大以及計(jì)算機(jī)技術(shù)的發(fā)展,不少企業(yè)建立了自己的數(shù)據(jù)中心來(lái)運(yùn)行各種業(yè)務(wù)系統(tǒng)。這些業(yè)務(wù)系統(tǒng)和服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)等設(shè)備日常產(chǎn)生的日志是一個(gè)非常大的數(shù)字。如何快速有效的分析處理這些海量日志成為企業(yè)和院校的重要研究課題。國(guó)內(nèi)外不少企業(yè)都研究出了適合自己企業(yè)的大數(shù)據(jù)日志分析系統(tǒng)并得到了很好的應(yīng)用,開(kāi)源日志分析系統(tǒng)比如Facebook的Scribe、Apache的Chukwa等,商業(yè)日志分析系統(tǒng)如Splunk公司的Splunk等。目前市場(chǎng)上的日志系統(tǒng)大都存在一些問(wèn)題,如功能不全不適合公司的實(shí)際環(huán)境、對(duì)開(kāi)發(fā)人員的技術(shù)水平要求高、不容易使用等。為了解決這些問(wèn)題,本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于Hadoop的日志大數(shù)據(jù)分析系統(tǒng),該系統(tǒng)運(yùn)行在分布式存儲(chǔ)和計(jì)算框架上,具備了高效分析海量日志的能力,同時(shí)具有功能強(qiáng)大、配置簡(jiǎn)便、容易使用等特點(diǎn)。本文研究工作的關(guān)鍵點(diǎn)包括:1、設(shè)計(jì)并實(shí)現(xiàn)日志聚類(lèi)分析算法,大大提高了日志處理效率。在系統(tǒng)記錄的日志信息中,有價(jià)值的日志信息約占所有日志的20%不到。通過(guò)Logcluster日志聚類(lèi)分析算法可以排除日志信息中的一般信息,減少不必要的計(jì)算。2、實(shí)現(xiàn)故障預(yù)測(cè),較為準(zhǔn)... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1日志系統(tǒng)功能用例圖

第三章日志分析系統(tǒng)的設(shè)計(jì)133.2.3交換機(jī)和防火墻日志的收集交換機(jī)的日志收集比較簡(jiǎn)單，直接設(shè)置好日志接收服務(wù)器就可以了。需要配置的地方如下：info-centerloghost192.168.0.69//日志服務(wù)器地址info-centerenable//啟動(dòng)日志發(fā)送info-centerloghostsourceVlanif205//指定日志發(fā)送源接口為邏輯口info-centersourcedefaultchannel2logleveldebugging//發(fā)送所有級(jí)別的日志同樣防火墻配置好日志服務(wù)器地址和收集的日志類(lèi)型。如圖3-2所示：圖3-2防火墻收集日志配置圖3.2.4日志接收服務(wù)器的配置日志接收服務(wù)器同樣采用Rsyslog。1）開(kāi)啟UDP端口和運(yùn)行服務(wù)器，修改配置文件rsyslog.conf，加入如下代碼：

第四章日志分析系統(tǒng)的實(shí)現(xiàn)372）對(duì)業(yè)務(wù)指標(biāo)和機(jī)器指標(biāo)進(jìn)行關(guān)聯(lián)異常檢測(cè)，可以確定系統(tǒng)發(fā)生明顯異常的時(shí)間點(diǎn)。然后根據(jù)數(shù)量產(chǎn)生異常的日志類(lèi)型，可以對(duì)異常行為進(jìn)行初步分析判斷。在本場(chǎng)景中，兩個(gè)時(shí)間點(diǎn)9點(diǎn)多和14點(diǎn)多都發(fā)現(xiàn)了應(yīng)用響應(yīng)時(shí)間以及CPU使用率發(fā)生異常，在這個(gè)時(shí)間點(diǎn)，可以發(fā)現(xiàn)對(duì)應(yīng)的日志模板也發(fā)生異常，如圖4-2所示：圖4-2CPU使用率異常3）異常時(shí)段特征變量分布對(duì)比。單從日志的數(shù)量上，不能準(zhǔn)確發(fā)現(xiàn)異常，以及解釋異常發(fā)生的真實(shí)原因。對(duì)比正常時(shí)段與異常時(shí)段的特征變量分布情況，可以幫助我們定位到故障及發(fā)生的原因。系統(tǒng)將日常訓(xùn)練時(shí)產(chǎn)生的日志各類(lèi)變量分布和異常時(shí)間段產(chǎn)生的同類(lèi)型日志變量分布自動(dòng)做出對(duì)比。4）結(jié)合日志摘要，最終確認(rèn)問(wèn)題。通過(guò)上面智能分析給出的結(jié)果可以發(fā)現(xiàn)4號(hào)、6號(hào)和7號(hào)變量存在明顯異常，結(jié)合日志摘要，就可以確定異常日志為“[應(yīng)用程序]：云桌面組件，來(lái)源[perflib]，返回值[700]，返回信息[組件同步錯(cuò)誤]”經(jīng)云桌面系統(tǒng)管理員查詢(xún)錯(cuò)誤代碼庫(kù)，“返回值[700]，返回信息[組件同步錯(cuò)誤]”問(wèn)題為同步所使用的通信端口不可用，原因?yàn)榫W(wǎng)絡(luò)管理員調(diào)整了防火墻，關(guān)閉了同步使用端口。重新允許該端口訪(fǎng)問(wèn)后問(wèn)題解決。至此一個(gè)快速定位問(wèn)題的流程結(jié)束。

【參考文獻(xiàn)】：
期刊論文
[1]云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J]. 唐箭.  電腦知識(shí)與技術(shù). 2009(20)
[2]讓服務(wù)成為客戶(hù)選擇的理由 西門(mén)子醫(yī)療業(yè)內(nèi)首家實(shí)現(xiàn)“前瞻式服務(wù)理念”[J]. 聞宜.  中國(guó)醫(yī)療器械信息. 2008(12)

博士論文
[1]基于日志的數(shù)據(jù)中心內(nèi)性能事件管理[D]. 張圣林.清華大學(xué) 2017
[2]數(shù)據(jù)挖掘中的聚類(lèi)方法及其應(yīng)用[D]. 殷瑞飛.廈門(mén)大學(xué) 2008

碩士論文
[1]信息管理系統(tǒng)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 萬(wàn)欣隴.山東大學(xué) 2017
[2]云計(jì)算環(huán)境下實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張之宣.浙江大學(xué) 2016
[3]HADOOP作業(yè)啟動(dòng)性能優(yōu)化實(shí)踐[D]. 王謙.北京交通大學(xué) 2012
[4]基于Hadoop的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 宋愛(ài)青.中國(guó)地質(zhì)大學(xué)(北京) 2012



本文編號(hào)：3046351