在云計算平臺中,各模塊分步在不同的節(jié)點上,它們有些是物理服務(wù)器,有些是虛擬機,產(chǎn)生的日志數(shù)量規(guī)模巨大。眾所周知,日志數(shù)據(jù)具有很大的價值。如果把云平臺比喻成一個人的話,日志數(shù)據(jù)就像是我們?nèi)メt(yī)院體檢之后,體檢單上那五花八門的條目,它們對我們的云平臺給出診斷信息。然而,這些數(shù)據(jù)就像體檢單上醫(yī)生寫下的結(jié)論,本身晦澀難懂,研發(fā)人員平時都經(jīng)常忽視它們,更別說去挖掘它們的內(nèi)在價值了。本文針對這種情況,提出并實現(xiàn)了一個具有故障預測功能的、并且可以把結(jié)果通過頁面展示給用戶的日志管理系統(tǒng)。本系統(tǒng)涵蓋了日志采集模塊、異步通信模塊、日志處理模塊、存儲模塊以及結(jié)果展示模塊。其中最核心的兩個模塊分別為:基于flume改良的日志收集模塊和具有預測功能的日志處理模塊。日志收集模塊是全套系統(tǒng)的根基所在,其匯聚了云平臺上散落于各處的日志信息,為其他模塊提供數(shù)據(jù)來源。針對日志收集模塊在性能上的需要,本文做出了以下設(shè)計:(1)對通道進行了改進,使它可以根據(jù)數(shù)據(jù)流量的不同,靈活地選擇內(nèi)存通道或者是文件通道;(2)把hbase_sink分成三個級別,提供日志寫入Hbase服務(wù)器的效率;(3)自定義了一個Sink,滿足不同模塊對Sink的需求。(4)根據(jù)實際運行環(huán)境,對參數(shù)進行調(diào)優(yōu)。對日志處理模塊進行設(shè)計的時候,本文就如何挖掘日志信息做了一系列的研究。首先,日志數(shù)據(jù)不同于網(wǎng)購類的數(shù)據(jù),有著自己獨特的地方。因此本文定義了若干個新的概念,同時研究和提出一種類Apriori的事件關(guān)聯(lián)挖掘算法-Apriori-LTIS。為了提供系統(tǒng)處理的效率、節(jié)約資源,并進一步改進得到Apriori-simiLTIS算法。然后,提出了一個創(chuàng)新的概念ECG(event correlation graph)來表示事件相關(guān)性。最后,本文提出了一種基于ECG的故障事件預測算法,對云平臺未來可能發(fā)生的故障做出檢測。為了驗證系統(tǒng)的完整性,本文對系統(tǒng)的性能和功能方面做了詳盡的測試,并且用多組差異化的數(shù)據(jù)對提出的算法進行了實驗,從平均分析時間、精確率以及召回率等指標對實驗做出分析評價。文章最后提出系統(tǒng)設(shè)計的不理想之處,同時對將來的優(yōu)化方向進行了闡述。
【學位單位】：電子科技大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP393.09;TP311.52
【部分圖文】：

Producer：生產(chǎn)者，它的任務(wù)是往 Kafka broker 傳遞消息。 Consumer：數(shù)據(jù)的使用者，它作為客戶端，從 broker 上讀取數(shù)據(jù)。Kafka 具有以下幾個特性： 高吞吐量、低延遲：kafka 能夠一秒鐘對幾十萬條信息進行處理，且延時最低僅僅幾 ms，一個 topic 能夠分成若干個 partition 和 consumer group ，然后把partition 進行消費操作。 可擴展性：kafka 集群支持熱擴展。 持久性、可靠性：數(shù)據(jù)被永久性地保存到本地硬盤，并且可以通過拷貝數(shù)據(jù)來預防它們遺失。 容錯性：集群中的結(jié)點可以宕機，如果集群結(jié)點總量是 n，那么可以有 n-1 個結(jié)點宕機。 高并發(fā)：支持數(shù)千個客戶端同時讀寫。Kafka 通過 ZooKeeper 統(tǒng)一管理各個節(jié)點，并形成一個整體對外提供服務(wù)，其架構(gòu)圖如圖 2-1 所示。

1）可以對分散在各個節(jié)點的海量日志進行收集，保障日志實時、完整無地收集。2）日志信息能被實時地處理分析，得到云平臺一些有價值的信息供管理考。3）使系統(tǒng)擁有故障日志預測能力，預測能力具備八成以上的精準率，從升云平臺的穩(wěn)定運行周期。4）能對所有日志數(shù)據(jù)進行持久化存儲，并對日志分析預測的結(jié)果進行用好界面地展示。 系統(tǒng)整體架構(gòu)設(shè)計實時日志管理系統(tǒng)作為實驗室云平臺日志服務(wù)的基礎(chǔ)服務(wù)，應該包括以塊：各個節(jié)點的日志收集模塊、異步通信模塊、帶預測功能的日志分析、存儲模塊和結(jié)果數(shù)據(jù)可視化[34]模塊。系統(tǒng)整體架構(gòu)圖在下面圖 3-1 給含了各個模塊之間的關(guān)系。

開源時間、實現(xiàn)語言、容錯性、負載均衡、可擴展性、agent、collector 和 store 等方面進行對比，詳見上表 3-1。通過表格，可以清晰地得出評價，scribe 設(shè)計簡單，使用起來便捷，不過在容錯跟負載均衡上表現(xiàn)不盡如人意；而 chukwa 是 hadoop 家族的一員，在負載均衡方面也不夠好，且軟件還有待完善。相對于前兩種產(chǎn)品，F(xiàn)lume 在高可用性、可靠性和可擴展性等諸方面最符合當前云平臺對日志管理系統(tǒng)收集模塊的要求，因此本文的日志采集模塊將以 Flume 為基礎(chǔ)框架展開設(shè)計和部署。3.3.2 模塊架構(gòu)設(shè)計如今的 Flume 進行了架構(gòu)重構(gòu)，重構(gòu)之后，從以前的 Flume OG 變?yōu)槿缃竦腇lume NG。FlumeNG 相比之下像是一個輕量級小工具，操作起來不難，對各類方式日志的采集適應力更強，而且具有 failover 跟負載均衡。由于日志文件散落在每個 node 上，所以每個節(jié)點上都要部署 agent 進程，這里對應的就是 agent 層，然后收集到的數(shù)據(jù)匯總進入核心 server 里，collector 層就部署于核心服務(wù)器上面，再依照相應的規(guī)則，讓日志流向 Hbase 或者 kafka，完成
【相似文獻】

相關(guān)期刊論文 前10條

1 胡聰;張靖;郭洋;;基于大數(shù)據(jù)日志管理系統(tǒng)的研究與實現(xiàn)[J];中國新通信;2017年09期

2 黃麗莎;;日志管理系統(tǒng)的研究自主開發(fā)與綜合應用[J];中國新通信;2015年10期

3 趙杉;鄭楊;;淺論業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫日志管理[J];信息通信;2014年02期

4 劉興權(quán);趙豫;;WebGIS日志管理與分析系統(tǒng)的設(shè)計與實現(xiàn)[J];測繪科學;2013年02期

5 ;銷售中的日志管理[J];山東農(nóng)藥信息;2009年10期

6 張毓赟;張智斌;楊文旦;;RBAC在日志管理系統(tǒng)中的應用[J];福建電腦;2007年03期

7 安凝;LogLogic進軍中國日志管理市場[J];計算機安全;2005年12期

8 曉輝;;世界第一家日志管理設(shè)備廠商首次進入中國[J];網(wǎng)絡(luò)安全技術(shù)與應用;2005年12期

9 徐欣欣;高曉迪;韓王遠;俞婷;;校園網(wǎng)日志管理系統(tǒng)的設(shè)計與實現(xiàn)[J];福建電腦;2017年03期

10 許澤寧;;高速公路日志管理系統(tǒng)[J];中國交通信息化;2015年08期

相關(guān)碩士學位論文 前10條

1 蔡金鉆;云平臺環(huán)境下實時日志管理系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2018年

2 王文強;基于PCM的數(shù)據(jù)庫日志與索引優(yōu)化研究[D];中國科學技術(shù)大學;2017年

3 楊奕;防火墻實驗系統(tǒng)日志管理與規(guī)則優(yōu)化研究[D];上海交通大學;2008年

4 李玉榮;面向分布式軟件的日志管理系統(tǒng)的研究與實現(xiàn)[D];國防科學技術(shù)大學;2005年

5 田雪鋒;分布式數(shù)據(jù)庫日志管理系統(tǒng)[D];電子科技大學;2003年

6 張清豐;數(shù)字電視SMS系統(tǒng)報表與日志管理子系統(tǒng)設(shè)計與實現(xiàn)[D];電子科技大學;2010年

7 黃劍橋;高性能千兆以太網(wǎng)硬件防火墻的智能日志管理和規(guī)則配置[D];哈爾濱工業(yè)大學;2009年

8 馮新勇;基于XML的網(wǎng)絡(luò)安全日志管理與系統(tǒng)優(yōu)化配置[D];四川大學;2004年

9 牟肖蓬;基于大數(shù)據(jù)的日志管理系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學;2014年

10 徐浩;面向遙感用戶的綜合管理子系統(tǒng)設(shè)計與實現(xiàn)[D];河南大學;2017年

本文編號：2888318