本文關鍵詞：基于GPR預判模型的海量日志流實時異常檢測研究

  更多相關文章： 日志流 異常檢測 高斯過程回歸 JStorm

【摘要】：隨著計算機技術(shù)的快速發(fā)展和信息化的不斷深入,大型互聯(lián)網(wǎng)企業(yè)產(chǎn)生的日志量也呈現(xiàn)出爆炸式增長。通過分析和檢測日志,及時發(fā)現(xiàn)用戶行為和系統(tǒng)狀態(tài)的異常,對于提高用戶滿意度和系統(tǒng)穩(wěn)定性具有重要作用。傳統(tǒng)的日志異常檢測采用先存儲后處理的方式,但是隨著海量日志時代的到來,這一方式面臨存儲空間占用過高以及實時性差的瓶頸,所以迫切需要研究新的日志異常檢測架構(gòu)和算法。因此針對海量日志實時異常檢測的課題,本文分別從檢測算法和實時計算兩方面進行研究:(1)對日志流進行異常檢測,一般采用基于規(guī)則匹配的方式,但是效率較低,因此本文研究了文本日志的數(shù)值化表示方法,提出了利用信息含量來表征日志。由于直接計算信息含量復雜度較高,所以用無損壓縮與信息含量之間的關系間接的估計信息含量。為了滿足日志流壓縮的特殊需求,本文在序列壓縮算法的基礎上提出了一種適合于日志流場景的無損壓縮算法LSCA。文本日志轉(zhuǎn)換成數(shù)值形式后,通過引入高斯過程回歸模型,提出了基于GPR預判模型的日志流異常檢測算法,將實際收到的數(shù)據(jù)值與預估的數(shù)據(jù)值比較,看其是否在偏差范圍之內(nèi)來判定日志是否異常。(2)基于GPR的預判模型可以有效的檢測孤立異常,但是對局部異常檢測效率不高。為了解決這個問題,本文引入采樣的方法,提出了適合日志流場景的采樣算法LSUS,將其與GPR結(jié)合形成了新的模型LSUS_GPR,然后把新模型推廣到全局異常檢測。實驗表明新模型的計算復雜度和誤判率都明顯降低,提高了檢測效率。(3)借助于JStorm流式計算框架,本文設計并實現(xiàn)了基于GPR預判模型的日志流實時異常檢測系統(tǒng)LRADS。針對LRADS系統(tǒng),分別從總體設計和性能優(yōu)化兩個方面進行講述�？傮w設計方面,主要介紹了核心部分日志采集和實時檢測模塊。性能優(yōu)化方面,提出了離線和在線調(diào)度優(yōu)化方法。最后系統(tǒng)測評表明LRADS穩(wěn)定高效,具備生產(chǎn)環(huán)境使用價值。
【關鍵詞】：日志流 異常檢測 高斯過程回歸 JStorm
【學位授予單位】：杭州電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.08
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-17
• 1.1 研究背景和意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 流式實時計算研究現(xiàn)狀12-13
• 1.2.2 異常檢測研究現(xiàn)狀13-14
• 1.3 本文主要研究工作14-15
• 1.4 論文組織結(jié)構(gòu)15-17
• 第二章 相關理論與技術(shù)研究17-29
• 2.1 異常檢測17-21
• 2.1.1 基本概念17-18
• 2.1.2 基于統(tǒng)計理論的異常檢測18
• 2.1.3 基于最近鄰的異常檢測18-20
• 2.1.4 基于聚類的異常檢測20-21
• 2.2 流式數(shù)據(jù)處理21-23
• 2.2.1 流式數(shù)據(jù)特征21
• 2.2.2 流式數(shù)據(jù)處理模型21-23
• 2.3 數(shù)據(jù)流異常檢測23-25
• 2.3.1 數(shù)據(jù)流異常分類23
• 2.3.2 數(shù)據(jù)流概要生成算法23-24
• 2.3.3 數(shù)據(jù)流異常檢測算法24-25
• 2.4 JStorm流式計算框架25-29
• 2.4.1 JStorm部署架構(gòu)25-26
• 2.4.2 JStorm并發(fā)模型26-27
• 2.4.3 JStorm消息分發(fā)27-29
• 第三章 基于GPR預判模型的日志流異常檢測29-45
• 3.1 基于預判的日志流異常檢測流程29-30
• 3.2 日志事件抽取30-33
• 3.2.1 過程式語言31
• 3.2.2 面向?qū)ο笳Z言31-33
• 3.3 文本日志的數(shù)值化表示33-36
• 3.3.1 信息含量估計33-34
• 3.3.2 LSCA壓縮34-36
• 3.4 基于GPR預判模型的日志流異常檢測36-40
• 3.4.1 高斯過程回歸36-38
• 3.4.2 GPR預判模型38-39
• 3.4.3 基于GPR預判模型的日志流異常檢測39-40
• 3.5 實驗結(jié)果與分析40-44
• 3.5.1 實驗環(huán)境與數(shù)據(jù)集介紹40-42
• 3.5.2 評價指標42-43
• 3.5.3 孤立異常檢測43-44
• 3.5.4 局部異常檢測44
• 3.6 本章小結(jié)44-45
• 第四章 結(jié)合LSUS采樣優(yōu)化的GPR預判模型45-55
• 4.1 引言45
• 4.2 采樣算法45-48
• 4.2.1 LSUS采樣算法46-48
• 4.2.2 LSUS功能驗證48
• 4.3 改進的GPR預判模型48-51
• 4.3.1 針對局部異常的改進48-49
• 4.3.2 針對全局異常的改進49-51
• 4.4 實驗結(jié)果與分析51-54
• 4.4.1 孤立和局部異常實驗51-52
• 4.4.2 全局異常實驗52-54
• 4.5 本章小結(jié)54-55
• 第五章 海量日志流實時異常檢測系統(tǒng)設計與實現(xiàn)55-65
• 5.1 LRADS總體設計55-59
• 5.1.1 日志采集子系統(tǒng)55-57
• 5.1.2 實時檢測模塊57-58
• 5.1.3 監(jiān)控報警模塊58-59
• 5.2 LRADS性能優(yōu)化59-62
• 5.2.1 離線調(diào)度優(yōu)化60-61
• 5.2.2 在線調(diào)度優(yōu)化61-62
• 5.3 實驗結(jié)果與分析62-64
• 5.4 本章小結(jié)64-65
• 第六章 總結(jié)與展望65-67
• 6.1 總結(jié)65
• 6.2 展望65-67
• 致謝67-68
• 參考文獻68-72
• 附錄 作者在讀期間發(fā)表的學術(shù)論文及參加的科研項目72-73
• 詳細摘要73-75

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄧奇強;;高校圖書館流通日志數(shù)據(jù)整理探討[J];河北科技圖苑;2013年04期

2 黃瑋堯;;交通銀行集中日志審計管理最佳實踐[J];中國金融電腦;2011年10期

3 鄒曉峰;李鳴亞;;淺析一個分布式日志服務器的應用[J];考試周刊;2007年49期

4 宋愛波,莊曉青,何潔月,業(yè)寧,董逸生;圖書館大規(guī)模日志數(shù)據(jù)的快速聚類[J];應用科學學報;2003年03期

5 葉小鶯;;基于回調(diào)機制的異步日志服務的開發(fā)[J];電子世界;2012年04期

6 劉興淮;溫叢劍;徐燕梅;;臨床數(shù)據(jù)統(tǒng)計日志的科學獲取與應用[J];中國醫(yī)療設備;2011年12期

7 朱智林,左天軍,牛淑齡;基于日志的臟數(shù)據(jù)檢測與恢復[J];電子科技;2004年05期

8 李清;沈彤;關毅;;面向大規(guī)模日志數(shù)據(jù)的聚類算法研究[J];智能計算機與應用;2012年05期

9 呂榮峰;;基于syslog-ng的集中式日志服務器及其客戶端配置方法[J];數(shù)字技術(shù)與應用;2014年04期

10 劉合富;;SYSLOG日志數(shù)據(jù)采集實現(xiàn)[J];中國教育網(wǎng)絡;2007年08期

中國重要會議論文全文數(shù)據(jù)庫 前4條

1 王廣立;張立群;;一種基于日志的流程挖掘算法的設計與實現(xiàn)[A];全國第19屆計算機技術(shù)與應用（CACIS）學術(shù)會議論文集（下冊）[C];2008年

2 黃東;;工廠信息化日志的存儲及管理[A];中國計量協(xié)會冶金分會2011年會論文集[C];2011年

3 劉錕;邢延;蔡延光;;一種針對交互式學習系統(tǒng)日志數(shù)據(jù)的輕型化挖掘方法[A];2011年中國智能自動化學術(shù)會議論文集（第一分冊）[C];2011年

4 郭新濤;梁敏;阮備軍;朱揚勇;;挖掘Web日志降低信息搜尋的時間費用[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2004年

中國重要報紙全文數(shù)據(jù)庫 前5條

1 ;日志數(shù)據(jù)激增困擾數(shù)據(jù)中心[N];網(wǎng)絡世界;2009年

2 ;Google與隱私權(quán)[N];網(wǎng)絡世界;2009年

3 沈建;謹防安全策略的五大基本錯誤[N];計算機世界;2008年

4 本報記者 胡英;RSA enVision 4.0讓企業(yè)更合規(guī)[N];計算機世界;2009年

5 ;注重安全管理[N];網(wǎng)絡世界;2004年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 曾明宇;一種基于Storm和Mongodb的分布式實時日志數(shù)據(jù)存儲與處理系統(tǒng)的設計與實現(xiàn)及應用[D];浙江大學;2015年

2 徐沛原;基于移動終端日志數(shù)據(jù)的人群特征可視化研究[D];浙江大學;2015年

3 陳超;基于分布式計算的海量日志數(shù)據(jù)分析平臺的設計與實現(xiàn)[D];北京郵電大學;2015年

4 劉森源;流程挖掘預處理研究與應用[D];華南理工大學;2016年

5 姚俊杰;WEB日志數(shù)據(jù)挖掘在MOODLE中的研究與應用[D];上海交通大學;2015年

6 陶興宇;分布式系統(tǒng)日志數(shù)據(jù)采集關鍵技術(shù)研究與實現(xiàn)[D];沈陽航空航天大學;2016年

7 郭子昂;基于GPR預判模型的海量日志流實時異常檢測研究[D];杭州電子科技大學;2016年

8 蘇政;基于日志數(shù)據(jù)的域名訪問源多尺度分析[D];南京師范大學;2013年

9 楊尚大;日志數(shù)據(jù)采集和實時審計關鍵技術(shù)研究與實現(xiàn)[D];浙江工商大學;2009年

10 王兆永;面向大規(guī)模批量日志數(shù)據(jù)存儲方法的研究[D];電子科技大學;2011年

，

本文編號：565638