二十一世紀(jì)是網(wǎng)絡(luò)和信息時代,無論是個人還是企業(yè)都很依賴互聯(lián)網(wǎng),因此,網(wǎng)絡(luò)安全和隱私已成為現(xiàn)代世界人們關(guān)注的一個重要問題。日志數(shù)據(jù)時刻記錄著各種網(wǎng)絡(luò)設(shè)備的活動,對于網(wǎng)絡(luò)攻擊、系統(tǒng)黑客攻擊等事件的取證有著重要的意義。通過日志數(shù)據(jù),運(yùn)維人員可以實時監(jiān)控系統(tǒng)和網(wǎng)絡(luò)的健康狀況,用戶的使用情況等。但是日志數(shù)據(jù)通常數(shù)量巨大,且較難讀懂,因此,對日志數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘,從大量數(shù)據(jù)中提取有用的知識是非常有必要的。 網(wǎng)絡(luò)設(shè)備具有多樣性,對設(shè)備逐個查看非常耗時耗力,本課題對日志采集技術(shù)進(jìn)行了系統(tǒng)的研究,提出了一種日志數(shù)據(jù)的分布采集和集中存儲架構(gòu),將日志消息分類存儲在一個集中的Syslog日志服務(wù)器上,方便對日志數(shù)據(jù)進(jìn)行集中管理和統(tǒng)計分析。然后通過對Syslog日志服務(wù)器采集到的數(shù)據(jù)進(jìn)行挖掘,得到用戶行為的頻繁模式聚類和非頻繁模式聚類。 本文通過分析日志數(shù)據(jù)和關(guān)聯(lián)規(guī)則挖掘算法,對已有的日志數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行改進(jìn),提出了一種改進(jìn)的日志模式聚類挖掘算法——-Improved Log-Pattern Cluster Algorithm (ILC算法)。然后將前綴樹和傳統(tǒng)的日志模式挖掘算法相結(jié)合,設(shè)計出一種基于前...

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 日志數(shù)據(jù)采集
        1.2.2 事件關(guān)聯(lián)挖掘技術(shù)
        1.2.3 數(shù)據(jù)聚類
        1.2.4 頻繁模式聚類
    1.3 研究內(nèi)容和目標(biāo)
        1.3.1 日志事件集中采集研究
        1.3.2 日志模式挖掘算法研究與改進(jìn)
        1.3.3 基于前綴樹的日志模式挖掘研究
    1.4 本文的組織結(jié)構(gòu)
第2章 日志采集與挖掘所涉及到的技術(shù)
    2.1 事件日志記錄和監(jiān)控
        2.1.1 日志數(shù)據(jù)采集
        2.1.2 Syslog日志
        2.1.3 Syslog日志結(jié)構(gòu)
        2.1.4 Syslog日志數(shù)據(jù)集中采集
    2.2 日志過濾與預(yù)處理
        2.2.1 數(shù)據(jù)過濾和預(yù)處理概述
        2.2.2 正則表達(dá)式
    2.3 數(shù)據(jù)挖掘技術(shù)
        2.3.1 數(shù)據(jù)挖掘方法
        2.3.2 事件關(guān)聯(lián)技術(shù)
        2.3.4 關(guān)聯(lián)規(guī)則挖掘
        2.3.5 高維度數(shù)據(jù)聚類
        2.3.6 簡單事件關(guān)聯(lián)
    2.4 事件日志的模式挖掘
        2.4.1 頻繁模式挖掘算法
        2.4.2 日志模式挖掘概述
    2.5 本章小結(jié)
第3章 日志模式挖掘和ILC算法
    3.1 日志數(shù)據(jù)的特征
    3.2 日志數(shù)據(jù)采集與過濾
        3.2.1 日志數(shù)據(jù)采集
        3.2.2 日志數(shù)據(jù)過濾
        3.2.3 雙層日志分析技術(shù)
    3.3 ILC算法——改進(jìn)的日志模式聚類算法
        3.3.1 日志事件關(guān)聯(lián)挖掘概述
        3.3.2 日志數(shù)據(jù)的hash查找
        3.3.3 ILC算法的產(chǎn)生背景
        3.3.4 ILC算法實現(xiàn)
        3.3.5 BILC算法——字節(jié)偏移日志模式聚類算法
        3.3.6 非頻繁模式的挖掘
    3.4 ILC算法和BILC算法的有效性
        3.4.1 ILC算法和Apriori的比較
        3.4.2 ILC算法和SLC算法的比較
        3.4.3 BILC算法的優(yōu)勢
    3.5 本章小結(jié)
第4章 基于前綴樹的日志模式聚類
    4.1 日志數(shù)據(jù)采集和過濾模型
        4.1.1 Rsyslog日志數(shù)據(jù)采集
        4.1.2 Rsyslog日志數(shù)據(jù)過濾和預(yù)處理
    4.2 基于前綴樹的數(shù)據(jù)聚類
        4.2.1 深度優(yōu)先搜索算法分析
        4.2.2 基于日志特征的深度優(yōu)先搜索算法
    4.3 PTLC算法——基于前綴樹的日志模式聚類算法
        4.3.1 PTLC算法概述
        4.3.2 PTLC算法的實現(xiàn)
        4.3.3 PTLC算法的優(yōu)勢
        4.3.4 BPTLC——字節(jié)偏移前綴樹日志模式聚類算法
    4.4 本章小結(jié)
第5章 實驗結(jié)果分析
    5.1 空間分析
        5.1.1 SLC算法空間分析
        5.1.2 ILC算法空間分析
        5.1.3 BILC算法空間分析
        5.1.4 PTLC算法空間分析
        5.1.5 BPTLC算法空間分析
        5.1.6 空間總結(jié)比較
    5.2 時間分析
    5.3 本章小結(jié)
第6章 總結(jié)與未來方向
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文



本文編號：3848469