隨著互聯(lián)網(wǎng)+時代的來臨,網(wǎng)絡(luò)安全事件層出不窮,尤其是在大數(shù)據(jù)時代,網(wǎng)絡(luò)安全性顯得格外重要,日志數(shù)據(jù)作為大數(shù)據(jù)中一個重要的分支,記錄設(shè)備運行狀態(tài)的重要途徑,通過分析日志作為可事前防護、事后追責(zé)的安全審計手段,可以實時掌握網(wǎng)絡(luò)安全態(tài)勢,制定一系列切實可行的安全防御方案,提高網(wǎng)絡(luò)安全性。日志挖掘的技術(shù)層出不窮,隨著網(wǎng)絡(luò)的不斷發(fā)展,在面對新型或無先驗規(guī)則的攻擊模式下,聚類分析在數(shù)據(jù)挖掘中應(yīng)用的更為廣泛,因此,基于聚類的日志分析方法在面對瞬息萬變的網(wǎng)絡(luò)環(huán)境有著重要的研究價值與意義,此外,安全日志作為記錄網(wǎng)絡(luò)安全設(shè)備運行的審計手段,越來越得到人們的重視,甚至被稱為“暗數(shù)據(jù)”,其蘊藏的價值不言而喻,單機模式下的日志分析在處理小數(shù)據(jù)集時較有優(yōu)勢,可是當(dāng)面對每日以PB級增長的數(shù)據(jù)量時,顯得捉襟見肘。為此,如何存儲與分析海量安全日志成了當(dāng)下日志分析的研究重點。針對以上存在的問題,本文基于Hadoop環(huán)境下對海量安全日志分析技術(shù)做了深入的研究,依托現(xiàn)有的研究背景與現(xiàn)狀,優(yōu)化了聚類經(jīng)典算法K-Means,并將其實現(xiàn)了并行化,實現(xiàn)了海量日志的并行化分析,最后設(shè)計了一個日志分析追責(zé)系統(tǒng),并對其相關(guān)性能進行了測試。...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
    1.3 論文的主要工作及結(jié)構(gòu)
        1.3.1 論文的結(jié)構(gòu)
        1.3.2 論文的主要工作
第二章 關(guān)鍵技術(shù)
    2.1 日志分析基礎(chǔ)
        2.1.1 日志采集
        2.1.2 日志類型與格式
    2.2 日志挖掘
        2.2.1 Web日志挖掘
        2.2.2 日志挖掘流程
        2.2.3 數(shù)據(jù)挖掘
        2.2.4 日志挖掘中的聚類
    2.3 Hadoop
        2.3.1 HDFS
        2.3.2 Map/Reduce
    2.4 本章小結(jié)
第三章 基于MMD及均值思想的K-Means算法改進
    3.1 傳統(tǒng)K-Means算法特點
        3.1.1 K-Means算法的優(yōu)點
        3.1.2 K-Means算法的缺陷
        3.1.3 相關(guān)概念
    3.2 基于MMD及均值思想的K-Means算法改進
        3.2.1 基于MMD及均值思想的K-Means算法改進
        3.2.2 算法準確率驗證
    3.3 本章小結(jié)
第四章 基于Map/Reduce的K-Means的并行化實現(xiàn)
    4.1 基于Map/Reduce的K-Means的并行化整體設(shè)計思路
    4.2 基于Map/Reduce的改進的K-Means并行化框架
    4.3 并行化實現(xiàn)的具體步驟
    4.4 本章小結(jié)
第五章 日志分析追責(zé)系統(tǒng)的研究與設(shè)計
    5.1 系統(tǒng)研究基礎(chǔ)
        5.1.1 系統(tǒng)需求分析
        5.1.2 技術(shù)路線
    5.2 系統(tǒng)環(huán)境及框架設(shè)計
        5.2.1 數(shù)據(jù)層
        5.2.2 分析層
        5.2.3 展示層
    5.3 系統(tǒng)模塊設(shè)計
        5.3.1 日志采集
        5.3.2 日志預(yù)處理與存儲
        5.3.3 日志分析
        5.3.4 界面展示
    5.4 本章小結(jié)
第六章 系統(tǒng)環(huán)境部署與測試
    6.1 環(huán)境搭建
    6.2 性能測試
        6.2.1 評價指標
        6.2.2 日志采集與處理能力驗證
        6.2.3 并行化性能驗證
    6.3 本章小結(jié)
第七章 總結(jié)與問題及展望
    7.1 總結(jié)
    7.2 問題及展望
參考文獻
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文



本文編號：3874173