隨著網(wǎng)絡(luò)主機和應(yīng)用數(shù)目的增長,如何在大規(guī)模網(wǎng)絡(luò)中識別異常流量越來越具有挑戰(zhàn)性。目前,國內(nèi)外已有許多成熟的基于主機的異常流量分析方法,重點以分析網(wǎng)絡(luò)中的特定節(jié)點為主。此類方法無法應(yīng)對大規(guī)模網(wǎng)絡(luò)網(wǎng)絡(luò)管理和安全監(jiān)控的需求,因此,迫切需要一種有效的網(wǎng)絡(luò)群體劃分方法來應(yīng)對大規(guī)模網(wǎng)絡(luò)的挑戰(zhàn)。本文提出了一種基于圖模型的大規(guī)模網(wǎng)絡(luò)異常檢測方法,為大規(guī)模網(wǎng)絡(luò)異常檢測問題的解決提供了新的思路。首先,依據(jù)NetFlow數(shù)據(jù)中的IP字段構(gòu)造二分圖模型。其次,基于公共節(jié)點個數(shù)與主機相似性之間的聯(lián)系構(gòu)建單模投影圖。然后,利用Spark GraphX實現(xiàn)Louvain社區(qū)檢測算法來對構(gòu)造出的圖模型進(jìn)行社區(qū)檢測,尋找具有相似性的主機群體。最后,基于相對不確定模型、TCP標(biāo)志位、深度數(shù)據(jù)包來對社區(qū)內(nèi)部的流量模式進(jìn)行分析。本文實現(xiàn)了基于圖模型的大規(guī)模網(wǎng)絡(luò)異常檢測系統(tǒng),從數(shù)據(jù)采集、存儲和計算等三個方面進(jìn)行設(shè)計保證系統(tǒng)的可擴展性。首先,借助Flume分布式日志采集組件完成數(shù)據(jù)的實時采集和轉(zhuǎn)發(fā)。其次,利用HDFS和HBase存儲歷史數(shù)據(jù)以及計算結(jié)果。最后,采用Spark集群完成對海量NetFlow歷史數(shù)據(jù)的分析。本文提出的基于...

【文章頁數(shù)】：49 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究工作及創(chuàng)新點
    1.4 論文結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)及理論
    2.1 NetFlow
    2.2 Flume
    2.3 Spark
        2.3.1 RDD
        2.3.2 SparkMLlib
        2.3.3 SparkGraphX
        2.3.4 SparkStreaming
        2.3.5 SparkSQL
    2.4 HBase
    2.5 本章小結(jié)
第三章 基于圖模型的大規(guī)模網(wǎng)絡(luò)異常檢測方法
    3.1 方法框架
    3.2 二分圖模型
    3.3 單模投影模型
    3.4 Louvain社區(qū)檢測模型
    3.5 異常檢測
        3.5.1 相對不確定性模型
        3.5.2 異常流量分析
    3.6 本章小結(jié)
第四章 基于圖模型的大規(guī)模網(wǎng)絡(luò)異常檢測系統(tǒng)
    4.1 系統(tǒng)架構(gòu)
    4.2 數(shù)據(jù)采集層
    4.3 數(shù)據(jù)持久化層
    4.4 數(shù)據(jù)計算層
        4.4.1 字段提取
        4.4.2 構(gòu)造二分圖
        4.4.3 構(gòu)造單模投影
        4.4.4 社區(qū)檢測并行化
    4.5 數(shù)據(jù)展示層
    4.6 本章小結(jié)
第五章 實驗結(jié)果與分析
    5.1 社區(qū)檢測
    5.2 異常檢測
        5.2.1 相對不確定性分析
        5.2.2 標(biāo)志位分析
        5.2.3 深度包檢測結(jié)果分析
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 問題與展望
參考文獻(xiàn)
發(fā)表論文和科研情況說明
致謝



本文編號：3928629