【摘要】：網(wǎng)絡安全一直是全世界最受關注的問題之一,隨著互聯(lián)網(wǎng)技術的飛速發(fā)展,網(wǎng)絡安全環(huán)境也急劇惡化。針對當前網(wǎng)絡環(huán)境,設計一個網(wǎng)絡異常流量檢測系統(tǒng)是急需解決且有意義的事情。本文設計了基于spark異常流量檢測系統(tǒng),針對主機的數(shù)據(jù)包特征進行采集,然后預測并顯示結果,告知用戶是否具有異常流量。系統(tǒng)是一個準實時的流式系統(tǒng),主要分成五個模塊:采集模塊,后臺收集模塊,預測模塊,報表模塊,模型訓練模塊。(1)采集模塊基于JnetPcap技術分析采集IP包的31維特征,該技術具有跨平臺的優(yōu)點,在Windows和Linux系統(tǒng)下均能采集。采集的特征分為三類,分別是TCP連接的基本特征12維,基于時間的數(shù)據(jù)包的統(tǒng)計量8維,基于主機的數(shù)據(jù)包統(tǒng)計量11維(具體見附表)。采集的特征發(fā)送至后臺收集模塊。(2)后臺收集模塊負責集中特征信息,初步過濾后發(fā)送至Kafka topic;預測模塊將消費該topic,然后對流量進行預測。(3)預測模塊包含兩個模型。KMeans RandomForest_Model是監(jiān)督學習模型,其優(yōu)勢在于預測準確度高,同時,該模型還是級聯(lián)模型,包含算法K-Means和Random Forest。Streaming_KMeans_Model使用無監(jiān)督學習算法Streaming K-Means實現(xiàn),該模型的優(yōu)勢在于不需要標簽數(shù)據(jù),在對流量預測的同時也會訓練模型,讓模型一直學習;該模型具有參數(shù)衰減值a,可以使距離當前時間越近的數(shù)據(jù)對模型影響越大;其中兩個模型的實現(xiàn)都基于本文引出的新特征。(4)報表模塊對預測結果進行展示;顯示內(nèi)容包括全部流量的報表、異常流量的報表、Streaming_KMeans_Model模型中各個類的實時權重的直方圖,以及各分類流量的餅圖。_(5)訓練模塊與其他模塊不同,該模塊不在流水線上工作,該模塊使用有標簽樣本數(shù)據(jù)集對模型進行訓練,從而給預測模塊提供支持。最后,本文采用IDS2017(Intrusion Detection Evaluation Dataset)數(shù)據(jù)集中部分數(shù)據(jù),驗證兩個模型KMeans_RandomForest_Model、Streaming_KMeans_Model有效性,其中KMeans_RandomForest_Model模型達到97.4%的準確度,無監(jiān)督模型Streaming_KMeans Model達到70.2%的準確度。此外、本文搭建基于三臺虛擬機的hadoop,spark系統(tǒng),并在此基礎上進行實驗,實驗結果表明:(1)各模塊相互協(xié)調(diào)工作,系統(tǒng)可用。(2)隨著使用虛擬機數(shù)量的增加,預測處理速度有所提升。
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP393.08
【圖文】：

：．逡逑圖１－１邋２０１３年－２０１８年ＤＤｏｓ攻擊流量圖逡逑圖１－１［６］是從２０１３年到２０１８年的ＤＤｏｓ攻擊流量峰值曲線圖，２０１５年之前攻擊流量的逡逑峰值X棾ざ際潛冉匣郝�，但薁坎０１５年之后，由又X夜罅Ψ⒄夠チ�，物联网茧H�，辶x險廡┘際醺嗣譴幢憷耐�，攻击流量峰值一直哉E歡系吶噬�，数据量更首l锏藉義希保罰裕猓穡蟆Ｈ绱舜罅康墓セ鰨諭繅斐Ａ髁考觳�、防御领域给晤U翹岢齦擼碌囊義锨�。辶x夏殼埃饕囊斐Ａ髁考觳夥椒ǘ際竊諑酚善髖員卟渴鵂觳饃璞�，检拆x璞竿ü懾義霞髁康模桑邪畔�，染忬通过似然饼x〔ǚ治齙雀髦址絞郊觳獬鲆斐＃媯媯郟罰蕁５欽廡╁義戲椒ǘ賈皇嵌閱騁桓齙ヒ宦酚善骰蛘咧骰屑觳�，脫]寫笫荽砟芰Φ娜鋇恪６義義希卞義

本文編號：2757271