【摘要】：網絡安全一直是全世界最受關注的問題之一,隨著互聯網技術的飛速發(fā)展,網絡安全環(huán)境也急劇惡化。針對當前網絡環(huán)境,設計一個網絡異常流量檢測系統是急需解決且有意義的事情。本文設計了基于spark異常流量檢測系統,針對主機的數據包特征進行采集,然后預測并顯示結果,告知用戶是否具有異常流量。系統是一個準實時的流式系統,主要分成五個模塊:采集模塊,后臺收集模塊,預測模塊,報表模塊,模型訓練模塊。(1)采集模塊基于JnetPcap技術分析采集IP包的31維特征,該技術具有跨平臺的優(yōu)點,在Windows和Linux系統下均能采集。采集的特征分為三類,分別是TCP連接的基本特征12維,基于時間的數據包的統計量8維,基于主機的數據包統計量11維(具體見附表)。采集的特征發(fā)送至后臺收集模塊。(2)后臺收集模塊負責集中特征信息,初步過濾后發(fā)送至Kafka topic;預測模塊將消費該topic,然后對流量進行預測。(3)預測模塊包含兩個模型。KMeans RandomForest_Model是監(jiān)督學習模型,其優(yōu)勢在于預測準確度高,同時,該模型還是級聯模型,包含算法K-Means和Random Forest。Streaming_KMeans_Model使用無監(jiān)督學習算法Streaming K-Means實現,該模型的優(yōu)勢在于不需要標簽數據,在對流量預測的同時也會訓練模型,讓模型一直學習;該模型具有參數衰減值a,可以使距離當前時間越近的數據對模型影響越大;其中兩個模型的實現都基于本文引出的新特征。(4)報表模塊對預測結果進行展示;顯示內容包括全部流量的報表、異常流量的報表、Streaming_KMeans_Model模型中各個類的實時權重的直方圖,以及各分類流量的餅圖。_(5)訓練模塊與其他模塊不同,該模塊不在流水線上工作,該模塊使用有標簽樣本數據集對模型進行訓練,從而給預測模塊提供支持。最后,本文采用IDS2017(Intrusion Detection Evaluation Dataset)數據集中部分數據,驗證兩個模型KMeans_RandomForest_Model、Streaming_KMeans_Model有效性,其中KMeans_RandomForest_Model模型達到97.4%的準確度,無監(jiān)督模型Streaming_KMeans Model達到70.2%的準確度。此外、本文搭建基于三臺虛擬機的hadoop,spark系統,并在此基礎上進行實驗,實驗結果表明:(1)各模塊相互協調工作,系統可用。(2)隨著使用虛擬機數量的增加,預測處理速度有所提升。
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP393.08
【圖文】：

：．逡逑圖１－１邋２０１３年－２０１８年ＤＤｏｓ攻擊流量圖逡逑圖１－１［６］是從２０１３年到２０１８年的ＤＤｏｓ攻擊流量峰值曲線圖，２０１５年之前攻擊流量的逡逑峰值X棾ざ際潛冉匣郝�，但薁坎０１５年之后，由又X夜罅Ψ⒄夠チ�，物联网茧H�，辶x險廡┘際醺嗣譴幢憷耐�，攻击流量峰值一直哉E歡系吶噬萘扛譴锏藉義希保罰裕猓穡�。如此大量的攻祸崿灾I繅斐Ａ髁考觳�、防御领域给晤U翹岢齦擼碌囊義锨蟆ｅ義夏殼�，主要的异常流量检测方法峨H竊諑酚善髖員卟渴鵂觳饃璞�，检拆x璞竿ü懾義霞髁康模桑邪畔ⅲ緩笸ü迫槐齲〔ǚ治齙雀髦址絞郊觳獬鲆斐＃媯媯郟罰蕁５欽廡╁義戲椒ǘ賈皇嵌閱騁桓齙ヒ宦酚善骰蛘咧骰屑觳�，脫]寫笫荽砟芰Φ娜鋇�。而橇x義希卞義

本文編號：2757271