針對傳統(tǒng)的網(wǎng)絡(luò)異常行為檢測方法無法滿足大規(guī)模數(shù)據(jù)的存儲和處理,且由于算法單一普遍存在準(zhǔn)確率較低、誤報率較高等問題,本文首先對基于大數(shù)據(jù)的網(wǎng)絡(luò)異常分析平臺進行了研究,設(shè)計了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為分析平臺;然后基于Spark設(shè)計并實現(xiàn)并行化SA_SVM_RF網(wǎng)絡(luò)異常行為檢測模型;最后利用NSL-KDD數(shù)據(jù)集驗證了方法的有效性。具體地,本文主要的研究成果如下:（1）設(shè)計了一種適用于網(wǎng)絡(luò)異常行為分析的平臺。在對現(xiàn)有大數(shù)據(jù)分析平臺進行研究的基礎(chǔ)之上設(shè)計了一種針對網(wǎng)絡(luò)異常檢測的分析平臺,該平臺包括數(shù)據(jù)采集與預(yù)處理層、數(shù)據(jù)分析層、數(shù)據(jù)存儲層和可視化層。充分利用大數(shù)據(jù)技術(shù),解決了傳統(tǒng)網(wǎng)絡(luò)異常行為分析方法在應(yīng)對在大數(shù)據(jù)環(huán)境時無法有效處理的問題。（2）提出了一種網(wǎng)絡(luò)異常行為檢測方法�；赟park設(shè)計并實現(xiàn)了并行化SA_SVM_RF網(wǎng)絡(luò)異常行為檢測模型,并利用NSL-KDD數(shù)據(jù)集對提出的算法進行對比測試,實驗結(jié)果表明,該算法能有效提高網(wǎng)絡(luò)異常行為檢測的準(zhǔn)確率,降低誤報率,也提高了檢測速率。（3）實現(xiàn)了網(wǎng)絡(luò)異常在線檢測。為... 

【文章來源】： 劉建蘭 西南科技大學(xué)

【文章頁數(shù)】：62 頁

【學(xué)位級別】：碩士

【部分圖文】：

Flume系統(tǒng)架構(gòu)圖

西南科技大學(xué)碩士學(xué)位論文8Broker可以容納多個Topic。（2）Topic：Kafka中每條消息都屬于存儲在一個（或多個）Broker中的某個Topic，然而用戶并不需要關(guān)心數(shù)據(jù)存放在何處只需指定消息的主題名即可生產(chǎn)或者消費數(shù)據(jù)。（3）Partition：為了實現(xiàn)可擴展性，一個Topic可以被分為多個Partition，消息通過輪詢或者哈希算法散列分布到多臺Broker的Partition中，其中的每條消息都有一個自增Id（Offset）。（4）Offset：在Topic的Partition中，Offset隨著同一個Partition中消息的寫入自增。（5）Replica：Topic的Partition含有多個副本，其中一個為用于所有讀寫請求的Leader，剩余的是作為備用的Follower。（6）Message：每個消息生產(chǎn)者向一個主題發(fā)布的一些消息。（7）Producer：數(shù)據(jù)生產(chǎn)者將消息發(fā)布到指定的主題中，同時它也決定此消息所屬的Partition。（8）Consumer：主要負(fù)責(zé)根據(jù)分區(qū)索引及其消息偏移量從指定的Topic中拉取消息。（9）ConsumerGroup：它和Consumer之間是一對多的關(guān)系，消息會在同一消費組的消息者之間進行負(fù)載均衡。（10）Zookeeper：在Zookeeper集群中會保存Kafka集群中Topic、Broker的狀態(tài)以及Consumer的消費信息等。通過這些信息，Kafka很好地結(jié)合了消息生產(chǎn)、存儲、合消費的整個過程。一個典型的Kafka集群中包含若干個Producer、Broker、ConsumerGroup和Zookeeper。Kafka拓?fù)浣Y(jié)構(gòu)圖如圖2-2所示。Producer產(chǎn)生數(shù)據(jù)并使用push模式將消息發(fā)布到Broker上的Topic中，Consumer使用pull模式從Topic中拉取并消費消息，Zookeeper則負(fù)責(zé)管理協(xié)調(diào)Kafka集群。圖2-2Kafka拓?fù)浣Y(jié)構(gòu)圖

2相關(guān)技術(shù)介紹92.3大數(shù)據(jù)處理框架SparkSpark是一個擴展了MapReduce計算框架而且進一步提高了速度的基于內(nèi)存的計算框架。Spark兼容存儲歷史數(shù)據(jù)的SparkSQL、用于實時分析的SparkStreaming、用于離線分析的SparkMLlib和圖計算GraphX等計算模型。Spark相比于MapReduce具有速度快、性能高、多個計算模型集成等優(yōu)點，即使是必須在磁盤上進行的復(fù)雜計算，依然比MapReduce高效迅速，因此該技術(shù)受到了廣大開發(fā)者的關(guān)注。ApacheSpark引入了一種稱為彈性分布式數(shù)據(jù)集（RDD）的抽象概念，RDD具有高容錯、并行化、彈性的特點，使用戶可以將數(shù)據(jù)顯示地存放到磁盤和內(nèi)存中并進行控制。Spark的運行架構(gòu)如圖2-3所示，包括任務(wù)控制節(jié)點(Driver)、集群資源管理器(ClusterManager)、工作節(jié)點(WorkerNode)和每個工作節(jié)點上的執(zhí)行進程(Executor)。圖2-3Spark的運行架構(gòu)Spark運行模式可分為單機模式和集群模式，其中集群模式又可分為Standalone獨立集群模式、YARN集群模式和Mesos集群模式。本文配置YARN集群模式，該模式在啟動YARN集群的前提下，通過./bin/spark-submit--classxxxxxx命令將應(yīng)用程序提交給YARN上運行，通過YARN資源調(diào)度在容器中啟動要執(zhí)行的進程，從而完成控制節(jié)點端分發(fā)給工作節(jié)點中執(zhí)行進程的各個任務(wù)。YARN集群模式又分為YarnClinet和YarnCluster兩種運行模式，兩者的區(qū)別在于Driver端啟動在本地(Client)，還是在Yarn集群內(nèi)部的AM中(Cluster)，可以通過yarn-client和yarn-cluster命令指定，本文選擇可將數(shù)據(jù)存儲在HDFS中方便查看的YarnCluster模式。YarnCluster集群模式的運行原理如圖2-4所示，具體如下：

【參考文獻】：
期刊論文
[1]改進的隨機森林分類器網(wǎng)絡(luò)入侵檢測方法[J]. 夏景明,李沖,談玲,周剛.  計算機工程與設(shè)計. 2019(08)
[2]基于獨熱編碼和卷積神經(jīng)網(wǎng)絡(luò)的異常檢測[J]. 梁杰,陳嘉豪,張雪芹,周悅,林家駿.  清華大學(xué)學(xué)報(自然科學(xué)版). 2019(07)
[3]基于K-means聚類特征消減的網(wǎng)絡(luò)異常檢測[J]. 賈凡,嚴(yán)妍,張家琪.  清華大學(xué)學(xué)報(自然科學(xué)版). 2018(02)
[4]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為建模方法[J]. 董娜,劉偉娜,侯波濤.  電力信息與通信技術(shù). 2018(01)
[5]基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)異常行為分析監(jiān)測系統(tǒng)[J]. 王萍.  電子技術(shù)與軟件工程. 2017(24)
[6]基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J]. 陳興蜀,曾雪梅,王文賢,邵國林.  工程科學(xué)與技術(shù). 2017(03)
[7]基于多維時間序列分析的網(wǎng)絡(luò)異常檢測[J]. 陳興蜀,江天宇,曾雪梅,尹學(xué)淵,邵國林.  工程科學(xué)與技術(shù). 2017(01)
[8]大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢感知研究進展[J]. 盧湛昌.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(01)
[9]基于流量行為特征的異常流量檢測[J]. 胡洋瑞,陳興蜀,王俊峰,葉曉鳴.  信息網(wǎng)絡(luò)安全. 2016(11)

博士論文
[1]基于深度學(xué)習(xí)的網(wǎng)絡(luò)異常檢測技術(shù)研究[D]. 尹傳龍.戰(zhàn)略支援部隊信息工程大學(xué) 2018

碩士論文
[1]基于Spark的網(wǎng)絡(luò)異常流量檢測系統(tǒng)的設(shè)計與實現(xiàn)[D]. 周繼成.北京郵電大學(xué) 2019
[2]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測平臺的設(shè)計與實現(xiàn)[D]. 李若鵬.華南理工大學(xué) 2018
[3]入侵檢測系統(tǒng)中特征選擇算法與模型構(gòu)建方法的研究[D]. 于洋.蘭州大學(xué) 2017



本文編號：3006680