針對(duì)傳統(tǒng)的網(wǎng)絡(luò)異常行為檢測(cè)方法無法滿足大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理,且由于算法單一普遍存在準(zhǔn)確率較低、誤報(bào)率較高等問題,本文首先對(duì)基于大數(shù)據(jù)的網(wǎng)絡(luò)異常分析平臺(tái)進(jìn)行了研究,設(shè)計(jì)了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為分析平臺(tái);然后基于Spark設(shè)計(jì)并實(shí)現(xiàn)并行化SA_SVM_RF網(wǎng)絡(luò)異常行為檢測(cè)模型;最后利用NSL-KDD數(shù)據(jù)集驗(yàn)證了方法的有效性。具體地,本文主要的研究成果如下:（1）設(shè)計(jì)了一種適用于網(wǎng)絡(luò)異常行為分析的平臺(tái)。在對(duì)現(xiàn)有大數(shù)據(jù)分析平臺(tái)進(jìn)行研究的基礎(chǔ)之上設(shè)計(jì)了一種針對(duì)網(wǎng)絡(luò)異常檢測(cè)的分析平臺(tái),該平臺(tái)包括數(shù)據(jù)采集與預(yù)處理層、數(shù)據(jù)分析層、數(shù)據(jù)存儲(chǔ)層和可視化層。充分利用大數(shù)據(jù)技術(shù),解決了傳統(tǒng)網(wǎng)絡(luò)異常行為分析方法在應(yīng)對(duì)在大數(shù)據(jù)環(huán)境時(shí)無法有效處理的問題。（2）提出了一種網(wǎng)絡(luò)異常行為檢測(cè)方法�；赟park設(shè)計(jì)并實(shí)現(xiàn)了并行化SA_SVM_RF網(wǎng)絡(luò)異常行為檢測(cè)模型,并利用NSL-KDD數(shù)據(jù)集對(duì)提出的算法進(jìn)行對(duì)比測(cè)試,實(shí)驗(yàn)結(jié)果表明,該算法能有效提高網(wǎng)絡(luò)異常行為檢測(cè)的準(zhǔn)確率,降低誤報(bào)率,也提高了檢測(cè)速率。（3）實(shí)現(xiàn)了網(wǎng)絡(luò)異常在線檢測(cè)。為... 

【文章來源】： 劉建蘭 西南科技大學(xué)

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Flume系統(tǒng)架構(gòu)圖

西南科技大學(xué)碩士學(xué)位論文8Broker可以容納多個(gè)Topic。（2）Topic：Kafka中每條消息都屬于存儲(chǔ)在一個(gè)（或多個(gè)）Broker中的某個(gè)Topic，然而用戶并不需要關(guān)心數(shù)據(jù)存放在何處只需指定消息的主題名即可生產(chǎn)或者消費(fèi)數(shù)據(jù)。（3）Partition：為了實(shí)現(xiàn)可擴(kuò)展性，一個(gè)Topic可以被分為多個(gè)Partition，消息通過輪詢或者哈希算法散列分布到多臺(tái)Broker的Partition中，其中的每條消息都有一個(gè)自增Id（Offset）。（4）Offset：在Topic的Partition中，Offset隨著同一個(gè)Partition中消息的寫入自增。（5）Replica：Topic的Partition含有多個(gè)副本，其中一個(gè)為用于所有讀寫請(qǐng)求的Leader，剩余的是作為備用的Follower。（6）Message：每個(gè)消息生產(chǎn)者向一個(gè)主題發(fā)布的一些消息。（7）Producer：數(shù)據(jù)生產(chǎn)者將消息發(fā)布到指定的主題中，同時(shí)它也決定此消息所屬的Partition。（8）Consumer：主要負(fù)責(zé)根據(jù)分區(qū)索引及其消息偏移量從指定的Topic中拉取消息。（9）ConsumerGroup：它和Consumer之間是一對(duì)多的關(guān)系，消息會(huì)在同一消費(fèi)組的消息者之間進(jìn)行負(fù)載均衡。（10）Zookeeper：在Zookeeper集群中會(huì)保存Kafka集群中Topic、Broker的狀態(tài)以及Consumer的消費(fèi)信息等。通過這些信息，Kafka很好地結(jié)合了消息生產(chǎn)、存儲(chǔ)、合消費(fèi)的整個(gè)過程。一個(gè)典型的Kafka集群中包含若干個(gè)Producer、Broker、ConsumerGroup和Zookeeper。Kafka拓?fù)浣Y(jié)構(gòu)圖如圖2-2所示。Producer產(chǎn)生數(shù)據(jù)并使用push模式將消息發(fā)布到Broker上的Topic中，Consumer使用pull模式從Topic中拉取并消費(fèi)消息，Zookeeper則負(fù)責(zé)管理協(xié)調(diào)Kafka集群。圖2-2Kafka拓?fù)浣Y(jié)構(gòu)圖

2相關(guān)技術(shù)介紹92.3大數(shù)據(jù)處理框架SparkSpark是一個(gè)擴(kuò)展了MapReduce計(jì)算框架而且進(jìn)一步提高了速度的基于內(nèi)存的計(jì)算框架。Spark兼容存儲(chǔ)歷史數(shù)據(jù)的SparkSQL、用于實(shí)時(shí)分析的SparkStreaming、用于離線分析的SparkMLlib和圖計(jì)算GraphX等計(jì)算模型。Spark相比于MapReduce具有速度快、性能高、多個(gè)計(jì)算模型集成等優(yōu)點(diǎn)，即使是必須在磁盤上進(jìn)行的復(fù)雜計(jì)算，依然比MapReduce高效迅速，因此該技術(shù)受到了廣大開發(fā)者的關(guān)注。ApacheSpark引入了一種稱為彈性分布式數(shù)據(jù)集（RDD）的抽象概念，RDD具有高容錯(cuò)、并行化、彈性的特點(diǎn)，使用戶可以將數(shù)據(jù)顯示地存放到磁盤和內(nèi)存中并進(jìn)行控制。Spark的運(yùn)行架構(gòu)如圖2-3所示，包括任務(wù)控制節(jié)點(diǎn)(Driver)、集群資源管理器(ClusterManager)、工作節(jié)點(diǎn)(WorkerNode)和每個(gè)工作節(jié)點(diǎn)上的執(zhí)行進(jìn)程(Executor)。圖2-3Spark的運(yùn)行架構(gòu)Spark運(yùn)行模式可分為單機(jī)模式和集群模式，其中集群模式又可分為Standalone獨(dú)立集群模式、YARN集群模式和Mesos集群模式。本文配置YARN集群模式，該模式在啟動(dòng)YARN集群的前提下，通過./bin/spark-submit--classxxxxxx命令將應(yīng)用程序提交給YARN上運(yùn)行，通過YARN資源調(diào)度在容器中啟動(dòng)要執(zhí)行的進(jìn)程，從而完成控制節(jié)點(diǎn)端分發(fā)給工作節(jié)點(diǎn)中執(zhí)行進(jìn)程的各個(gè)任務(wù)。YARN集群模式又分為YarnClinet和YarnCluster兩種運(yùn)行模式，兩者的區(qū)別在于Driver端啟動(dòng)在本地(Client)，還是在Yarn集群內(nèi)部的AM中(Cluster)，可以通過yarn-client和yarn-cluster命令指定，本文選擇可將數(shù)據(jù)存儲(chǔ)在HDFS中方便查看的YarnCluster模式。YarnCluster集群模式的運(yùn)行原理如圖2-4所示，具體如下：

【參考文獻(xiàn)】：
期刊論文
[1]改進(jìn)的隨機(jī)森林分類器網(wǎng)絡(luò)入侵檢測(cè)方法[J]. 夏景明,李沖,談玲,周剛.  計(jì)算機(jī)工程與設(shè)計(jì). 2019(08)
[2]基于獨(dú)熱編碼和卷積神經(jīng)網(wǎng)絡(luò)的異常檢測(cè)[J]. 梁杰,陳嘉豪,張雪芹,周悅,林家駿.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(07)
[3]基于K-means聚類特征消減的網(wǎng)絡(luò)異常檢測(cè)[J]. 賈凡,嚴(yán)妍,張家琪.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[4]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為建模方法[J]. 董娜,劉偉娜,侯波濤.  電力信息與通信技術(shù). 2018(01)
[5]基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)異常行為分析監(jiān)測(cè)系統(tǒng)[J]. 王萍.  電子技術(shù)與軟件工程. 2017(24)
[6]基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報(bào)分析[J]. 陳興蜀,曾雪梅,王文賢,邵國林.  工程科學(xué)與技術(shù). 2017(03)
[7]基于多維時(shí)間序列分析的網(wǎng)絡(luò)異常檢測(cè)[J]. 陳興蜀,江天宇,曾雪梅,尹學(xué)淵,邵國林.  工程科學(xué)與技術(shù). 2017(01)
[8]大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究進(jìn)展[J]. 盧湛昌.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2017(01)
[9]基于流量行為特征的異常流量檢測(cè)[J]. 胡洋瑞,陳興蜀,王俊峰,葉曉鳴.  信息網(wǎng)絡(luò)安全. 2016(11)

博士論文
[1]基于深度學(xué)習(xí)的網(wǎng)絡(luò)異常檢測(cè)技術(shù)研究[D]. 尹傳龍.戰(zhàn)略支援部隊(duì)信息工程大學(xué) 2018

碩士論文
[1]基于Spark的網(wǎng)絡(luò)異常流量檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 周繼成.北京郵電大學(xué) 2019
[2]基于大數(shù)據(jù)的網(wǎng)絡(luò)異常行為檢測(cè)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李若鵬.華南理工大學(xué) 2018
[3]入侵檢測(cè)系統(tǒng)中特征選擇算法與模型構(gòu)建方法的研究[D]. 于洋.蘭州大學(xué) 2017



本文編號(hào)：3006680