針對現(xiàn)有多源入侵檢測設備產(chǎn)生的報警數(shù)據(jù)中存在大量冗余和相似報警,導致檢測精度較低的問題,提出一種基于模糊聚類的報警數(shù)據(jù)并行融合方法。該方法采用模糊聚類的思想融合多源報警數(shù)據(jù),通過最大最小距離算法改進模糊C均值聚類,避免聚類結果陷入局部最優(yōu)解,同時利用MapReduce分布式計算模型提高處理效率。在真實入侵檢測環(huán)境中的實驗結果顯示,通過該方法聚類后的數(shù)據(jù)融合率達到87.88%,證明該方法可有效去除誤報警,提高檢測精度。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1并行FCM算法流程圖

Map過程的主要任務是計算數(shù)據(jù)樣本點到聚類中心的幾何距離，再通過隸屬度計算公式將幾何距離轉(zhuǎn)化成隸屬度，最后將該樣本點數(shù)據(jù)、所屬的聚類中心點以及對應的隸屬度輸出。首先從HDFS上讀取數(shù)據(jù)，并以指定的（key,value）對輸入格式作為Map函數(shù)的輸入值，其中key為數(shù)據(jù)樣本點的id....

圖2Ambari大數(shù)據(jù)平臺拓撲圖

通過搭建真實的Ambari版本的大數(shù)據(jù)平臺來驗證所提方法的有效性。分布式大數(shù)據(jù)處理平臺環(huán)境為CentOS7開源平臺下的分布式集群。實驗環(huán)境的整體拓撲圖如圖2所示，其中Ambari分布式集群由4個節(jié)點組成，包括1臺服務器主節(jié)點Master和3臺服務器作為從節(jié)點，分別為Slave1、....

圖3不同模糊指數(shù)下的融合率對比

同時，為驗證本設計的并行融合方法比常規(guī)的FCM融合方法在單臺服務器上運行的時間效率和數(shù)據(jù)融合率更高，通過控制大數(shù)據(jù)集群工作的服務器數(shù)量，來進行時間效率和數(shù)據(jù)融合率的對比。圖4和圖5分別給出了不同模糊指數(shù)下改進的并行融合方法和常規(guī)的FCM融合方法的運行時間和數(shù)據(jù)融合率對比圖。圖4....

圖5融合率對比

圖4運行時間對比由圖4可知，本算法提出的基于MapReduce編程模型的并行融合方法比常規(guī)的FCM融合方法在運行效率上有明顯的優(yōu)勢，當1≤m≤3時，消耗的時間縮短，當m>3時，融合所需要的時間開始變長，并隨著模糊指數(shù)的增大趨向平穩(wěn)，雖然當m=3時所消耗的時間最短，但是從圖5可知....

本文編號：3986907