大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全事件層出不窮,安全態(tài)勢感知系統(tǒng)的應(yīng)用勢在必行。通過挖掘日志數(shù)據(jù)并進行安全分析,可以實現(xiàn)對異常事件的追責(zé)與溯源,有效地減少網(wǎng)絡(luò)安全事故的發(fā)生。針對傳統(tǒng)K-Means算法時間開銷大、執(zhí)行效率低的問題,將改進K-Means算法在大數(shù)據(jù)計算框架Hadoop上實現(xiàn)并行化,來滿足大數(shù)據(jù)下安全態(tài)勢感知系統(tǒng)日志安全分析的需求。實驗表明,改進后的算法在有效性和時間復(fù)雜度方面都優(yōu)于傳統(tǒng)算法。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖2功能模塊圖

圖1系統(tǒng)架構(gòu)圖1.2系統(tǒng)工作原理

圖1系統(tǒng)架構(gòu)圖

安全態(tài)勢平臺的總體軟件架構(gòu)由數(shù)據(jù)層、分析層、展示層三部分組成。數(shù)據(jù)層處于整個系統(tǒng)框架的底層，主要完成的是數(shù)據(jù)源的采集與存儲，將不同來源的日志切成大小相同的數(shù)據(jù)片后送到各個節(jié)點。分析層調(diào)用Map和Reduce函數(shù)庫將任務(wù)進行拆分作并行計算，結(jié)合K-Means聚類算法進行聚類結(jié)果分析....

圖3改進K-Means算法流程圖

針對K-Means在數(shù)據(jù)處理方面的缺陷，本文提出一種改進K-Means算法。新算法在去除孤立點干擾、尋找合適的聚類中心、判斷中心點收斂的方式等方面做出了改進，改善了傳統(tǒng)K-Means算法耗時長、執(zhí)行效率低等問題[6]。改進后的算法流程圖如圖3所示。改進K-Means算法描述如下：

圖4MapReduce并行化處理流程

經(jīng)過標準化、過濾、補齊、關(guān)聯(lián)標簽等流程后，日志數(shù)據(jù)如表1所示[9]。3.1算法有效性驗證

本文編號：3953542