【摘要】：網(wǎng)絡(luò)攻擊事件的頻繁發(fā)生和入侵手段的多樣化,使得入侵檢測(cè)系統(tǒng)(IDS)每天產(chǎn)生大量誤報(bào)和冗余的告警信息,是網(wǎng)絡(luò)安全管理工作的一大難題。研究者們發(fā)現(xiàn)通過對(duì)孤立的告警信息進(jìn)行關(guān)聯(lián)分析,可以還原攻擊事件的發(fā)生過程,幫助管理員發(fā)現(xiàn)網(wǎng)絡(luò)的薄弱環(huán)節(jié)。本文使用Spark集群和Hadoop生態(tài)圈的關(guān)鍵技術(shù),完成了從數(shù)據(jù)的采集與存儲(chǔ),數(shù)據(jù)傳輸?shù)接?jì)算和展示的完整架構(gòu),能有效應(yīng)對(duì)告警數(shù)據(jù)海量化帶來的問題。在此大數(shù)據(jù)處理架構(gòu)上,本文運(yùn)用告警關(guān)聯(lián)方法對(duì)網(wǎng)絡(luò)告警日志進(jìn)行分析,設(shè)計(jì)并實(shí)現(xiàn)了基于大數(shù)據(jù)分析的攻擊場景重建系統(tǒng)。本文重點(diǎn)研究因果關(guān)聯(lián)方法和概率關(guān)聯(lián)方法的算法流程,并在大數(shù)據(jù)平臺(tái)上實(shí)現(xiàn)。對(duì)于因果關(guān)聯(lián)方法,本文加入基于特征重疊的告警去冗余模塊,可以有效去除海量告警日志中重復(fù)和冗余的信息。概率關(guān)聯(lián)方法的核心是定義了IP地址、端口和告警類別等屬性相似度計(jì)算函數(shù),并定義各屬性最小相似度期望值和權(quán)重,計(jì)算告警整體相似度。本文將整個(gè)攻擊場景重建模型拆分成三個(gè)獨(dú)立的模塊予以處理,包括去冗余模塊用于去除重復(fù)告警,聚合模塊用于聚合同一攻擊步驟產(chǎn)生的告警,關(guān)聯(lián)模塊用于將告警聚合的結(jié)果關(guān)聯(lián)形成多步攻擊場景。為了驗(yàn)證系統(tǒng)的有效性和實(shí)用性,本文使用天津理工大學(xué)IDS數(shù)據(jù)集和DARPA數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),結(jié)果證明采用本文方法比PengNing的純因果關(guān)聯(lián)方法更能直觀的展現(xiàn)網(wǎng)絡(luò)攻擊步驟,能大量減少IDS的重復(fù)告警信息,準(zhǔn)確的聚合和關(guān)聯(lián)相似告警信息,有效提高了IDS系統(tǒng)的可用性。
[Abstract]:The frequent occurrence of network attack events and the diversification of intrusion means make intrusion detection system (IDS) produce a large number of false positives and redundant alarm information every day, which is a major problem in network security management. The researchers found that by associating the isolated alarm information, the attack event can be restored and the administrator can find the weak link of the network. Using the key technologies of Spark cluster and Hadoop ecosystem, this paper completes a complete framework from data acquisition and storage, data transmission to calculation and display, which can effectively deal with the problems caused by the sea quantization of alarm data. In this framework of big data, this paper uses the method of alarm correlation to analyze the network alarm log, and designs and implements an attack scene reconstruction system based on big data analysis. This paper focuses on the algorithm flow of causality correlation and probabilistic correlation, which is implemented on big data platform. For causality correlation method, the redundant module based on feature overlap is added to remove redundant and redundant information in massive alarm logs. The core of the probabilistic association method is to define the IP address, port and alarm class and other attribute similarity calculation functions, and define the minimum similarity expectation and weight of each attribute, and calculate the overall similarity of alarm. In this paper, the whole attack scene reconstruction model is divided into three independent modules, including the deredundancy module used to remove the repeated alarm, the aggregation module used to aggregate the alarm generated by the same attack step. The association module is used to correlate the result of alarm aggregation into a multi-step attack scenario. In order to verify the effectiveness and practicability of the system, this paper uses the IDS data set and DARPA dataset of Tianjin University of Science and Technology for experiments. The results show that the proposed method can show the network attack steps more intuitively than the pure causality correlation method of PengNing. It can greatly reduce the repeated alarm information of IDS, accurately aggregate and correlate similar alarm information, and effectively improve the usability of IDS system.
【學(xué)位授予單位】：天津理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP393.08;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳佳佳;胥光輝;陳塵;李明;;一種基于因果關(guān)聯(lián)的攻擊場景產(chǎn)生方法[J];微電子學(xué)與計(jì)算機(jī);2009年09期

2 王志文;夏秦;李平均;;一種面向網(wǎng)絡(luò)行為因果關(guān)聯(lián)的攻擊檢測(cè)方法[J];西安交通大學(xué)學(xué)報(bào);2008年08期

3 楊炳儒,梁開健;復(fù)雜信息處理中因果關(guān)聯(lián)模型的構(gòu)建及主因判定算法[J];計(jì)算機(jī)工程;2004年18期

4 胡健;謝霖銓;楊炳儒;;基于模糊狀態(tài)描述的因果關(guān)聯(lián)規(guī)則的提取過程[J];南昌大學(xué)學(xué)報(bào)(理科版);2008年02期

5 唐嬋娜;范磊;;考慮置信度的告警因果關(guān)聯(lián)的研究[J];信息安全與通信保密;2009年06期

6 崔陽;楊炳儒;;知識(shí)發(fā)現(xiàn)中的因果關(guān)聯(lián)規(guī)則挖掘研究[J];計(jì)算機(jī)工程與應(yīng)用;2009年31期

7 吳慶濤;路凱;李連民;;一種改進(jìn)的基于因果關(guān)聯(lián)的攻擊場景重構(gòu)方法[J];微電子學(xué)與計(jì)算機(jī);2009年06期

8 李振美;;基于因果關(guān)聯(lián)分析惡意代碼檢測(cè)的研究與應(yīng)用[J];信息安全與技術(shù);2014年01期

9 李連民;曹鋒;吳慶濤;云剛;;基于時(shí)序因果關(guān)聯(lián)的網(wǎng)絡(luò)取證研究[J];電腦知識(shí)與技術(shù);2010年22期

10 徐建業(yè);;一種構(gòu)造攻擊場景的推理方法[J];福建電腦;2008年01期

相關(guān)會(huì)議論文 前2條

1 陳佳佳;胥光輝;陳塵;李明;;一種基于因果關(guān)聯(lián)的攻擊場景產(chǎn)生方法[A];2009年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2009年

2 王應(yīng);;基于時(shí)間屬性的多源日志因果關(guān)聯(lián)算法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

相關(guān)重要報(bào)紙文章 前2條

1 楊綠;移民數(shù)量與犯罪率并無因果關(guān)聯(lián)[N];中國社會(huì)科學(xué)報(bào);2012年

2 本報(bào)評(píng)論員;“不能總用停產(chǎn)保安全”考驗(yàn)政府治理能力[N];南方日?qǐng)?bào);2007年

相關(guān)碩士學(xué)位論文 前6條

1 溫勇;基于懶惰學(xué)習(xí)的顯露模式分類算法研究[D];合肥工業(yè)大學(xué);2015年

2 黃靜耘;基于大數(shù)據(jù)分析的網(wǎng)絡(luò)攻擊場景重建系統(tǒng)[D];天津理工大學(xué);2017年

3 唐嬋娜;考慮置信度的告警因果關(guān)聯(lián)的研究[D];上海交通大學(xué);2009年

4 王璐璐;基于告警因果關(guān)系和概率統(tǒng)計(jì)的攻擊場景重建方法的研究[D];上海交通大學(xué);2011年

5 張玉剛;基于模糊聚類和因果關(guān)聯(lián)的攻擊場景構(gòu)造方法的研究與實(shí)現(xiàn)[D];華中師范大學(xué);2009年

6 羅寧;基于因果關(guān)聯(lián)攻擊場景重構(gòu)的方法研究[D];華中科技大學(xué);2005年

，

本文編號(hào)：2406988