隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,網(wǎng)絡(luò)安全問題日益嚴(yán)峻。面對日益復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)威脅變得更加多元性和破壞性。傳統(tǒng)的安全工具如Snort和防火墻,通過規(guī)則對單條日志進(jìn)行匹配分析,不能捕捉完整的攻擊行為,往往會出現(xiàn)誤報和漏報的問題,而且規(guī)則編寫依賴經(jīng)驗豐富的安全技術(shù)人員的專家知識,系統(tǒng)的泛化能力弱,實現(xiàn)成本高。本文提出一種基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng),利用機(jī)器學(xué)習(xí)模型搭建系統(tǒng)兩道防線,實現(xiàn)既快速又精確地感知網(wǎng)絡(luò)威脅,并對系統(tǒng)模型進(jìn)行可解釋性研究,且對預(yù)測結(jié)果和可解釋性研究結(jié)果進(jìn)行展示。在威脅感知系統(tǒng)中,訓(xùn)練樣本是整個系統(tǒng)的基礎(chǔ),特征的完備性、有效性和標(biāo)注的準(zhǔn)確性關(guān)系著整個系統(tǒng)的性能。本文研究和設(shè)計了構(gòu)建行為特征和狀態(tài)特征的方法,并對特征設(shè)計降維和降參方法。針對標(biāo)注不準(zhǔn)確和標(biāo)注樣本少的問題,設(shè)計了基于自適應(yīng)損失的半監(jiān)督學(xué)習(xí)模型,對樣本進(jìn)行重新標(biāo)注(凈化)和標(biāo)注(擴(kuò)充)。整篇論文的具體工作內(nèi)容如下:1.查閱文獻(xiàn)總結(jié)威脅感知系統(tǒng)的研究背景和意義以及相應(yīng)技術(shù)的研究現(xiàn)狀,從中分析出本文系統(tǒng)的設(shè)計目標(biāo)和思路。2.對實現(xiàn)系統(tǒng)的關(guān)鍵技術(shù)的實現(xiàn)原理進(jìn)行研究并總結(jié)其特點和使用技巧。關(guān)鍵技術(shù)包括大數(shù)據(jù)平臺技術(shù)、傳統(tǒng)日志分析技術(shù)、機(jī)器學(xué)習(xí)模型、可解釋性模型和展現(xiàn)層技術(shù)。3.分析傳統(tǒng)構(gòu)建特征方法的缺點,提出構(gòu)建行為特征和狀態(tài)特征的方法,并提出了降低稀疏行為特征維度和網(wǎng)絡(luò)參數(shù)個數(shù)的辦法。分析數(shù)據(jù)采集過程中出現(xiàn)的兩大問題,提出了基于自適應(yīng)損失函數(shù)的半監(jiān)督學(xué)習(xí)模型解決思路,并評估了半監(jiān)督學(xué)習(xí)模型的性能。4.設(shè)計威脅感知系統(tǒng)的架構(gòu)和訓(xùn)練、預(yù)測流程。對系統(tǒng)中日志采集模塊、日志匹配模塊、日志檢測模塊、日志分析模塊和結(jié)果展現(xiàn)模塊進(jìn)行詳細(xì)地設(shè)計實現(xiàn)。5.通過實驗訓(xùn)練和評估系統(tǒng),保證了系統(tǒng)的可靠性和穩(wěn)定性。介紹了系統(tǒng)訓(xùn)練的流程、調(diào)參思路和部分實驗結(jié)果,并評估系統(tǒng),最后分析模型可解釋性的研究結(jié)果。最后,本文實現(xiàn)了基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng)。通過實驗表明,本系統(tǒng)能夠精確高效地定位威脅,同時具有低誤報率和漏報率的特點。模型可解釋性的研究結(jié)果,一方面驗證了系統(tǒng)可靠性,另一方面揭示了系統(tǒng)脆弱點和攻擊者的攻擊手段,幫助安全人員管理運(yùn)維服務(wù)器。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP393.08;TP311.13
【部分圖文】：

一，到至關(guān)重要的作用，Ｈｕｍｅ能將多個服務(wù)器產(chǎn)生的曰志信息統(tǒng)一收集到ＨＤＦＳ，逡逑Ｓｐａｒｋ技術(shù)提供分布式的數(shù)據(jù)處理技術(shù)，論文中的特征構(gòu)建、規(guī)則庫的建立和逡逑ＸＧＢｏｏｓｔ的訓(xùn)練都通過Ｓｐａｒｋ平臺實現(xiàn)，極大地提高了系統(tǒng)處理速度。逡逑２．１．１邋Ｆｌｕｍｅ逡逑Ｆｌｕｍｅ是ｃｌｏｕｄｅｒａ開發(fā)的可靠可用的分布式服務(wù)，用于收集和聚合大量的曰逡逑志數(shù)據(jù)。Ｆｌｕｍｅ具有靈活的體系結(jié)構(gòu)，滿足分布式系統(tǒng)健壯性和容錯性，實現(xiàn)了逡逑故障轉(zhuǎn)移和恢復(fù)機(jī)制，它還提供了簡單可擴(kuò)展的接口，方便開發(fā)人員進(jìn)行自定義逡逑擴(kuò)展。逡逑Ｆｌｕｍｅ由ｓｏｕｒｃｅ、ｃｈａｎｎｅｌ和ｓｉｎｋ三部分構(gòu)成，ｓｏｕｒｃｅ是系統(tǒng)輸入，監(jiān)控數(shù)據(jù)逡逑源，當(dāng)數(shù)據(jù)源被修改后上傳到ｓｉｎｋ指定的輸出，支持文件、文件夾和端口等數(shù)據(jù)逡逑源；ｓｉｎｋ是系統(tǒng)輸出，支持輸出到文件、ＨＤＦＳ和ｋａｆｋａ等，而ｃｈａｎｎｅｌ負(fù)責(zé)將輸逡逑入ｓｏｕｒｃｅ和輸出ｓｉｎｋ嫁接起來。Ｆｌｕｍｅ支持自定義ｓｏｕｒｃｅ和ｓｉｎｋ結(jié)構(gòu)，如下圖逡逑所示：逡逑

邐＃逡逑圖２－２邋Ｓｐａｒｋ計算模型逡逑圖２－２中每個矩形小框都是一個ＲＤＤ，邋ｓｔａｇｅ劃分的依據(jù)是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數(shù)據(jù)結(jié)果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術(shù)逡逑傳統(tǒng)的日志分析技術(shù)利用安全從業(yè)人員或研究人員精湛的技術(shù)和豐富的經(jīng)逡逑驗，形成一系列規(guī)則，再對日志數(shù)據(jù)進(jìn)行模式匹配，從而分析出網(wǎng)絡(luò)安全狀況。逡逑為了適應(yīng)網(wǎng)絡(luò)威脅的多變性，這些技術(shù)往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結(jié)合自身的網(wǎng)絡(luò)環(huán)境自定義規(guī)則來搭建感知系統(tǒng)。逡逑按照一次分析日志數(shù)量分類，傳統(tǒng)的日志分析技術(shù)分為基于模式匹配的單條逡逑日志分析技術(shù)和基于攻擊圖的多條日志分析技術(shù)，這兩類技術(shù)提供了本文系統(tǒng)第逡逑一道防線的搭建思路

邐＊邐＃逡逑圖２－２邋Ｓｐａｒｋ計算模型逡逑圖２－２中每個矩形小框都是一個ＲＤＤ，邋ｓｔａｇｅ劃分的依據(jù)是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數(shù)據(jù)結(jié)果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術(shù)逡逑傳統(tǒng)的日志分析技術(shù)利用安全從業(yè)人員或研究人員精湛的技術(shù)和豐富的經(jīng)逡逑驗，形成一系列規(guī)則，再對日志數(shù)據(jù)進(jìn)行模式匹配，從而分析出網(wǎng)絡(luò)安全狀況。逡逑為了適應(yīng)網(wǎng)絡(luò)威脅的多變性，這些技術(shù)往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結(jié)合自身的網(wǎng)絡(luò)環(huán)境自定義規(guī)則來搭建感知系統(tǒng)。逡逑按照一次分析日志數(shù)量分類，傳統(tǒng)的日志分析技術(shù)分為基于模式匹配的單條逡逑日志分析技術(shù)和基于攻擊圖的多條日志分析技術(shù)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機(jī)會[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進(jìn)行日志分析[J];電腦開發(fā)與應(yīng)用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫時代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢?nèi)罩痉治瞿Ｐ蜆?gòu)建機(jī)制[J];數(shù)字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺應(yīng)用探索與實踐[J];金融科技時代;2018年01期

8 王立柱;朱茜;;實時日志分析系統(tǒng)在河南氣象信息化中的應(yīng)用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運(yùn)維管理中的應(yīng)用[J];金融電子化;2017年03期

相關(guān)會議論文 前10條

1 周濤;;基于數(shù)據(jù)挖掘的入侵檢測日志分析技術(shù)研究[A];第二屆中國科學(xué)院博士后學(xué)術(shù)年會暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會議程序冊[C];2010年

2 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國計算機(jī)安全學(xué)術(shù)交流會論文集[C];2006年

3 馬勇;趙學(xué)明;孫波;;基于Aprior算法的Web日志分析方法[A];第27次全國計算機(jī)安全學(xué)術(shù)交流會論文集[C];2012年

4 魏晨輝;張展;向琳;王書婷;左德承;;一種基于高端容錯計算機(jī)故障日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];第十四屆全國容錯計算學(xué)術(shù)會議(CFTC'2011)論文集[C];2011年

5 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

6 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

7 胡雙雙;武斌;;基于攻擊圖的蜜網(wǎng)日志分析[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

8 許丹青;劉奕群;岑榮偉;馬少平;茹立云;楊磊;;基于日志分析的中文輸入法用戶行為研究[A];第五屆全國青年計算語言學(xué)研討會論文集[C];2010年

9 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

10 朱江;詹微;林勇;梁翰中;;MOTOROLA BSC多元維模式[A];四川省通信學(xué)會2007年學(xué)術(shù)年會論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 ;日志分析中的五個誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

2 本報記者 趙明;新一代日志分析系統(tǒng)為企業(yè)運(yùn)維減負(fù)[N];中國計算機(jī)報;2016年

3 中科院計算所 李洋;使用Webalizer進(jìn)行網(wǎng)絡(luò)流量日志分析[N];計算機(jī)世界;2006年

4 陳代壽;網(wǎng)管的四兩撥千斤[N];中國計算機(jī)報;2004年

5 ;Docker支持更深人的容器日志分析[N];中國信息化周報;2016年

6 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

7 王婷;IDC增值服務(wù)：網(wǎng)站日志分析[N];計算機(jī)世界;2001年

8 重慶 航行者;IIS的安全[N];電腦報;2002年

9 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報;2003年

10 記者 聞丹巖;Cisco與世紀(jì)互聯(lián)讓利用戶[N];中國計算機(jī)報;2001年

相關(guān)博士學(xué)位論文 前1條

1 李志強(qiáng);基于網(wǎng)絡(luò)日志的用戶行為分析[D];北京理工大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 馬晨;基于大數(shù)據(jù)機(jī)器學(xué)習(xí)的告警關(guān)聯(lián)分析與預(yù)測[D];北京郵電大學(xué);2019年

2 段明琪;基于日志分析的大數(shù)據(jù)威脅感知系統(tǒng)的研究[D];北京郵電大學(xué);2019年

3 鮑有;基于云平臺日志分析的追責(zé)方法研究與設(shè)計[D];北京郵電大學(xué);2019年

4 馮巖;基于大數(shù)據(jù)的新聞日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2019年

5 張森;基于網(wǎng)絡(luò)查詢?nèi)罩镜膫�人搜索主題分析與探索[D];山東財經(jīng)大學(xué);2018年

6 宋橋白;基于Hadoop大數(shù)據(jù)平臺的網(wǎng)站日志解析系統(tǒng)的設(shè)計和實現(xiàn)[D];廈門大學(xué);2018年

7 農(nóng)堂高;面向網(wǎng)易游戲工作室服務(wù)器集群的日志收集工具設(shè)計與實現(xiàn)[D];南京大學(xué);2019年

8 劉紹廷;面向多源異構(gòu)日志的關(guān)聯(lián)與分類研究[D];鄭州大學(xué);2019年

9 何嘉儀;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)日志檢測與實現(xiàn)[D];湖南大學(xué);2014年

10 張興富;首鋼礦業(yè)公司網(wǎng)絡(luò)交換機(jī)日志收集與分析系統(tǒng)的設(shè)計與實現(xiàn)[D];東北大學(xué);2015年

本文編號：2813576