隨著互聯(lián)網技術的快速發(fā)展,網絡安全問題日益嚴峻。面對日益復雜的網絡結構,網絡威脅變得更加多元性和破壞性。傳統(tǒng)的安全工具如Snort和防火墻,通過規(guī)則對單條日志進行匹配分析,不能捕捉完整的攻擊行為,往往會出現誤報和漏報的問題,而且規(guī)則編寫依賴經驗豐富的安全技術人員的專家知識,系統(tǒng)的泛化能力弱,實現成本高。本文提出一種基于日志分析的大數據威脅感知系統(tǒng),利用機器學習模型搭建系統(tǒng)兩道防線,實現既快速又精確地感知網絡威脅,并對系統(tǒng)模型進行可解釋性研究,且對預測結果和可解釋性研究結果進行展示。在威脅感知系統(tǒng)中,訓練樣本是整個系統(tǒng)的基礎,特征的完備性、有效性和標注的準確性關系著整個系統(tǒng)的性能。本文研究和設計了構建行為特征和狀態(tài)特征的方法,并對特征設計降維和降參方法。針對標注不準確和標注樣本少的問題,設計了基于自適應損失的半監(jiān)督學習模型,對樣本進行重新標注(凈化)和標注(擴充)。整篇論文的具體工作內容如下:1.查閱文獻總結威脅感知系統(tǒng)的研究背景和意義以及相應技術的研究現狀,從中分析出本文系統(tǒng)的設計目標和思路。2.對實現系統(tǒng)的關鍵技術的實現原理進行研究并總結其特點和使用技巧。關鍵技術包括大數據平臺技術、傳統(tǒng)日志分析技術、機器學習模型、可解釋性模型和展現層技術。3.分析傳統(tǒng)構建特征方法的缺點,提出構建行為特征和狀態(tài)特征的方法,并提出了降低稀疏行為特征維度和網絡參數個數的辦法。分析數據采集過程中出現的兩大問題,提出了基于自適應損失函數的半監(jiān)督學習模型解決思路,并評估了半監(jiān)督學習模型的性能。4.設計威脅感知系統(tǒng)的架構和訓練、預測流程。對系統(tǒng)中日志采集模塊、日志匹配模塊、日志檢測模塊、日志分析模塊和結果展現模塊進行詳細地設計實現。5.通過實驗訓練和評估系統(tǒng),保證了系統(tǒng)的可靠性和穩(wěn)定性。介紹了系統(tǒng)訓練的流程、調參思路和部分實驗結果,并評估系統(tǒng),最后分析模型可解釋性的研究結果。最后,本文實現了基于日志分析的大數據威脅感知系統(tǒng)。通過實驗表明,本系統(tǒng)能夠精確高效地定位威脅,同時具有低誤報率和漏報率的特點。模型可解釋性的研究結果,一方面驗證了系統(tǒng)可靠性,另一方面揭示了系統(tǒng)脆弱點和攻擊者的攻擊手段,幫助安全人員管理運維服務器。
【學位單位】：北京郵電大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP393.08;TP311.13
【部分圖文】：

一，到至關重要的作用，Ｈｕｍｅ能將多個服務器產生的曰志信息統(tǒng)一收集到ＨＤＦＳ，逡逑Ｓｐａｒｋ技術提供分布式的數據處理技術，論文中的特征構建、規(guī)則庫的建立和逡逑ＸＧＢｏｏｓｔ的訓練都通過Ｓｐａｒｋ平臺實現，極大地提高了系統(tǒng)處理速度。逡逑２．１．１邋Ｆｌｕｍｅ逡逑Ｆｌｕｍｅ是ｃｌｏｕｄｅｒａ開發(fā)的可靠可用的分布式服務，用于收集和聚合大量的曰逡逑志數據。Ｆｌｕｍｅ具有靈活的體系結構，滿足分布式系統(tǒng)健壯性和容錯性，實現了逡逑故障轉移和恢復機制，它還提供了簡單可擴展的接口，方便開發(fā)人員進行自定義逡逑擴展。逡逑Ｆｌｕｍｅ由ｓｏｕｒｃｅ、ｃｈａｎｎｅｌ和ｓｉｎｋ三部分構成，ｓｏｕｒｃｅ是系統(tǒng)輸入，監(jiān)控數據逡逑源，當數據源被修改后上傳到ｓｉｎｋ指定的輸出，支持文件、文件夾和端口等數據逡逑源；ｓｉｎｋ是系統(tǒng)輸出，支持輸出到文件、ＨＤＦＳ和ｋａｆｋａ等，而ｃｈａｎｎｅｌ負責將輸逡逑入ｓｏｕｒｃｅ和輸出ｓｉｎｋ嫁接起來。Ｆｌｕｍｅ支持自定義ｓｏｕｒｃｅ和ｓｉｎｋ結構，如下圖逡逑所示：逡逑

邐＃逡逑圖２－２邋Ｓｐａｒｋ計算模型逡逑圖２－２中每個矩形小框都是一個ＲＤＤ，邋ｓｔａｇｅ劃分的依據是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數據結果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術逡逑傳統(tǒng)的日志分析技術利用安全從業(yè)人員或研究人員精湛的技術和豐富的經逡逑驗，形成一系列規(guī)則，再對日志數據進行模式匹配，從而分析出網絡安全狀況。逡逑為了適應網絡威脅的多變性，這些技術往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結合自身的網絡環(huán)境自定義規(guī)則來搭建感知系統(tǒng)。逡逑按照一次分析日志數量分類，傳統(tǒng)的日志分析技術分為基于模式匹配的單條逡逑日志分析技術和基于攻擊圖的多條日志分析技術，這兩類技術提供了本文系統(tǒng)第逡逑一道防線的搭建思路

邐＊邐＃逡逑圖２－２邋Ｓｐａｒｋ計算模型逡逑圖２－２中每個矩形小框都是一個ＲＤＤ，邋ｓｔａｇｅ劃分的依據是ＲＤＤ算子操作逡逑是寬依賴還是窄依賴，在ｔｒａｎｓｆｏｒｍ算子中的計算都是惰性的，并不能立即得到逡逑執(zhí)行，它要等ａｃｔｉｏｎ操作觸發(fā)后才能觸發(fā)生效。ａｃｔｉｏｎ操作觸發(fā)Ｓｐａｒｋ提交Ｊｏｂ逡逑（作業(yè)），將數據結果傳輸給Ｓｐａｒｋ系統(tǒng)并存儲到ＨＤＦＳ。逡逑２．２傳統(tǒng)日志分析技術逡逑傳統(tǒng)的日志分析技術利用安全從業(yè)人員或研究人員精湛的技術和豐富的經逡逑驗，形成一系列規(guī)則，再對日志數據進行模式匹配，從而分析出網絡安全狀況。逡逑為了適應網絡威脅的多變性，這些技術往往提供自定義規(guī)則的接口［１７］，讓安全管逡逑理人員能靈活地結合自身的網絡環(huán)境自定義規(guī)則來搭建感知系統(tǒng)。逡逑按照一次分析日志數量分類，傳統(tǒng)的日志分析技術分為基于模式匹配的單條逡逑日志分析技術和基于攻擊圖的多條日志分析技術

【相似文獻】

相關期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機會[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質;;基于蜜罐日志分析的主動防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進行日志分析[J];電腦開發(fā)與應用;2007年09期

4 朱欣怡;;基于大數據技術的日志分析體系結構的研究[J];智庫時代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢日志分析模型構建機制[J];數字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務日志[J];網絡安全和信息化;2017年06期

7 胡沐創(chuàng);;大數據日志分析平臺應用探索與實踐[J];金融科技時代;2018年01期

8 王立柱;朱茜;;實時日志分析系統(tǒng)在河南氣象信息化中的應用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網絡安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術在IT運維管理中的應用[J];金融電子化;2017年03期

相關會議論文 前10條

1 周濤;;基于數據挖掘的入侵檢測日志分析技術研究[A];第二屆中國科學院博士后學術年會暨高新技術前沿與發(fā)展學術會議程序冊[C];2010年

2 耿濤;;Web日志分析在電子數據取證中的應用[A];第二十一次全國計算機安全學術交流會論文集[C];2006年

3 馬勇;趙學明;孫波;;基于Aprior算法的Web日志分析方法[A];第27次全國計算機安全學術交流會論文集[C];2012年

4 魏晨輝;張展;向琳;王書婷;左德承;;一種基于高端容錯計算機故障日志分析系統(tǒng)的設計與實現[A];第十四屆全國容錯計算學術會議(CFTC'2011)論文集[C];2011年

5 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設計[A];第十九屆全國青年通信學術年會論文集[C];2014年

6 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應用[A];第二十四屆中國數據庫學術會議論文集（研究報告篇）[C];2007年

7 胡雙雙;武斌;;基于攻擊圖的蜜網日志分析[A];第十九屆全國青年通信學術年會論文集[C];2014年

8 許丹青;劉奕群;岑榮偉;馬少平;茹立云;楊磊;;基于日志分析的中文輸入法用戶行為研究[A];第五屆全國青年計算語言學研討會論文集[C];2010年

9 陳晨;鄭康鋒;;一種基于支持向量機的蜜網系統(tǒng)日志分析方法[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

10 朱江;詹微;林勇;梁翰中;;MOTOROLA BSC多元維模式[A];四川省通信學會2007年學術年會論文集[C];2007年

相關重要報紙文章 前10條

1 ;日志分析中的五個誤區(qū)[N];網絡世界;2004年

2 本報記者 趙明;新一代日志分析系統(tǒng)為企業(yè)運維減負[N];中國計算機報;2016年

3 中科院計算所 李洋;使用Webalizer進行網絡流量日志分析[N];計算機世界;2006年

4 陳代壽;網管的四兩撥千斤[N];中國計算機報;2004年

5 ;Docker支持更深人的容器日志分析[N];中國信息化周報;2016年

6 IBM大數據專家 James Kobielus　范范 編譯;大數據日志分析借機器學習騰飛[N];網絡世界;2014年

7 王婷;IDC增值服務：網站日志分析[N];計算機世界;2001年

8 重慶 航行者;IIS的安全[N];電腦報;2002年

9 覃進文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報;2003年

10 記者 聞丹巖;Cisco與世紀互聯(lián)讓利用戶[N];中國計算機報;2001年

相關博士學位論文 前1條

1 李志強;基于網絡日志的用戶行為分析[D];北京理工大學;2016年

相關碩士學位論文 前10條

1 馬晨;基于大數據機器學習的告警關聯(lián)分析與預測[D];北京郵電大學;2019年

2 段明琪;基于日志分析的大數據威脅感知系統(tǒng)的研究[D];北京郵電大學;2019年

3 鮑有;基于云平臺日志分析的追責方法研究與設計[D];北京郵電大學;2019年

4 馮巖;基于大數據的新聞日志分析系統(tǒng)的設計與實現[D];北京郵電大學;2019年

5 張森;基于網絡查詢日志的個人搜索主題分析與探索[D];山東財經大學;2018年

6 宋橋白;基于Hadoop大數據平臺的網站日志解析系統(tǒng)的設計和實現[D];廈門大學;2018年

7 農堂高;面向網易游戲工作室服務器集群的日志收集工具設計與實現[D];南京大學;2019年

8 劉紹廷;面向多源異構日志的關聯(lián)與分類研究[D];鄭州大學;2019年

9 何嘉儀;基于數據挖掘的網絡日志檢測與實現[D];湖南大學;2014年

10 張興富;首鋼礦業(yè)公司網絡交換機日志收集與分析系統(tǒng)的設計與實現[D];東北大學;2015年

本文編號：2813576