隨著互聯(lián)網(wǎng)應(yīng)用逐漸普及,人們通過互聯(lián)網(wǎng)傳遞更多重要信息,但是信息泄露給人們工作生活帶來的損失也會隨之增加,所以網(wǎng)絡(luò)安全成為了各國細(xì)信息技術(shù)領(lǐng)域的重點(diǎn)研究方向之一,同樣各國政府部門、企業(yè)和高校也越來越重視網(wǎng)絡(luò)安全�！�2015年數(shù)據(jù)泄露損失研究》內(nèi)揭露出,近兩年來每起數(shù)據(jù)泄露事件的平均損失總額增長了23%,達(dá)到379萬美元,同時泄露事件的發(fā)生總量略有下降,而且每起泄露事件所暴露的身份中位數(shù)減少了約三分之一達(dá)到4885個,這表明每起泄露事件中被盜取的身份具有更高的價值或敏感性。而2016年中國網(wǎng)民因數(shù)據(jù)泄漏引發(fā)的經(jīng)濟(jì)損失高達(dá)915億元。由此可見,網(wǎng)絡(luò)安全是科技與經(jīng)濟(jì)發(fā)展的重要保障,而且多數(shù)由于網(wǎng)絡(luò)安全而發(fā)生的數(shù)據(jù)泄露事件都未能取證和追究法律責(zé)任,導(dǎo)致全球范圍內(nèi)的黑色產(chǎn)業(yè)日益猖獗。因?yàn)閃eb應(yīng)用的普及度在近幾年內(nèi)逐漸增加,Web應(yīng)用正在逐漸替代很多傳統(tǒng)業(yè)務(wù),更多業(yè)務(wù)可在Web應(yīng)用上處理,所以Web頁面會涉及到更多的敏感信息,例如SQL注入、暴力破解或撞庫攻擊就會導(dǎo)致數(shù)據(jù)庫的直接泄露,跨站腳本(XSS)攻擊能夠直接偽造登錄狀態(tài),國內(nèi)外學(xué)者已經(jīng)對此進(jìn)行了大量研究分析,雖然在市面上也有許多安全防范工具,而真正有威脅的安全事件發(fā)生在這些安全工具所不能覆蓋的區(qū)域。同時任何類型的服務(wù)器都會產(chǎn)生日志,且都有規(guī)范的格式,從而可以提出普適的分析方法,但是Web日志分析安全軟件卻相對較少。網(wǎng)絡(luò)入侵者在攻擊成功后首先都要刪除日志信息來抹除自己入侵的痕跡,這也為事后的調(diào)查和取證帶來了一定的困難。由于現(xiàn)在不用設(shè)備產(chǎn)生的網(wǎng)絡(luò)日志有規(guī)范化和未規(guī)范化的,這就要求對于日志進(jìn)行清洗、去重等預(yù)處理操作。另外,現(xiàn)有的日志分析手段的效率和檢測率也比較低下,所以需要對日志分析的方法進(jìn)行提高,除去傳統(tǒng)的基于規(guī)則庫的審計(jì)方法外還須使用更先進(jìn)的基于數(shù)據(jù)挖掘的審計(jì)方法使得審計(jì)的效果更佳。但是一系列的網(wǎng)絡(luò)攻擊行為會在很多網(wǎng)絡(luò)設(shè)備上留下痕跡,通常不能刪除干凈,所以可利用殘留的日志信息發(fā)現(xiàn)黑客的行蹤。本文通過對現(xiàn)有的開源和商用的日志安全審計(jì)系統(tǒng)的分析,并結(jié)合當(dāng)前Web安全威脅形勢,明確日志安全審計(jì)系統(tǒng)的功能需求,最終對基于Web日志分析的安全審計(jì)系統(tǒng)進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn),主要工作包括以下幾個方面:(1)詳細(xì)分析研究了各種日志審計(jì)技術(shù)如基于規(guī)則庫、基于數(shù)據(jù)挖掘、基于免疫系統(tǒng)和基于神經(jīng)網(wǎng)絡(luò)的審計(jì)方法的優(yōu)劣,并在設(shè)計(jì)的系統(tǒng)的日志分析模塊采用基于數(shù)據(jù)挖掘?qū)徲?jì)方法。(2)研究手工分析Web日志的方法,設(shè)計(jì)了用于快速審計(jì)的規(guī)則庫,加入新型網(wǎng)絡(luò)攻擊特征,提高準(zhǔn)確率。(3)針對Web日志的特點(diǎn)改進(jìn)了關(guān)聯(lián)規(guī)則算法Apriori算法和FP-Growth算法,使得規(guī)則庫可以自主根據(jù)收集到的日志進(jìn)行規(guī)則挖掘并更新模式庫,并以引入主從屬性作為判斷依據(jù),提取出更加準(zhǔn)確的日志規(guī)則特征。(4)設(shè)計(jì)了基于Web日志分析的安全審計(jì)系統(tǒng),系統(tǒng)的三個主要模塊:日志采集模塊、日志分析模塊和審計(jì)結(jié)果展現(xiàn)模塊,并從整體結(jié)構(gòu)到每個模塊介紹了設(shè)計(jì)的理由。采用分布式采集方式進(jìn)行日志文件的采集和歸一化處理,這可以降低傳統(tǒng)集中式采集的通信壓力和集中式服務(wù)器的數(shù)據(jù)處理壓力。另外日志分析引擎模塊采用優(yōu)化算法進(jìn)行設(shè)計(jì),并結(jié)合了兩種算法的優(yōu)點(diǎn)互為補(bǔ)充。(5)使用Python和C++語言實(shí)現(xiàn)系統(tǒng),并對提出的各模塊的功能進(jìn)行驗(yàn)證,同時為了增強(qiáng)用戶的便捷性用htm15技術(shù)編寫了 Web界面,支持更多離線分析功能,并對整個系統(tǒng)的功能和性能進(jìn)行測試。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP393.08
【部分圖文】：

圖４－２系統(tǒng)總體架構(gòu)圖??日志分析的結(jié)果以Ｗｅｂ頁面展示給安全管理者，因?yàn)檫@種方式直觀、開放??性強(qiáng)且經(jīng)濟(jì)［３１］。根據(jù)系統(tǒng)的功能需求，本文按照下圖４－３的業(yè)務(wù)流程對日志進(jìn)行??收集、處理、審計(jì)等。系統(tǒng)可分為５個功能模塊，他們分別為：日志采集模塊、??日志管理模塊、日志預(yù)處理模塊、日志分析與審計(jì)模塊、系統(tǒng)輸出響應(yīng)模塊。其??中日志分析與審計(jì)模塊還包括三個子模塊，分別為關(guān)聯(lián)規(guī)則挖掘模塊、規(guī)則庫的??生成模塊和用戶行為異常檢測模塊。輸出響應(yīng)模塊也包括兩個子模塊，分別為實(shí)??時報警模塊和統(tǒng)計(jì)報表生成模塊。?????丨日志分析與審計(jì)模塊?輸出響應(yīng)模塊??曰?１?曰??志?％?志?用??數(shù)?■數(shù)?關(guān)規(guī)?聲?統(tǒng)??收?ｆ?管?規(guī)?庫?為?時?報??集為理?則?的安?報表??模?Ｉ?篳?挖更全?警生??余：?協(xié)?余：丨屈新檢?產(chǎn)??塊?測??！????????ＬＩＺＩＺＩＩＺ???圖４－３基于Ｗｅｂ日志分析的安全審計(jì)系統(tǒng)模塊結(jié)構(gòu)??日志采集模塊用于對被管理系統(tǒng)的日志進(jìn)行采集，主要通過Ｓｙｓｌｏｇ協(xié)議和??ＳＮＭＰＴｒａｐ方式，這兩種協(xié)議的特點(diǎn)已在第二章內(nèi)敘述，同時采用兩種方式可令??系統(tǒng)管理設(shè)備的配置更靈活。??３０??

??ｖ．??圖４－２系統(tǒng)總體架構(gòu)圖??日志分析的結(jié)果以Ｗｅｂ頁面展示給安全管理者，因?yàn)檫@種方式直觀、開放??性強(qiáng)且經(jīng)濟(jì)［３１］。根據(jù)系統(tǒng)的功能需求，本文按照下圖４－３的業(yè)務(wù)流程對日志進(jìn)行??收集、處理、審計(jì)等。系統(tǒng)可分為５個功能模塊，他們分別為：日志采集模塊、??日志管理模塊、日志預(yù)處理模塊、日志分析與審計(jì)模塊、系統(tǒng)輸出響應(yīng)模塊。其??中日志分析與審計(jì)模塊還包括三個子模塊，分別為關(guān)聯(lián)規(guī)則挖掘模塊、規(guī)則庫的??生成模塊和用戶行為異常檢測模塊。輸出響應(yīng)模塊也包括兩個子模塊，分別為實(shí)??時報警模塊和統(tǒng)計(jì)報表生成模塊。?????丨日志分析與審計(jì)模塊?輸出響應(yīng)模塊??曰?１?曰??志?％?志?用??數(shù)?■數(shù)?關(guān)規(guī)?聲?統(tǒng)??收?ｆ?管?規(guī)?庫?為?時?報??集為理?則?的安?報表??模?Ｉ?篳?挖更全?警生??余：?協(xié)?余：丨屈新檢?產(chǎn)??塊?測??！????????ＬＩＺＩＺＩＩＺ???圖４－３基于Ｗｅｂ日志分析的安全審計(jì)系統(tǒng)模塊結(jié)構(gòu)??日志采集模塊用于對被管理系統(tǒng)的日志進(jìn)行采集，主要通過Ｓｙｓｌｏｇ協(xié)議和??ＳＮＭＰＴｒａｐ方式，這兩種協(xié)議的特點(diǎn)已在第二章內(nèi)敘述，同時采用兩

??ｖ．??圖４－２系統(tǒng)總體架構(gòu)圖??日志分析的結(jié)果以Ｗｅｂ頁面展示給安全管理者，因?yàn)檫@種方式直觀、開放??性強(qiáng)且經(jīng)濟(jì)［３１］。根據(jù)系統(tǒng)的功能需求，本文按照下圖４－３的業(yè)務(wù)流程對日志進(jìn)行??收集、處理、審計(jì)等。系統(tǒng)可分為５個功能模塊，他們分別為：日志采集模塊、??日志管理模塊、日志預(yù)處理模塊、日志分析與審計(jì)模塊、系統(tǒng)輸出響應(yīng)模塊。其??中日志分析與審計(jì)模塊還包括三個子模塊，分別為關(guān)聯(lián)規(guī)則挖掘模塊、規(guī)則庫的??生成模塊和用戶行為異常檢測模塊。輸出響應(yīng)模塊也包括兩個子模塊，分別為實(shí)??時報警模塊和統(tǒng)計(jì)報表生成模塊。?????丨日志分析與審計(jì)模塊?輸出響應(yīng)模塊??曰?１?曰??志?％?志?用??數(shù)?■數(shù)?關(guān)規(guī)?聲?統(tǒng)??收?ｆ?管?規(guī)?庫?為?時?報??集為理?則?的安?報表??模?Ｉ?篳?挖更全?警生??余：?協(xié)?余：丨屈新檢?產(chǎn)??塊?測??！????????ＬＩＺＩＺＩＩＺ???圖４－３基于Ｗｅｂ日志分析的安全審計(jì)系統(tǒng)模塊結(jié)構(gòu)??日志采集模塊用于對被管理系統(tǒng)的日志進(jìn)行采集，主要通過Ｓｙｓｌｏｇ協(xié)議和??ＳＮＭＰＴｒａｐ方式，這兩種協(xié)議的特點(diǎn)已在第二章內(nèi)敘述，同時采用兩
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機(jī)會[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進(jìn)行日志分析[J];電腦開發(fā)與應(yīng)用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫時代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢?nèi)罩痉治瞿Ｐ蜆?gòu)建機(jī)制[J];數(shù)字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺應(yīng)用探索與實(shí)踐[J];金融科技時代;2018年01期

8 王立柱;朱茜;;實(shí)時日志分析系統(tǒng)在河南氣象信息化中的應(yīng)用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運(yùn)維管理中的應(yīng)用[J];金融電子化;2017年03期

相關(guān)博士學(xué)位論文 前1條

1 李志強(qiáng);基于網(wǎng)絡(luò)日志的用戶行為分析[D];北京理工大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 楊建敏;基于Spark on Yarn的機(jī)房安全設(shè)備日志流分析設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2018年

2 陳志濤;日志采集器組件LogCollector的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2019年

3 楊晶;基于Hadoop的web日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2018年

4 周超;多數(shù)據(jù)中心日志實(shí)時收集與分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2018年

5 羅學(xué)貫;基于ELK的Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2018年

6 何嘉儀;基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)日志檢測與實(shí)現(xiàn)[D];湖南大學(xué);2014年

7 張興富;首鋼礦業(yè)公司網(wǎng)絡(luò)交換機(jī)日志收集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2015年

8 孟令童;面向流程結(jié)構(gòu)重塑的數(shù)據(jù)庫日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2018年

9 邵芬芬;基于核聚類算法的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東師范大學(xué);2018年

10 潘建梁;支持流程建模的工作流重復(fù)任務(wù)識別和噪聲日志檢測方法[D];杭州電子科技大學(xué);2018年

本文編號：2883820