本文關(guān)鍵詞：基于海量WEB日志的網(wǎng)絡(luò)惡意行為分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： WEB日志 數(shù)據(jù)挖掘 惡意行為 URL檢測(cè) Spark

【摘要】：隨著計(jì)算機(jī)技術(shù)和Internet的飛速發(fā)展,各種基于WEB的網(wǎng)絡(luò)應(yīng)用層出不窮,WEB用戶數(shù)量也迅猛膨脹。然而,各種各樣的WEB應(yīng)用給人們的學(xué)習(xí)、工作和生活帶來方便的同時(shí)也將人們的隱私和生活暴露在互聯(lián)網(wǎng)上。由于WEB應(yīng)用的廣泛性,木馬、僵尸網(wǎng)絡(luò)、APT活動(dòng)等常常利用其實(shí)施網(wǎng)絡(luò)滲透、入侵與控制等惡意行為,或者實(shí)施大范圍的DDOS攻擊,嚴(yán)重威脅網(wǎng)絡(luò)用戶的信息和財(cái)產(chǎn)安全。如何從海量的WEB日志中分析發(fā)現(xiàn)可疑的惡意網(wǎng)絡(luò)行為具有重要意義。目前來看,如何構(gòu)建一個(gè)海量WEB日志分析挖掘系統(tǒng)并真正應(yīng)用到網(wǎng)絡(luò)安全實(shí)踐中,面臨如下挑戰(zhàn)。首先,WEB日志數(shù)據(jù)項(xiàng)復(fù)雜,不同的WEB站點(diǎn)記錄的WEB日志在格式、字段、規(guī)范性等方面存在較大差異,不利于后續(xù)的統(tǒng)一分析挖掘。其次,WEB日志記錄中一個(gè)很重要的數(shù)據(jù)項(xiàng)是URL,即訪問WEB站點(diǎn)的路徑。如何設(shè)計(jì)高效的URL檢測(cè)模塊,準(zhǔn)確并及時(shí)的發(fā)現(xiàn)惡意鏈接、SQL注入及XSS跨站腳本的存在,是值得深入研究的問題。此外,對(duì)于海量日志的處理來講,分析挖掘才是最終面臨的問題。如何構(gòu)建實(shí)用的海量數(shù)據(jù)分析平臺(tái),并設(shè)計(jì)合理的挖掘算法來發(fā)現(xiàn)可疑網(wǎng)絡(luò)惡意行為,是要解決的關(guān)鍵問題。本文設(shè)計(jì)并實(shí)現(xiàn)了一套完整的WEB日志挖掘系統(tǒng)用于真實(shí)網(wǎng)絡(luò)環(huán)境中的惡意行為發(fā)現(xiàn)。首先與某網(wǎng)絡(luò)內(nèi)容提供商(ICP)合作,獲取ICP的海量WEB日志；在此基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)一套原型系統(tǒng),對(duì)藏匿于海量WEB日志中的惡意用戶及惡意行為進(jìn)行分析挖掘。已完成的主要工作包括：(1)在WEB日志的差異化處理方面,設(shè)計(jì)并實(shí)現(xiàn)WEB日志預(yù)處理模塊,去除錯(cuò)誤冗余數(shù)據(jù),并將日志格式規(guī)范化,增強(qiáng)了系統(tǒng)通用性。WEB日志預(yù)處理模塊主要分為數(shù)據(jù)清洗、用戶識(shí)別及會(huì)話識(shí)別三方面。(2)在URL檢測(cè)方面,設(shè)計(jì)并實(shí)現(xiàn)URL檢測(cè)模塊。利用開源項(xiàng)目libinjection對(duì)SQL注入及XSS跨站腳本進(jìn)行檢測(cè),同時(shí)也將利用已收集的公開URL數(shù)據(jù)集對(duì)惡意鏈接進(jìn)行掃描。(3)在海量日志的分析挖掘方面,基于Spark高性能數(shù)據(jù)分析平臺(tái)對(duì)會(huì)話日志進(jìn)行會(huì)話測(cè)量、統(tǒng)計(jì)和關(guān)聯(lián)挖掘,發(fā)現(xiàn)隱藏其中的惡意行為。首先測(cè)量同一用戶相鄰WEB日志記錄間隔時(shí)間分布,從而確定區(qū)分相同用戶不同會(huì)話的超時(shí)時(shí)間。隨后將分別以用戶、客戶端IP、客戶端所在B段或C段為統(tǒng)計(jì)對(duì)象,做一系列統(tǒng)計(jì)分析。找出特定用戶與特定地域、特定時(shí)間、特定頁(yè)面等要素之間的內(nèi)在聯(lián)系。最終綜合計(jì)算判定惡意用戶及惡意行為。
【關(guān)鍵詞】：WEB日志 數(shù)據(jù)挖掘 惡意行為 URL檢測(cè) Spark
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.08
【目錄】：

• 摘要5-7
• Abstract7-11
• 第一章 緒論11-21
• 1.1 研究背景與意義11-12
• 1.2 本論文的研究進(jìn)展12-18
• 1.2.1 WEB日志預(yù)處理13-14
• 1.2.2 WEB日志中異常URL檢測(cè)14-16
• 1.2.3 WEB日志惡意行為分析16-18
• 1.3 本文主要研究?jī)?nèi)容18-21
• 第二章 系統(tǒng)相關(guān)技術(shù)研究21-31
• 2.1 WEB日志預(yù)處理研究21-23
• 2.1.1 數(shù)據(jù)清洗21-22
• 2.1.2 用戶識(shí)別22
• 2.1.3 會(huì)話識(shí)別22-23
• 2.2 WEB日志中異常URL檢測(cè)研究23-26
• 2.2.1 惡意鏈接23-24
• 2.2.2 SQL注入與XSS跨站腳本24
• 2.2.3 URL編碼混淆技術(shù)24-25
• 2.2.4 公開URL數(shù)據(jù)集25-26
• 2.3 WEB用戶惡意行為發(fā)現(xiàn)26-30
• 2.3.1 Spark是什么?26
• 2.3.2 Spark主要特點(diǎn)26-29
• 2.3.3 Spark設(shè)計(jì)思想29
• 2.3.4 Spark運(yùn)行原理29-30
• 2.4 本章小結(jié)30-31
• 第三章 系統(tǒng)的需求分析與總體架構(gòu)31-43
• 3.1 系統(tǒng)的需求分析31-32
• 3.1.1 功能需求31-32
• 3.1.2 性能指標(biāo)32
• 3.2 系統(tǒng)的總體設(shè)計(jì)32-39
• 3.2.1 設(shè)計(jì)原理32-33
• 3.2.2 系統(tǒng)結(jié)構(gòu)與工作原理33-35
• 3.2.3 系統(tǒng)模塊35-39
• 3.3 部署環(huán)境設(shè)計(jì)39-41
• 3.4 本章小結(jié)41-43
• 第四章 系統(tǒng)關(guān)鍵模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)43-57
• 4.1 數(shù)據(jù)預(yù)處理子系統(tǒng)中模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)43-49
• 4.1.1 數(shù)據(jù)預(yù)處理子系統(tǒng)中模塊的設(shè)計(jì)需求43-44
• 4.1.2 數(shù)據(jù)預(yù)處理子系統(tǒng)中模塊的設(shè)計(jì)方案44-46
• 4.1.3 數(shù)據(jù)預(yù)處理子系統(tǒng)中模塊的具體實(shí)現(xiàn)46-49
• 4.2 URL檢測(cè)子系統(tǒng)中模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)49-52
• 4.2.1 URL檢測(cè)子系統(tǒng)中模塊的設(shè)計(jì)需求49
• 4.2.2 URL檢測(cè)子系統(tǒng)中模塊的設(shè)計(jì)方案49-50
• 4.2.3 URL檢測(cè)子系統(tǒng)中模塊的具體實(shí)現(xiàn)50-52
• 4.3 用戶行為分析子系統(tǒng)中模塊的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)52-56
• 4.3.1 用戶行為分析子系統(tǒng)中模塊的設(shè)計(jì)需求52-53
• 4.3.2 用戶行為分析子系統(tǒng)中模塊的設(shè)計(jì)方案53
• 4.3.3 用戶行為分析子系統(tǒng)中模塊的具體實(shí)現(xiàn)53-56
• 4.5 本章小結(jié)56-57
• 第五章 系統(tǒng)測(cè)試與結(jié)果分析57-65
• 5.1 系統(tǒng)運(yùn)行環(huán)境57-58
• 5.2 系統(tǒng)測(cè)試及分析結(jié)果58-64
• 5.3 本章小結(jié)64-65
• 第六章 結(jié)論與展望65-67
• 6.1 論文工作總結(jié)65-66
• 6.2 未來工作展望66-67
• 參考文獻(xiàn)67-69
• 致謝69-71
• 個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的論文與研究成果71

【參考文獻(xiàn)】

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 陳文臣;Web日志挖掘技術(shù)的研究與應(yīng)用[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

，

本文編號(hào)：738342