本文關(guān)鍵詞：基于大數(shù)據(jù)的網(wǎng)絡(luò)惡意流量分析系統(tǒng)的設(shè)計與實現(xiàn)

  更多相關(guān)文章： 大數(shù)據(jù) 惡意流量 僵尸網(wǎng)絡(luò) Hadoop 復合會話

【摘要】：本文主要研究了大數(shù)據(jù)時代下的網(wǎng)絡(luò)惡意流量的分析與檢測。本文提出了關(guān)于一種網(wǎng)絡(luò)行為分析監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)。整個系統(tǒng)中共分為采集部分、蜜罐系統(tǒng)、Hadoop處理平臺以及呈現(xiàn)服務(wù)器四個部分。采集探針模塊負責從數(shù)百個中型企業(yè)的網(wǎng)絡(luò)出口端采集數(shù)據(jù)包,所有的數(shù)據(jù)包通過探針內(nèi)部程序預處理后上傳到采集服務(wù)器中。而Hadoop平臺作為數(shù)據(jù)整合和數(shù)據(jù)分析的平臺則要定時從采集服務(wù)器中下載當天的數(shù)據(jù),緩解采集服務(wù)器中數(shù)據(jù)存儲的壓力,從采集服務(wù)器中下載的數(shù)據(jù)格式固定,以文本文件的形式存在HDFS中。搭建的蜜罐網(wǎng)則主要負責收集網(wǎng)絡(luò)中的各種木馬,僵尸病毒,并從中提取出這些木馬,僵尸病毒的特征,傳入Hadoop平臺中進行分析。而Hadoop平臺的處理以及分析結(jié)果將在呈現(xiàn)服務(wù)器中以圖表的形式進行展示。本文搭建的蜜罐系統(tǒng)是一個閉環(huán)的結(jié)構(gòu),他主要負責吸引網(wǎng)絡(luò)中的各種惡意流量,同時通過本文提出的可疑URL選取算法對流量數(shù)據(jù)進行初步分析并獲得一個可疑URL列表。 本文還提出了一種惡意流量檢測方法。所有的工作與閉環(huán)蜜罐系統(tǒng)一起集成為一個網(wǎng)絡(luò)行為分析監(jiān)測系統(tǒng),可以有效地和精確地檢測異常行為。本文提到的基于復合會話的數(shù)據(jù)采集算法很好地解決了探針內(nèi)存不足的限制,復合會話是一個由src、dst、網(wǎng)絡(luò)協(xié)議和目標端口四元組唯一標識的實體。為了消除數(shù)據(jù)采集的負面影響,本文還依托于MapReduce的框架提出了數(shù)據(jù)處理的算法。最后本文提出一個識別異常流量的三步算法：數(shù)據(jù)過濾,域名匹配和網(wǎng)絡(luò)節(jié)點排除。首先識別網(wǎng)絡(luò)流量中具有周期性行為的復合會話,然后通過對比白名單等手段去除一些錯判對象得到最終的檢測結(jié)果。
【關(guān)鍵詞】：大數(shù)據(jù) 惡意流量 僵尸網(wǎng)絡(luò) Hadoop 復合會話
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.06
【目錄】：

• 摘要4-5
• ABSTRACT5-7
• 目錄7-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-10
• 1.2 研究內(nèi)容10
• 1.3 研究現(xiàn)狀10-12
• 1.3.1 基于主機的惡意流量檢測系統(tǒng)11
• 1.3.2 基于網(wǎng)絡(luò)的惡意流量檢測系統(tǒng)11-12
• 1.4 論文組織結(jié)構(gòu)12-14
• 第二章 大數(shù)據(jù)下的網(wǎng)絡(luò)安全14-25
• 2.1 大數(shù)據(jù)時代14-18
• 2.1.1 大數(shù)據(jù)的特征14-15
• 2.1.2 大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全分析15-16
• 2.1.3 安全防護措施16-18
• 2.2 僵尸網(wǎng)絡(luò)18-24
• 2.2.1 僵尸網(wǎng)絡(luò)概述18-20
• 2.2.2 僵尸網(wǎng)絡(luò)分類20-21
• 2.2.3 僵尸網(wǎng)絡(luò)檢測21-24
• 2.3 本章小結(jié)24-25
• 第三章 網(wǎng)絡(luò)行為分析監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)25-38
• 3.1 引言25
• 3.2 系統(tǒng)架構(gòu)設(shè)計25-26
• 3.3 閉環(huán)蜜罐組件設(shè)計與實現(xiàn)26-28
• 3.3.1 閉環(huán)蜜罐系統(tǒng)架構(gòu)26-27
• 3.3.2 通信通道27
• 3.3.3 疑URL選擇算法27-28
• 3.4 Hadoop平臺組件設(shè)計與實現(xiàn)28-35
• 3.4.1 Hadoop集群和網(wǎng)絡(luò)29-30
• 3.4.2 HDFS30-33
• 3.4.3 MapReduce33-35
• 3.5 惡意流量檢測系統(tǒng)測試及性能分析35-37
• 3.5.1 測試平臺搭建35-36
• 3.5.2 測試數(shù)據(jù)準備36
• 3.5.3 測試樣例及測試結(jié)果36-37
• 3.5.4 系統(tǒng)能力評估37
• 3.6 本章小結(jié)37-38
• 第四章 基于復合會話的惡意流量檢測系統(tǒng)38-50
• 4.1 引言38
• 4.2 基于Hadoop平臺的數(shù)據(jù)采集38-41
• 4.3 基于復合會話的數(shù)據(jù)預處理算法41-44
• 4.3.1 總體思路41-42
• 4.3.2 數(shù)據(jù)處理算法42-44
• 4.4 基于概率密度分布的惡意流量檢測算法44-46
• 4.4.1 僵尸網(wǎng)絡(luò)識別44-45
• 4.4.2 DDoS進攻和端口掃描進攻識別45-46
• 4.5 算法有效性的分析和驗證46-49
• 4.5.1 僵尸網(wǎng)絡(luò)46-48
• 4.5.2 DDoS進攻和端口掃描進攻48-49
• 4.6 本章小結(jié)49-50
• 第五章 基于復合會話的聚類優(yōu)化算法50-58
• 5.1 引言50
• 5.2 復合會話中離群點的剔除50-53
• 5.2.1 常用的離群點檢測算法50-52
• 5.2.2 基于復合會話的離群點檢測算法52-53
• 5.3 基于主成分分析的聚類優(yōu)化算法53-54
• 5.3.1 主成分分析53-54
• 5.3.2 基于復合會話的K-means聚類算法54
• 5.4 聚類結(jié)果分析54-57
• 5.5 本章小結(jié)57-58
• 第六章 總結(jié)與展望58-61
• 6.1 全文工作總結(jié)58-59
• 6.2 展望59-61
• 參考文獻61-63
• 致謝63-65
• 攻讀學位期間發(fā)表的學術(shù)論文目錄65

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳功;;網(wǎng)絡(luò)攻擊與安全防御策略研究[J];四川文理學院學報;2009年02期

2 鄭文婷;張艷華;楊磊;龐玲;;蜜罐技術(shù)的分析與研究[J];計算機安全;2011年08期

3 李志剛;王光旭;;當前企業(yè)網(wǎng)絡(luò)安全的威脅因素及對策研究[J];計算機光盤軟件與應用;2012年16期

4 馮偉;;大數(shù)據(jù)時代面臨的信息安全機遇和挑戰(zhàn)[J];中國科技投資;2012年34期

5 李洪洋;;大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究[J];電子技術(shù)與軟件工程;2013年20期

6 ;思科:社交媒體成為網(wǎng)絡(luò)犯罪最新場所[J];計算機安全;2010年01期

7 楊雅輝;;網(wǎng)絡(luò)流量異常檢測及分析的研究[J];計算機科學;2008年05期

8 王天佐;王懷民;劉波;史佩昌;;僵尸網(wǎng)絡(luò)中的關(guān)鍵問題[J];計算機學報;2012年06期

9 鄧玉潔;朱慶生;;基于聚類的離群點分析方法[J];計算機應用研究;2012年03期

10 郭三強;郭燕錦;;大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究[J];科技廣場;2013年02期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 王新良;僵尸網(wǎng)絡(luò)異常流量分析與檢測[D];北京郵電大學;2011年

，

本文編號：616701