本文關(guān)鍵詞：大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)的發(fā)展催生了云計算平臺的出現(xiàn),設(shè)計云服務、云架構(gòu)、云存儲等一系列解決大規(guī)模數(shù)據(jù)計算的平臺已初步形成一套系統(tǒng)規(guī)范。在網(wǎng)絡(luò)應用服務數(shù)據(jù)量上升的今天,網(wǎng)絡(luò)安全事件增長和爆發(fā)的速度也較之從前有了爆炸式的增長。隨著人們對互聯(lián)網(wǎng)的依賴,網(wǎng)絡(luò)中的入侵行為、對網(wǎng)絡(luò)基礎(chǔ)設(shè)施破壞的攻擊事件對經(jīng)濟甚至國家安全所帶來的危害性也大大加強。如何實時準確地發(fā)現(xiàn)大規(guī)模網(wǎng)絡(luò)中存在的異常流量行為,及時有效地解決安全問題是一個非常有意義的課題。本文以Hadoop和Spark為基本框架,提出一種大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺的體系架構(gòu),從數(shù)據(jù)采集、存儲、計算到展示等各個方面,均采用了Hadoop生態(tài)圈的相關(guān)技術(shù)實現(xiàn)。在算法設(shè)計方面,本文提出了基于ISODATA的半監(jiān)督異常流量檢測算法。針對已知攻擊,該算法對異常流量類型和正常流量類型做出正確的劃分。針對未知的異常流量或網(wǎng)絡(luò)異常行為,采用聚類算法將其與正常流量分離。通過仿真實驗和校園網(wǎng)真實環(huán)境的實驗數(shù)據(jù)分析,證明了算法的有效性。本文實現(xiàn)了基于Spark on YARN的云檢測環(huán)境,并針對大規(guī)模網(wǎng)絡(luò)流量監(jiān)控實時性要求高的特點,設(shè)計了完整的云檢測系統(tǒng)編程模型。開發(fā)的云檢測平臺成功部署在天津教育城域網(wǎng),實現(xiàn)了對城域網(wǎng)流量和關(guān)鍵服務器流量的異常檢測和預警,從而保證網(wǎng)絡(luò)能夠正常運行。
【關(guān)鍵詞】：異常流量監(jiān)測 云平臺 Spark ISODATA 聚類分析 Bayes 分類器 數(shù)據(jù)可視化
【學位授予單位】：天津理工大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.08
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-14
• 1.1 研究背景與意義9-11
• 1.1.1 研究背景9-10
• 1.1.2 研究意義10-11
• 1.2 國內(nèi)外發(fā)展狀況11-12
• 1.2.1 網(wǎng)絡(luò)安全事件檢測研究現(xiàn)狀11
• 1.2.2 云計算在網(wǎng)絡(luò)安全領(lǐng)域的發(fā)展11
• 1.2.3 數(shù)據(jù)挖掘在流量特征分析中的應用11-12
• 1.3 主要研究內(nèi)容及創(chuàng)新點12
• 1.4 文章章節(jié)安排12-14
• 第二章 相關(guān)技術(shù)與理論14-19
• 2.1 異常流量檢測技術(shù)14-15
• 2.1.1 Netflow數(shù)據(jù)包分析14
• 2.1.2 深度包報頭信息提取14-15
• 2.1.3 網(wǎng)絡(luò)異常流量檢測15
• 2.2 云計算平臺15-18
• 2.2.1 Hadoop生態(tài)圈15-16
• 2.2.2 Spark集群16
• 2.2.3 Storm集群16-17
• 2.2.4 Hadoop/Spark/Storm的比較17-18
• 2.3 數(shù)據(jù)挖掘算法18
• 2.4 本章小節(jié)18-19
• 第三章 云檢測平臺的設(shè)計與分析19-29
• 3.1 平臺的總體架構(gòu)19-24
• 3.1.1 數(shù)據(jù)收集層19-20
• 3.1.2 數(shù)據(jù)存儲層20-22
• 3.1.3 大數(shù)據(jù)計算層22-23
• 3.1.4 數(shù)據(jù)展示層23-24
• 3.2 云平臺數(shù)據(jù)采集層和計算層設(shè)計24-28
• 3.2.1 實現(xiàn)架構(gòu)24-25
• 3.2.2 Netflow數(shù)據(jù)處理流程25-28
• 3.3 本章小結(jié)28-29
• 第四章 基于ISODATA半監(jiān)督異常流量監(jiān)測算法實現(xiàn)29-41
• 4.1 算法輸入數(shù)據(jù)的采集和存儲29-30
• 4.2 基于ISODATA半監(jiān)督異常流量監(jiān)測算法30-33
• 4.2.1 ISODATA聚類模塊設(shè)計30-31
• 4.2.2 聚類算法數(shù)據(jù)預處理設(shè)計31-32
• 4.2.3 算法描述及知識庫的生成模塊設(shè)計32-33
• 4.3 云檢測平臺下算法實現(xiàn)33-35
• 4.4 基于標準數(shù)據(jù)集的實驗35-37
• 4.5 基于校園網(wǎng)流量實驗37-40
• 4.5.1 聚類效果和性能分析37-38
• 4.5.2 貝葉斯網(wǎng)絡(luò)性能分析38
• 4.5.3 知識庫預測性能分析38-39
• 4.5.4 算法在云平臺上的設(shè)計39-40
• 4.6 本章小結(jié)40-41
• 第五章 平臺功能實現(xiàn)與分析41-52
• 5.1 平臺環(huán)境42
• 5.2 平臺實現(xiàn)42-44
• 5.2.1 Netflow on Spark模塊實現(xiàn)42-44
• 5.2.2 聚類模塊MapReduce方法實現(xiàn)44
• 5.3 系統(tǒng)功能介紹44-51
• 5.4 本章小結(jié)51-52
• 第六章 總結(jié)與展望52-54
• 6.1 本文主要研究工作52-53
• 6.2 展望53-54
• 參考文獻54-56
• 發(fā)表論文和科研情況說明56-57

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 羅敏,王麗娜,張煥國;基于無監(jiān)督聚類的入侵檢測方法[J];電子學報;2003年11期

2 楊嶸,張國清,韋衛(wèi),李仰耀;基于NetFlow流量分析的網(wǎng)絡(luò)攻擊行為發(fā)現(xiàn)[J];計算機工程;2005年13期

3 高能;馮登國;向繼;;一種基于數(shù)據(jù)挖掘的拒絕服務攻擊檢測技術(shù)[J];計算機學報;2006年06期

4 陳吉榮;樂嘉錦;;基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J];計算機工程與科學;2013年10期

5 荊濤;李俊;;基于數(shù)值分析的異常掃描行為監(jiān)測系統(tǒng)[J];計算機系統(tǒng)應用;2014年01期

中國博士學位論文全文數(shù)據(jù)庫 前4條

1 桑雨;連續(xù)數(shù)據(jù)離散化方法研究[D];大連理工大學;2012年

2 張淑英;網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析與態(tài)勢評測技術(shù)研究[D];吉林大學;2012年

3 臧天寧;僵尸網(wǎng)絡(luò)協(xié)同檢測與識別關(guān)鍵技術(shù)研究[D];哈爾濱工程大學;2011年

4 閆峰;基于攻擊圖的網(wǎng)絡(luò)安全風險評估技術(shù)研究[D];吉林大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前7條

1 楊鋒;基于數(shù)據(jù)挖掘的入侵檢測技術(shù)研究[D];哈爾濱工程大學;2006年

2 金爽;基于NetFlow的實時安全事件檢測技術(shù)研究[D];哈爾濱工程大學;2007年

3 盧強;網(wǎng)絡(luò)安全事件預警系統(tǒng)研究[D];天津理工大學;2012年

4 許倩;基于特征統(tǒng)計分析的異常流量檢測技術(shù)研究[D];解放軍信息工程大學;2012年

5 姚東;基于流的大規(guī)模網(wǎng)絡(luò)安全態(tài)勢感知關(guān)鍵技術(shù)研究[D];解放軍信息工程大學;2013年

6 張萌;基于hadoop的網(wǎng)絡(luò)安全日志審計系統(tǒng)關(guān)鍵技術(shù)研究[D];哈爾濱工程大學;2013年

7 丁彥;基于PCA和半監(jiān)督聚類的入侵防御技術(shù)研究[D];江蘇科技大學;2013年

  本文關(guān)鍵詞：大規(guī)模網(wǎng)絡(luò)異常流量云檢測平臺研究，由筆耕文化傳播整理發(fā)布。

本文編號：495044