本文關(guān)鍵詞：海量數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測的研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：近些年來,互聯(lián)網(wǎng)的規(guī)模也在急速的增長,互聯(lián)網(wǎng)數(shù)據(jù)的存儲、分析以及檢測已經(jīng)成為運(yùn)營商的面臨的一個重大問題,到目前為止,已經(jīng)有很多關(guān)于異常流量檢測的研究。對于大數(shù)據(jù)的研究還是局限于Hadoop平臺的批處理階段。對于異常流量大數(shù)據(jù)的實(shí)時處理,類似Storm平臺,相關(guān)的研究還是很少的。因此,這篇文章介紹了基于k-nearest neighbor(k-NN)的累積距離的異常檢測方法,以及使用此檢測方法的異常流量實(shí)時檢測系統(tǒng)的實(shí)現(xiàn)。本文中所有的測試也都是在自主搭建的Storm實(shí)時處理平臺上完成的。并且,我們的數(shù)據(jù)結(jié)果顯示,這套系統(tǒng)能夠正確的完成異常流量的實(shí)時監(jiān)測的任務(wù)。 本文首先介紹了網(wǎng)絡(luò)流量的分類,包括網(wǎng)絡(luò)流量異常,尤其是DDoS攻擊的分類,以及DDoS攻擊常用的攻擊方式和檢測方法。 隨后,在已有檢測方法的基礎(chǔ)上,根據(jù)海量數(shù)據(jù)的環(huán)境和現(xiàn)有RawFlow數(shù)據(jù)特點(diǎn),本文采用基于動態(tài)k-NN累積距離的異常檢測算法做為流量實(shí)時監(jiān)測系統(tǒng)的算法。 接著,本文對流量實(shí)時監(jiān)測系統(tǒng)的設(shè)計(jì)進(jìn)行了重點(diǎn)研究。先后詳細(xì)系統(tǒng)的各個組件。通過對這些組件的研究,解決了海量數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)流量監(jiān)測領(lǐng)域中的一些重要問題。 最后,本文以流量實(shí)時監(jiān)測系統(tǒng)的檢測結(jié)果為例對異常流量進(jìn)行了分析。
【關(guān)鍵詞】：網(wǎng)絡(luò)流量異常監(jiān)測 海量數(shù)據(jù) 動態(tài)K-NN累積距離異常檢測算法 實(shí)時 Storm 分布式計(jì)算
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.08
【目錄】：

• 摘要4-5
• ABSTRACT5-9
• 第一章 緒論9-13
• 1.1 研究背景9-10
• 1.2 研究現(xiàn)狀10
• 1.3 論文結(jié)構(gòu)10-13
• 第二章 網(wǎng)絡(luò)流量異常及網(wǎng)絡(luò)攻擊研究現(xiàn)狀13-21
• 2.1 網(wǎng)絡(luò)流量異常13-14
• 2.2 DDoS常見攻擊方式及檢測方法14-20
• 2.2.1 ICMP Flood攻擊15-16
• 2.2.2 ARP相關(guān)的DDoS攻擊16
• 2.2.3 SYN flood攻擊和ACK flood攻擊16-18
• 2.2.4 Connection Flood攻擊18
• 2.2.5 UDP Flood攻擊18-19
• 2.2.6 HTTP Flood攻擊19-20
• 2.3 本章小結(jié)20-21
• 第三章 基于動態(tài)K-NN累計(jì)距離的異常點(diǎn)檢測方法21-33
• 3.1 檢測算法的選擇21-22
• 3.2 時間序列22-23
• 3.3 時間序列的異常點(diǎn)檢測23-31
• 3.3.1 常用的數(shù)據(jù)統(tǒng)計(jì)信息23-24
• 3.3.2 網(wǎng)絡(luò)流量時間序列異常點(diǎn)檢測的概念24-25
• 3.3.3 基于動態(tài)K-NN累計(jì)距離的異常點(diǎn)檢測方法25-27
• 3.3.4 算法中的關(guān)鍵點(diǎn)27-28
• 3.3.5 算法測試分析28-31
• 3.4 本章小結(jié)31-33
• 第四章 網(wǎng)絡(luò)流量實(shí)時監(jiān)測系統(tǒng)設(shè)計(jì)33-55
• 4.1 Flume-ng日志收集系統(tǒng)33-34
• 4.2 Storm流式處理平臺34-37
• 4.2.1 Storm流式處理平臺的重要特征35
• 4.2.2 Storm流式處理平臺主要組件與概念35-36
• 4.2.3 Storm流式處理平臺的運(yùn)行機(jī)制36-37
• 4.3 HBase分布式存儲系統(tǒng)37-43
• 4.3.1 HBase主要組件39-40
• 4.3.2 數(shù)據(jù)模型40
• 4.3.3 物理存儲40-41
• 4.3.4 HBase的讀寫41-43
• 4.4 網(wǎng)絡(luò)流量實(shí)時監(jiān)測系統(tǒng)設(shè)計(jì)43-54
• 4.4.1 Flume-ng數(shù)據(jù)采集43-44
• 4.4.2 Storm數(shù)據(jù)流式處理44-49
• 4.4.3 Flume-ng與Storm的連接49-51
• 4.4.4 HBase數(shù)據(jù)存儲51
• 4.4.5 Storm與HBase的連接51-52
• 4.4.6 外部異常定位52-54
• 4.5 本章小結(jié)54-55
• 第五章 網(wǎng)絡(luò)流量實(shí)時監(jiān)測系統(tǒng)數(shù)據(jù)分析55-63
• 5.1 部署環(huán)境55-56
• 5.2 數(shù)據(jù)話單RawFlow56
• 5.3 TopN模塊結(jié)果數(shù)據(jù)分析56-57
• 5.4 異常檢測模塊數(shù)據(jù)分析57-59
• 5.5 異常流量分析59-61
• 5.6 本章小結(jié)61-63
• 第六章 總結(jié)與展望63-65
• 參考文獻(xiàn)65-67
• 致謝67-69
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄69

【共引文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 魏一平;Gbps同軸網(wǎng)絡(luò)傳輸系統(tǒng)LLC子層的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

  本文關(guān)鍵詞：海量數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)流量異常檢測的研究，由筆耕文化傳播整理發(fā)布。

本文編號：287897