基于降維的骨干網(wǎng)流量異常檢測研究
本文關(guān)鍵詞:基于降維的骨干網(wǎng)流量異常檢測研究,,由筆耕文化傳播整理發(fā)布。
【摘要】:近年來,隨著計算機通信技術(shù)的迅猛發(fā)展以及互聯(lián)網(wǎng)應(yīng)用的持續(xù)深化,使其成為人類社會不可或缺的基礎(chǔ)設(shè)施。但網(wǎng)絡(luò)異常事件的種類、數(shù)目和威脅也在不斷提升。因此,提高流量異常檢測方法的檢測率和運行率,是我們面臨的一個嚴(yán)峻挑戰(zhàn)。 由于骨干網(wǎng)的通信量非常大,異常行為分析需要以相對合適的粒度作為基礎(chǔ),才能適應(yīng)骨干通信網(wǎng)絡(luò)的海量性和高速性。另外,骨干通信網(wǎng)絡(luò)流量異常檢測應(yīng)該在時效性、適應(yīng)性、有效性和全面性等方面有所提高。本文針對上述問題,做出了以下幾個方面的工作: 第一,針對骨干通信網(wǎng)絡(luò)中流量的特征,使得采用精細分析是不現(xiàn)實的,該類方法很難滿足骨干通信網(wǎng)絡(luò)的在線性、存儲空間的有限性等要求。因此,本文采用數(shù)據(jù)源是相對合適的粒度流量,將這些流量看作隨時間變化的信號。另外,由于在大規(guī)模通信網(wǎng)絡(luò)環(huán)境中,對流量數(shù)據(jù)直接進行檢測的方法存在明顯的不足,從而需要采用降維方法用于減少計算復(fù)雜度、提高效率和精度。在本文中,使用了兩種常用的降維方法:sketch數(shù)據(jù)結(jié)構(gòu)和主成分分析。 第二,針對在骨干通信網(wǎng)的海量背景流量中異常流量表現(xiàn)出的隱蔽性,提出了一種基于sketch數(shù)據(jù)結(jié)構(gòu)與正則性分布的骨干通信網(wǎng)絡(luò)流量異常分析與識別的方法,具有將高維流量隨機地映射到低維空間的效果,可溯源到惡意流量的來源。采用Lipschitz指數(shù)定位異常發(fā)生時刻,并通過計算熵值對異常進行識別。本文同樣地通過真實網(wǎng)絡(luò)流量實驗以及與不同檢測算法的對比,驗證了所提方法不僅能夠精確地溯源惡意流量,還能夠有效地對異常進行識別。 第三,針對大部分研究僅僅是對單條鏈路流量作為數(shù)據(jù)源進行異常檢測,造成檢測結(jié)果有時并不明顯的問題,提出了一種基于本征模態(tài)分解(Empirical Mode Decomposition, EMD)與主成分分析的骨干通信網(wǎng)絡(luò)流量異常檢測方法,結(jié)合了OD(Origin-Destination)流流量矩陣的時間相關(guān)性和空間相關(guān)性。通過真實網(wǎng)絡(luò)流量實驗以及與不同檢測算法的對比,驗證了所提方法具有較好的檢測率和實時性。 綜上所述,針對骨干通信網(wǎng)絡(luò)流量異常檢測中實時性、有效性和全面性等方面存在的問題,本文展開了相關(guān)的研究。通過真實網(wǎng)絡(luò)流量的實驗,驗證了所提方法能夠有效地檢測異常。
【關(guān)鍵詞】:骨干通信網(wǎng)絡(luò) 流量異常檢測 數(shù)據(jù)降維 sketch數(shù)據(jù)結(jié)構(gòu) EMD分解方法 主成分分析
【學(xué)位授予單位】:中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2015
【分類號】:TP393.06
【目錄】:
- 摘要5-6
- ABSTRACT6-8
- 目錄8-10
- 第1章 緒論10-16
- 1.1 研究背景和意義10-12
- 1.1.1 研究背景10-11
- 1.1.2 研究意義11-12
- 1.2 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢12-13
- 1.3 本文的主要工作13-14
- 1.4 本文的組織結(jié)構(gòu)14-16
- 第2章 相關(guān)技術(shù)的介紹及其研究分析16-24
- 2.1 網(wǎng)絡(luò)流量數(shù)據(jù)16
- 2.2 網(wǎng)絡(luò)異常分類16-18
- 2.3 流量異常檢測方法研究18-21
- 2.3.1 基于統(tǒng)計分析的異常檢測方法18-19
- 2.3.2 基于時間序列的異常檢測方法19-20
- 2.3.3 基于機器學(xué)習(xí)的異常檢測方法20-21
- 2.3.4 基于概要數(shù)據(jù)結(jié)構(gòu)的異常檢測方法21
- 2.4 本章小結(jié)21-24
- 第3章 基于sketch數(shù)據(jù)結(jié)構(gòu)與正則性分布的異常檢測24-36
- 3.1 問題提出24-25
- 3.2 相關(guān)研究25-27
- 3.2.1 網(wǎng)絡(luò)溯源研究25
- 3.2.2 正則性分布分析25-27
- 3.3 數(shù)據(jù)結(jié)構(gòu)與算法27-31
- 3.3.1 sketch數(shù)據(jù)結(jié)構(gòu)27-28
- 3.3.2 基于sketch數(shù)據(jù)結(jié)構(gòu)的異常檢測算法28-31
- 3.4 熵值識別算法31-32
- 3.5 實驗與結(jié)果分析32-35
- 3.5.1 實驗數(shù)據(jù)32-33
- 3.5.2 精度對比33-35
- 3.6 本章小結(jié)35-36
- 第4章 基于EMD分解與主成分分析的異常檢測36-50
- 4.1 問題提出36-37
- 4.2 相關(guān)研究37-39
- 4.2.1 流量時空相關(guān)性分析37
- 4.2.2 基于EMD變換的時頻特征信號37-39
- 4.3 主成分分析與算法39-43
- 4.3.1 正常流量模型40-41
- 4.3.2 基于殘余流量的異常檢測41-43
- 4.4 實驗與結(jié)果分析43-47
- 4.4.1 實驗數(shù)據(jù)43-45
- 4.4.2 精度對比45-47
- 4.5 本章小結(jié)47-50
- 第5章 總結(jié)與展望50-52
- 5.1 總結(jié)50-51
- 5.2 展望51-52
- 參考文獻52-56
- 致謝56-58
- 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果58
【參考文獻】
中國期刊全文數(shù)據(jù)庫 前10條
1 尹清波,張汝波,李雪耀,王慧強;基于動態(tài)馬爾科夫模型的入侵檢測技術(shù)研究[J];電子學(xué)報;2004年11期
2 徐曉剛;徐冠雷;王孝通;秦緒佳;;經(jīng)驗?zāi)J椒纸?EMD)及其應(yīng)用[J];電子學(xué)報;2009年03期
3 王東,丁宣浩,陳利霞;信號奇異性的Lipschitz意義[J];桂林電子工業(yè)學(xué)院學(xué)報;2003年05期
4 丁姝郁;;一種基于DBI-PD聚類算法的異常檢測機制[J];電腦開發(fā)與應(yīng)用;2015年02期
5 鄒柏賢,劉強;基于ARMA模型的網(wǎng)絡(luò)流量預(yù)測[J];計算機研究與發(fā)展;2002年12期
6 蒲天銀;秦拯;;基于Netflow的流量異常檢測技術(shù)研究[J];計算機與數(shù)字工程;2009年07期
7 馬衛(wèi);熊偉;;基于協(xié)同神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量異常檢測[J];華中師范大學(xué)學(xué)報(自然科學(xué)版);2012年05期
8 賈志強;;基于小波的網(wǎng)絡(luò)流量異常分析與仿真[J];計算機與數(shù)字工程;2012年07期
9 顏若愚;;基于流量矩陣和Kalman濾波的DDoS攻擊檢測方法[J];計算機科學(xué);2014年03期
10 張賢驥;王倫文;;基于構(gòu)造型神經(jīng)網(wǎng)絡(luò)的異常模式發(fā)現(xiàn)方法[J];計算機科學(xué);2014年07期
中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條
1 陳寧;網(wǎng)絡(luò)異常檢測與溯源方法研究[D];華中科技大學(xué);2009年
本文關(guān)鍵詞:基于降維的骨干網(wǎng)流量異常檢測研究,由筆耕文化傳播整理發(fā)布。
本文編號:386559
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/386559.html