本文關鍵詞：大規(guī)模通信網(wǎng)絡流量異常檢測與優(yōu)化關鍵技術研究，由筆耕文化傳播整理發(fā)布。

《國防科學技術大學》 2012年

大規(guī)模通信網(wǎng)絡流量異常檢測與優(yōu)化關鍵技術研究

鄭黎明  

【摘要】：隨著網(wǎng)絡通信技術的迅速發(fā)展、互聯(lián)網(wǎng)應用的持續(xù)深化、所承載信息的日益豐富，互聯(lián)網(wǎng)已經(jīng)成為人類社會重要的基礎設施。但網(wǎng)絡中配置錯誤、DDoS攻擊、蠕蟲爆發(fā)、突發(fā)訪問等事件時有發(fā)生，互聯(lián)網(wǎng)面臨著嚴峻的安全挑戰(zhàn)。異常檢測因為能檢測未知攻擊而被學術界和工業(yè)界人士所重視，研究者提出了大量異常檢測方法和系統(tǒng)，但是隨著網(wǎng)絡帶寬的持續(xù)增長和網(wǎng)絡攻防博弈的持續(xù)進行，網(wǎng)絡本身處于動態(tài)演化的過程，網(wǎng)絡攻擊手段和方法也在不斷演化，導致異常檢測系統(tǒng)在檢測精度、運行效率、安全性和易用性方面都面臨著嚴峻挑戰(zhàn)。如異常檢測系統(tǒng)泛化能力差和網(wǎng)絡流量的動態(tài)性、突發(fā)性和漂移性導致檢測精度較差；基于特征簽名的入侵檢測系統(tǒng)不能適應網(wǎng)絡帶寬的高速增長；各類異常檢測系統(tǒng)容易被攻擊者繞過；異常檢測系統(tǒng)訓練數(shù)據(jù)難于獲取等。因此在大規(guī)模通信網(wǎng)絡環(huán)境下，綜合考慮多方面要素，提出具有高檢測精度和高運行效率的異常檢測方法，并優(yōu)化已有檢測算法具有十分重要的意義，也是全球網(wǎng)絡安全領域學術界和工業(yè)界共同關注的前沿性科學問題。 本文首先分析了已有各類流量異常檢測方法，重點分析了異常檢測系統(tǒng)在檢測精度、運行效率、安全性和易用性方面的不足，針對這些不足，結合了聚類、關聯(lián)分析、數(shù)據(jù)流、信息論、在線學習等技術，從不同應用場景出發(fā)提出了兩種異常檢測方法，并針對已有異常檢測系統(tǒng)提出了一系列優(yōu)化策略，所取得的主要研究成果如下： 1、提出了一種基于多維熵序列分類的骨干網(wǎng)上異常檢測方法。在已有的研究中基于熵的檢測方法因具有較高的檢測精度而被研究者廣泛采用，但是熵值的計算算法時間和空間復雜度較高，熵序列各時間點之間以及多維熵序列之間的相關性被研究者所忽視。研究發(fā)現(xiàn)，網(wǎng)絡攻擊在某些維度上通常聚集在固定的特征值上，在另外一些維度上則在取值空間上均勻散布，而且網(wǎng)絡流量本身在各個維度上呈現(xiàn)Power-Law分布特性，很容易把網(wǎng)絡流區(qū)分為大流量和小流量，基于上述分析提出了高效的多維熵值估算算法。各個維度上的熵序列存在較強的相關性，為了提高檢測精度采用OCSVM對多維熵序列進行分類，同時利用不同時刻的多維熵序列構成的檢測向量之間的連續(xù)變化趨勢優(yōu)化檢測精度。在真實的骨干網(wǎng)流量數(shù)據(jù)集上，從運行效率和檢測精度兩方面進行實驗，驗證了所提方法相比傳統(tǒng)的熵檢測方法運行效率更高，檢測效果更好。 2、提出了一種基于Filter-ary-Sketch的流量異常檢測與過濾方法。通常的異常檢測系統(tǒng)只能在異常發(fā)生時發(fā)去告警，但是網(wǎng)絡管理者在沒有詳細異常信息的情況下無法對異常告警做出反應，不能迅速采取有效的方法抑制該異常帶來的影響。同時，基于特征分布的檢測方法雖然具有較高的檢測精度，但是其存在安全缺陷，網(wǎng)絡攻擊者可以構建特殊的攻擊繞過該類檢測系統(tǒng)。研究發(fā)現(xiàn)，可以把網(wǎng)絡流量看作數(shù)據(jù)流，在該流量數(shù)據(jù)流上構建Hash概要數(shù)據(jù)結構，獲取流量在各個維度上的Hash直方圖，在Hash直方圖上采用OCSVM進行分類來檢測異常。該方法既能規(guī)避基于熵的檢測方法存在的安全缺陷，又能有效提高檢測精度，最關鍵的是它能夠在異常發(fā)生后，按照Hash直方圖中保存的流量概要信息，采用相對熵定位導致分布差異的異常桶，在此基礎上提出了惡意數(shù)據(jù)包過濾算法。通過骨干網(wǎng)上真實流量數(shù)據(jù)從運行效率、檢測精度和過濾算法三個方面進行了對比實驗，驗證了所提算法在時間和空間復雜度上雖然比傳統(tǒng)算法高，但是只要合理控制參數(shù)依然能夠達到滿意的效率；在檢測精度上同樣能夠達到基于熵的方法類似的精度；特別是所提方法能夠高效地過濾惡意數(shù)據(jù)包。 3、提出了一種基于檢測統(tǒng)計量相關性分析的檢測精度優(yōu)化方法。已有多種異常檢測方法，不同的檢測方法采用了不同的特征統(tǒng)計量，特征統(tǒng)計量不同時刻的取值之間、同一時刻不同特征統(tǒng)計量之間都存在相關性。本文首先分析了同一統(tǒng)計量時間上的相關性，正常情況下可以把特征統(tǒng)計量看作隨機過程，采用支持向量回歸模型對該統(tǒng)計量進行預測，而且異常發(fā)生時該隨機過程在連續(xù)多個時間窗口都會出現(xiàn)類似的偏差。隨后分析了不同統(tǒng)計量之間存在的相關性，無論是在正常情況下還是在異常發(fā)生時各統(tǒng)計量都或多或少呈現(xiàn)出相關性，，且各個檢測統(tǒng)計量對異常的檢測能力存在較大差異。在上述分析的基礎上，提出了多窗口關聯(lián)檢測算法，利用時間上的相關性提高單個檢測系統(tǒng)的精度；提出了多測度關聯(lián)檢測算法，利用各統(tǒng)計量之間的相關性提高整個系統(tǒng)的檢測精度。通過骨干網(wǎng)上真實流量數(shù)據(jù)，選取了幾類典型的檢測方法，驗證了所提方法能夠有效提高整個系統(tǒng)的檢測精度。 4、提出了流量異常檢測中分類器的提取與訓練方法�；诜诸惢蚓垲惖姆椒ㄊ橇髁慨惓z測中很重要的一類方法，但是網(wǎng)絡流量本身具有漂移特性，網(wǎng)絡攻擊手段和方法也在不斷演化，異常檢測模型也需要不斷更新，這樣才能一直精確的刻畫網(wǎng)絡的正常模式。但是流量異常檢測中分類器的提取與訓練方法卻往往被研究者所忽視。本文綜合考慮多個不同評價標準，對比分析了分類向量的構建和分類器的選擇問題，提出了采用Hash直方圖構建分類向量，采用OCSVM作為分類器能夠達到較好的運行效率、較高的檢測精度并能夠規(guī)避其他方法存在的安全缺陷。隨后提出了自適應的在線分類器訓練方法，為了進一步提高檢測精度和運行效率，借鑒上一章中的結論，提出了基于TRW的檢測精度優(yōu)化和新增樣本選擇算法。在真實的骨干網(wǎng)流量數(shù)據(jù)集上，從整個系統(tǒng)檢測精度和訓練算法兩方面進行了對比實驗，驗證了所提算法能夠有效提高整個系統(tǒng)的檢測精度，通過在線訓練算法后的分類器比普通分類器分類效率更好，訓練成本更低。 綜上所述，本文研究工作針對大規(guī)模通信網(wǎng)絡流量異常檢測中存在的檢測精度、運行效率、安全性和易用性方面存在的問題，圍繞異常檢測及其優(yōu)化問題涉及的若干個關鍵技術展開研究。本文對于促進該問題的理論研究和實用化具有一定的理論和應用價值。

【關鍵詞】：
【學位授予單位】：國防科學技術大學
【學位級別】：博士
【學位授予年份】：2012
【分類號】：TP393.06
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 孫欽東,張德運,高鵬;基于時間序列分析的分布式拒絕服務攻擊檢測[J];計算機學報;2005年05期

2 饒鮮,董春曦,楊紹全;基于支持向量機的入侵檢測系統(tǒng)[J];軟件學報;2003年04期

3 孫知信;唐益慰;程媛;;基于改進CUSUM算法的路由器異常流量檢測[J];軟件學報;2005年12期

4 龔儉;彭艷兵;楊望;劉衛(wèi)江;;基于BloomFilter的大規(guī)模異常TCP連接參數(shù)再現(xiàn)方法[J];軟件學報;2006年03期

5 諸葛建偉;王大為;陳昱;葉志遠;鄒維;;基于D-S證據(jù)理論的網(wǎng)絡異常檢測方法[J];軟件學報;2006年03期

6 羅娜;李愛平;吳泉源;陸華彪;;基于概要數(shù)據(jù)結構可溯源的異常檢測方法[J];軟件學報;2009年10期

7 嚴芬;陳軼群;黃皓;殷新春;;使用補償非參數(shù)CUSUM方法檢測DDoS攻擊[J];通信學報;2008年06期

8 鄭黎明;鄒鵬;韓偉紅;李愛平;賈焰;;基于Filter-ary-Sketch數(shù)據(jù)結構的骨干網(wǎng)異常檢測研究[J];通信學報;2011年12期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 唐曉芬;趙秉新;;基于支持向量機的農村勞動力轉移預測[J];安徽農業(yè)科學;2011年11期

2 張靜;胡華平;劉波;肖楓濤;陳新;;剖析DDoS攻擊對抗技術[J];信息安全與技術;2010年07期

3 郭良棟;田江;叢曉東;;基于CPSO和SVM的混沌時間序列預測[J];遼寧科技大學學報;2009年06期

4 莫家慶;胡忠望;;DDoS攻擊防御模型的仿真研究[J];北方工業(yè)大學學報;2011年03期

5 牟少敏;田盛豐;尹傳環(huán);;基于協(xié)同聚類的多核學習[J];北京交通大學學報;2008年02期

6 李冬;王璐;康文崢;;基于SVM的作戰(zhàn)效能靈敏度分析[J];兵工自動化;2011年01期

7 張軍;單永海;曹殿廣;鄭玉新;葛欣鑫;;基于最小二乘支持向量機的機槍加速壽命建模[J];兵工學報;2012年01期

8 龐九鳳;李險峰;謝勁松;佟冬;程旭;;基于支持向量機的微體系結構設計空間探索(英文)[J];北京大學學報(自然科學版);2010年01期

9 廖龍飛;王晶;;面向多輸出系統(tǒng)的啟發(fā)式支持向量機回歸[J];北京化工大學學報(自然科學版);2011年02期

10 ;Application of support vector machine in the prediction of mechanical property of steel materials[J];Journal of University of Science and Technology Beijing(English Edition);2006年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉卓軍;李曉明;;一種基于時間序列異常點監(jiān)測的可疑交易分析方法[A];第十三屆中國管理科學學術年會論文集[C];2011年

2 顏七笙;;基于PCA-SVM的動態(tài)聯(lián)盟候選伙伴績效評價方法[A];第十三屆中國管理科學學術年會論文集[C];2011年

3 趙衛(wèi);劉濟科;;隨機結構可靠度分析的支持向量機方法[A];第九屆全國振動理論及應用學術會議論文集[C];2007年

4 廖鵬;;基于異常特征的DDoS檢測模型[A];經(jīng)濟發(fā)展方式轉變與自主創(chuàng)新——第十二屆中國科學技術協(xié)會年會（第四卷）[C];2010年

5 周金柱;黃進;甄立冬;;腔體濾波器制造精度對電性能影響的支持向量建模與優(yōu)化[A];2011年機械電子學學術會議論文集[C];2011年

6 ;Online Modeling Based on Support Vector Machine[A];2009中國控制與決策會議論文集（1）[C];2009年

7 ;An online outlier detection method for process control time series[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年

8 劉子陽;郭崇慧;;應用支持向量回歸方法預測胎兒體重[A];大連理工大學生物醫(yī)學工程學術論文集（第2卷）[C];2005年

9 徐慧;李云瑋;;基于分形和支持向量機的瓦斯涌出量預測研究[A];煤礦自動化與信息化——第19屆全國煤礦自動化與信息化學術會議暨中國礦業(yè)大學（北京）百年校慶學術會議論文集[C];2009年

10 印家健;李夢龍;;基于HMLP參數(shù)的二肽logP值支持向量機預測模型[A];第九屆全國計算（機）化學學術會議論文摘要集[C];2007年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 李建平;面向異構數(shù)據(jù)源的網(wǎng)絡安全態(tài)勢感知模型與方法研究[D];哈爾濱工程大學;2010年

2 劉效武;基于多源融合的網(wǎng)絡安全態(tài)勢量化感知與評估[D];哈爾濱工程大學;2009年

3 王曉明;基于統(tǒng)計學習的模式識別幾個問題及其應用研究[D];江南大學;2010年

4 湯義;智能交通系統(tǒng)中基于視頻的行人檢測與跟蹤方法的研究[D];華南理工大學;2010年

5 吳少智;時間序列數(shù)據(jù)挖掘在生物醫(yī)學中的應用研究[D];電子科技大學;2010年

6 王娟;大規(guī)模網(wǎng)絡安全態(tài)勢感知關鍵技術研究[D];電子科技大學;2010年

7 祝曉春;增強型軟件項目中測試工作量度量研究[D];浙江大學;2010年

8 卓瑩;基于拓撲·流量挖掘的網(wǎng)絡態(tài)勢感知技術研究[D];國防科學技術大學;2010年

9 劉春波;統(tǒng)計建模方法的理論研究及應用[D];江南大學;2011年

10 劉雪美;噴桿噴霧機風助風筒多目標優(yōu)化設計[D];山東農業(yè)大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 姜成玉;基于支持向量機的時間序列預測[D];遼寧師范大學;2010年

2 解保忠;計算機在矽肺病早期診斷及預測中的應用研究[D];哈爾濱工程大學;2010年

3 徐俏;基于多目標微粒群的轉爐合金加入量優(yōu)化研究[D];大連理工大學;2010年

4 姜力文;基于信息熵的轉爐煉鋼動態(tài)過程建模研究[D];大連理工大學;2010年

5 秦昌友;自治區(qū)域系統(tǒng)下的分布式拒絕服務攻擊預防體系研究[D];蘇州大學;2010年

6 何月梅;分形技術與矢量量化相結合的網(wǎng)絡流量異常檢測研究[D];河北工程大學;2010年

7 陳啟;基于支持向量回歸在短期負荷預測中的應用[D];河北工程大學;2010年

8 王瑛;基于模糊聚類的入侵檢測算法研究[D];江西理工大學;2010年

9 鐘銳;基于隱馬爾科夫模型的入侵檢測系統(tǒng)研究[D];江西理工大學;2010年

10 范艷華;基于IP地址相關性的DDoS攻擊檢測研究與實現(xiàn)[D];江蘇大學;2010年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張劍,龔儉;一種基于模糊綜合評判的入侵異常檢測方法[J];計算機研究與發(fā)展;2003年06期

2 林白,李鷗,劉慶衛(wèi);基于序貫變化檢測的DDoS攻擊檢測方法[J];計算機工程;2005年09期

3 林白,李鷗,趙樺;基于源端網(wǎng)絡的SYN Flooding攻擊雙粒度檢測[J];計算機工程;2005年10期

4 朱文濤,李津生,洪佩琳;基于路由器代理的分布式湮沒檢測系統(tǒng)[J];計算機學報;2003年11期

5 李昆侖,黃厚寬,田盛豐,劉振鵬,劉志強;模糊多類支持向量機及其在入侵檢測中的應用[J];計算機學報;2005年02期

6 陳偉;何炎祥;彭文靈;;一種輕量級的拒絕服務攻擊檢測方法[J];計算機學報;2006年08期

7 饒鮮,董春曦,楊紹全;基于支持向量機的入侵檢測系統(tǒng)[J];軟件學報;2003年04期

8 孫知信;唐益慰;程媛;;基于改進CUSUM算法的路由器異常流量檢測[J];軟件學報;2005年12期

9 羅娜;李愛平;吳泉源;陸華彪;;基于概要數(shù)據(jù)結構可溯源的異常檢測方法[J];軟件學報;2009年10期

10 嚴芬;陳軼群;黃皓;殷新春;;使用補償非參數(shù)CUSUM方法檢測DDoS攻擊[J];通信學報;2008年06期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 楊雅輝;杜克明;;全網(wǎng)異常流量簇的檢測與確定機制[J];計算機研究與發(fā)展;2009年11期

2 王海龍;楊岳湘;;基于信息熵的大規(guī)模網(wǎng)絡流量異常檢測[J];計算機工程;2007年18期

3 魏桂英;姜亞星;;基于流數(shù)據(jù)挖掘的網(wǎng)絡流量異常檢測及分析研究[J];中國管理信息化;2009年15期

4 蔣文賢;;基于隨機分形與馬爾可夫模型的網(wǎng)絡流量異常檢測方法[J];通信技術;2008年10期

5 夏正敏;陸松年;李建華;馬進;;基于自相似的異常流量自適應檢測方法[J];計算機工程;2010年05期

6 梁昇;肖宗水;許艷美;;基于統(tǒng)計的網(wǎng)絡流量異常檢測模型[J];計算機工程;2005年24期

7 胡海龍;杭德全;;基于殘噪預測的網(wǎng)絡流量異常檢測算法[J];計算機安全;2009年04期

8 何月梅;杜海艷;王保民;;分形技術與矢量量化相結合的網(wǎng)絡流量異常檢測研究[J];邯鄲學院學報;2009年03期

9 王欣,方濱興;Hurst參數(shù)變化在網(wǎng)絡流量異常檢測中的應用[J];哈爾濱工業(yè)大學學報;2005年08期

10 顏若愚;鄭慶華;牛國林;;自適應濾波實時網(wǎng)絡流量異常檢測方法[J];西安交通大學學報;2009年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 鄺祝芳;陽國貴;李清;;基于隱Markov模型的數(shù)據(jù)庫異常檢測技術[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2006年

2 蒲曉豐;雷武虎;黃濤;王迪;;基于穩(wěn)健背景子空間的高光譜圖像異常檢測[A];中國光學學會2010年光學大會論文集[C];2010年

3 劉輝;蔡利棟;;Linux進程行為的模式提取與異常檢測[A];信號與信息處理技術——第一屆信號與信息處理聯(lián)合學術會議論文集[C];2002年

4 譚瑩;王丹;;基于流量的網(wǎng)絡行為分析模型的設計與實現(xiàn)[A];2010年全國通信安全學術會議論文集[C];2010年

5 喬立巖;彭喜元;彭宇;;基于支持向量機的鍵盤密碼輸入異常檢測方法研究[A];2004全國測控、計量與儀器儀表學術年會論文集（上冊）[C];2004年

6 董恩生;董永貴;賈惠波;;飛機交流發(fā)電機異常檢測方法的研究[A];第二屆全國信息獲取與處理學術會議論文集[C];2004年

7 張立燕;;基于定點成分分析的高光譜圖像低概率異常檢測方法研究[A];中國地理學會百年慶典學術論文摘要集[C];2009年

8 許列;王明印;;基于隱馬爾可夫模型(HMM)實時異常檢測[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

9 王樹廣;;分布式數(shù)據(jù)流上的連續(xù)異常檢測[A];2008年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2008年

10 于延;王建華;張軍;;基于RBF和Elman混合神經(jīng)網(wǎng)絡的入侵檢測系統(tǒng)的研究[A];2009年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 本報記者 邊歆;[N];網(wǎng)絡世界;2006年

2 Garry Sexton;[N];中國計算機報;2003年

3 吳作順;[N];中國計算機報;2002年

4 ;[N];網(wǎng)絡世界;2005年

5 劉波記者季昌仁;[N];中國質量報;2003年

6 記者 毛磊;[N];新華每日電訊;2003年

7 費宗蓮;[N];中國計算機報;2005年

8 ;[N];網(wǎng)絡世界;2003年

9 ;[N];中國計算機報;2003年

10 中聯(lián)綠盟、李群;[N];中國計算機報;2002年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 鄭黎明;大規(guī)模通信網(wǎng)絡流量異常檢測與優(yōu)化關鍵技術研究[D];國防科學技術大學;2012年

2 周俊臨;基于數(shù)據(jù)挖掘的分布式異常檢測[D];電子科技大學;2010年

3 吳志忠;移動設備及網(wǎng)絡的異常檢測方法研究[D];中國科學技術大學;2013年

4 趙靜;網(wǎng)絡協(xié)議異常檢測模型的研究與應用[D];北京交通大學;2010年

5 熊偉;基于突變理論及協(xié)同學的網(wǎng)絡流量異常檢測方法研究[D];華中科技大學;2011年

6 魏小濤;在線自適應網(wǎng)絡異常檢測系統(tǒng)模型與相關算法研究[D];北京交通大學;2009年

7 馬麗;基于流形學習算法的高光譜圖像分類和異常檢測[D];華中科技大學;2010年

8 夏正敏;基于分形的網(wǎng)絡流量分析及異常檢測技術研究[D];上海交通大學;2012年

9 郁繼鋒;基于數(shù)據(jù)挖掘的Web應用入侵異常檢測研究[D];華中科技大學;2011年

10 賀偉凇;骨干網(wǎng)絡流量異常行為感知方法研究[D];電子科技大學;2011年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李中魁;基于動態(tài)閾值的網(wǎng)絡流量異常檢測方法研究與實現(xiàn)[D];電子科技大學;2010年

2 金飛蔡;基于移動agent技術的入侵檢測系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2004年

3 詹偉;關系數(shù)據(jù)庫入侵檢測系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2004年

4 李丹;異常數(shù)據(jù)挖掘算法研究及其在稅務上的應用[D];山東大學;2005年

5 陳霞云;基于移動代理的入侵檢測系統(tǒng)[D];西安電子科技大學;2004年

6 李婷;基于程序行為的異常檢測模型研究[D];青島大學;2004年

7 李波;基于數(shù)據(jù)挖掘的異常模式入侵檢測研究[D];東北大學;2005年

8 朱義鑫;基于網(wǎng)絡的隱馬爾可夫異常檢測技術研究[D];新疆大學;2005年

9 杜瑞峰;網(wǎng)絡流量監(jiān)測技術的研究及其在安全管理中的應用[D];中南大學;2005年

10 郝雙;對拒絕服務攻擊的檢測方法研究[D];清華大學;2005年

  本文關鍵詞：大規(guī)模通信網(wǎng)絡流量異常檢測與優(yōu)化關鍵技術研究，由筆耕文化傳播整理發(fā)布。

本文編號：94241