對包含大流量數(shù)據(jù)的高維度網(wǎng)絡(luò)進行異常檢測,必須加入維數(shù)約簡處理以減輕系統(tǒng)在傳輸和存儲方面的壓力。介紹高速網(wǎng)絡(luò)環(huán)境下網(wǎng)絡(luò)流量異常檢測過程以及維數(shù)約簡方式,闡述流量數(shù)據(jù)常用特征和維數(shù)約簡技術(shù)研究的最新進展。針對網(wǎng)絡(luò)流量特征選擇和流量特征提取2種特征降維方式,對現(xiàn)有算法進行歸納分類,分別描述算法原理及優(yōu)缺點。此外,給出維數(shù)約簡常用的數(shù)據(jù)集和評價指標,分析網(wǎng)絡(luò)流量異常檢測中維數(shù)約簡技術(shù)研究面臨的挑戰(zhàn),并對未來發(fā)展方向進行展望。 

【文章來源】：計算機工程. 2020,46(02)北大核心CSCD

【文章頁數(shù)】：10 頁

【部分圖文】：

高速網(wǎng)絡(luò)環(huán)境下的網(wǎng)絡(luò)流量異常檢測過程

維數(shù)約簡又稱為特征降維,網(wǎng)絡(luò)流量維數(shù)約簡一般包括網(wǎng)絡(luò)流量特征選擇和網(wǎng)絡(luò)流量特征提取2種方式,兩者都是為了從原始網(wǎng)絡(luò)流量特征中找出最有效的特征[7],針對高維災難都可以達到降維的目的,但是兩者有所不同。網(wǎng)絡(luò)流量特征選擇是依據(jù)一定的規(guī)則從已有的網(wǎng)絡(luò)流量特征中選取出部分特征來表示原始網(wǎng)絡(luò)流量數(shù)據(jù),如圖2(a)所示。網(wǎng)絡(luò)流量特征選擇保留了訓練樣本的原始物理意義,但是當網(wǎng)絡(luò)流量數(shù)據(jù)間相似性很強時,檢測冗余信息對計算要求非常高。網(wǎng)絡(luò)流量特征提取則是按照一定的規(guī)則將原始網(wǎng)絡(luò)流量特征空間變換成一個維數(shù)更小的空間,是使用數(shù)學方法對某些特征進行融合產(chǎn)生了新的特征,新的特征只具有數(shù)學含義,難以找到其現(xiàn)實意義,如圖2(b)所示。網(wǎng)絡(luò)流量特征提取是在網(wǎng)絡(luò)流量特征選擇的基礎(chǔ)上對網(wǎng)絡(luò)流量數(shù)據(jù)集做進一步簡化,去除剩余特征的冗余值[8-9]。網(wǎng)絡(luò)流量維數(shù)約簡可以使網(wǎng)絡(luò)流量數(shù)據(jù)集更容易使用,減少數(shù)據(jù)存儲并降低算法的計算開銷,同時提高網(wǎng)絡(luò)異常檢測性能。為生成可靠的IDS模型,維數(shù)約簡被認為是提高網(wǎng)絡(luò)異常檢測運算效率和發(fā)現(xiàn)數(shù)據(jù)模式的一項重要任務。

網(wǎng)絡(luò)流量異常檢測中用到的網(wǎng)絡(luò)流量特征大致可分為3類,即基于報文頭部、基于網(wǎng)絡(luò)流和基于連接圖的網(wǎng)絡(luò)流量特征[10],如圖3所示,其中,基于報文頭部的網(wǎng)絡(luò)流量特征一般包含IP地址、端口地址等;基于網(wǎng)絡(luò)流的網(wǎng)絡(luò)流量特征主要是使用與網(wǎng)絡(luò)流量相關(guān)的統(tǒng)計數(shù)據(jù)作為特征,即使用網(wǎng)絡(luò)流的統(tǒng)計特征來表示網(wǎng)絡(luò)流量,如包長、包到達間隔等,可進一步分為單流特征和多流特征;基于連接圖的網(wǎng)絡(luò)流量特征是圖特征與網(wǎng)絡(luò)流量特征相結(jié)合的網(wǎng)絡(luò)流量特征。網(wǎng)絡(luò)流可分為單向流和雙向流,網(wǎng)絡(luò)流量特征也可分為單流特征和雙流特征。單流特征即單個流的特征,只使用組成該網(wǎng)絡(luò)流的所有報文集合的統(tǒng)計特征作為該網(wǎng)絡(luò)流量的特征,通常包括包到達時間、報文大小、報文大小的均值/方差、網(wǎng)絡(luò)流所包含的數(shù)據(jù)報文數(shù)量等。多流特征是針對具有某些相同特性的多條網(wǎng)絡(luò)流量共同形成的一些統(tǒng)計特征,可在單流特征基礎(chǔ)上表示出更多流量相關(guān)的信息。在網(wǎng)絡(luò)流量異常檢測過程中提取多流特征,一般先選擇一個提取對象,如將主機地址作為對象的網(wǎng)絡(luò)流量,或?qū)⒕W(wǎng)絡(luò)段作為提取對象的網(wǎng)絡(luò)流量等[10]。

【參考文獻】：
期刊論文
[1]基于XGBoost的特征選擇算法[J]. 李占山,劉兆賡.  通信學報. 2019(10)
[2]網(wǎng)絡(luò)攻擊檢測中流量數(shù)據(jù)抽樣技術(shù)研究[J]. 陳良臣,劉寶旭,高曙.  信息網(wǎng)絡(luò)安全. 2019(08)
[3]網(wǎng)絡(luò)加密流量識別研究進展及發(fā)展趨勢[J]. 陳良臣,高曙,劉寶旭,盧志剛.  信息網(wǎng)絡(luò)安全. 2019(03)
[4]基于隨機森林的流量多特征提取與分類研究[J]. 韋澤鯤,夏靖波,張曉燕,付凱,申健.  傳感器與微系統(tǒng). 2016(12)
[5]一種基于統(tǒng)計頻率的網(wǎng)絡(luò)流量特征選擇方法[J]. 孫興斌,芮赟.  小型微型計算機系統(tǒng). 2016(11)
[6]基于主元分析和互信息維數(shù)約簡策略的網(wǎng)絡(luò)入侵異常檢測[J]. 湯健,孫春來,毛克峰,賈美英.  信息網(wǎng)絡(luò)安全. 2015(09)

博士論文
[1]竊密型復雜網(wǎng)絡(luò)攻擊建模與識別方法研究[D]. 牛偉納.電子科技大學 2018
[2]基于SVM的網(wǎng)絡(luò)流量特征降維與分類方法研究[D]. 曹杰.吉林大學 2017

碩士論文
[1]基于改進的字典學習的網(wǎng)絡(luò)入侵檢測方法研究[D]. 尹秀.南京郵電大學 2018
[2]網(wǎng)絡(luò)流量分類中特征工程的研究[D]. 黃引翔.南京郵電大學 2017
[3]基于半監(jiān)督學習的網(wǎng)絡(luò)業(yè)務流量識別方法研究[D]. 周雅.東南大學 2017
[4]基于降維的骨干網(wǎng)流量異常檢測研究[D]. 羅玲.中國科學技術(shù)大學 2015



本文編號：3090665