基于Spark平臺的網(wǎng)絡(luò)入侵檢測關(guān)鍵技術(shù)研究
發(fā)布時間:2022-01-04 13:00
入侵檢測作為一種動態(tài)的網(wǎng)絡(luò)安防手段,可以有效地保護(hù)計算機系統(tǒng)和網(wǎng)絡(luò)免受入侵,并與靜態(tài)安防手段相輔相成,共同構(gòu)成網(wǎng)絡(luò)安全防線。近幾年,基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測技術(shù)逐漸成為研究的熱點,然而在研究的過程中存在一些問題,如數(shù)據(jù)中存在冗余特征影響檢測效果,算法難以處理異常數(shù)據(jù)且處理大規(guī)模數(shù)據(jù)速度慢等。因此,本文通過特征選擇方法,以及結(jié)合分布式計算平臺Spark對網(wǎng)絡(luò)入侵檢測進(jìn)行深入研究。具體的工作如下:1.針對網(wǎng)絡(luò)入侵檢測數(shù)據(jù)中含有冗余和噪音特征影響檢測效果,以及數(shù)據(jù)維度過高使得分類器訓(xùn)練和檢測時間過長的問題,提出了一種基于自適應(yīng)遺傳算法的混合特征選擇方法。首先,通過卡方(Chi Square,CS)過濾算法,刪除冗余和相關(guān)性低的特征。其次,采用Light GBM分類器結(jié)合自適應(yīng)遺傳算法構(gòu)成混合特征選擇方法,搜索分類效果好的特征子集。實驗結(jié)果表明,該方法相比于過濾和封裝方法具有更好的特征約簡能力,且選擇后的特征子集在不同分類器上有較高的檢測率和較低的誤報率。2.針對K-均值算法在處理網(wǎng)絡(luò)入侵檢測中的線性不可分?jǐn)?shù)據(jù)以及類分布為非橢圓分布時聚類效果較差的問題,提出了一種基于高斯核函數(shù)的并行K-均值...
【文章來源】:重慶郵電大學(xué)重慶市
【文章頁數(shù)】:74 頁
【學(xué)位級別】:碩士
【部分圖文】:
C4.5(d)SVM三種過濾算法在不同特征數(shù)目時的分類正確率
重慶郵電大學(xué)碩士學(xué)位論文(a)NB(c)C4.5圖3.6不同特征選擇方法在各分類器上的在圖3.6中,通過本文所提的特征子集在NB、LR、C4.5分類模型得到AUC值最小,說明C4.5和SVM的AUC值比較接近,其中獲得了最高的AUC值,且CSGA+SVM清楚地對比各個特征選擇方法在和0-1之間,如圖3.7所示。(a)FPR縮放到0-0.01圖3.7不同特征選擇方法在第3章基于自適應(yīng)遺傳算法的混合特征選擇方法36(b)LR(d)SVMROC曲線和AUC值CSGA與IG、RelifF、GA特征選擇方法選擇后的和SVM上進(jìn)行對比。在這幾種檢測模型中,使用LR分類模型的檢測效果弱于其它三種模型。CSGA和其他三種特征選擇方法在優(yōu)于SVM和其他三種特征選擇方法。為了SVM上的ROC曲線,將FPR的值縮放到0.01(b)FPR縮放到0-1SVM上的ROC曲線和AUC值LRNB、SVM上0-0.011
重慶郵電學(xué)碩士學(xué)位論文第4章基于高斯核函數(shù)的并行K-均值優(yōu)化算法41題時,數(shù)據(jù)映射到特征空間時維度會很高,這會導(dǎo)致變換函數(shù))(不能明確表示并且計算(x),(y)也是非常困難,其中,表示內(nèi)積。為了解決特征空間中內(nèi)積計算困難的問題,可以通過K(xy)(x),(y)函數(shù)轉(zhuǎn)換到原始輸入空間中進(jìn)行計算,其中K()就是核函數(shù)。核函數(shù)不僅可以有效解決特征空間維度災(zāi)難的問題,而且不需要明確知道變換過程中)(轉(zhuǎn)換函數(shù)的具體形式,只需要將輸入空間中的內(nèi)積x,y替換一個合適的核函數(shù)。圖4.2輸入空間到特征空間的映射選擇核函數(shù)時優(yōu)先考慮選擇正(半)定Gram矩陣,可以確保核函數(shù)是連續(xù)的。此外滿足Mercer定理的函數(shù)都是半正定函數(shù),意味著它們的核矩陣只存在非負(fù)特征值。使用滿足Mercer定理的核函數(shù)可以確保優(yōu)化問題是凸的,并且解決方案將是唯一的。核函數(shù)主要分為內(nèi)積核函數(shù)和平移不變核函數(shù),如:(1)多項式核函數(shù)(,)[1]TdiiKxxxx(4.1)(2)高斯核函數(shù)2(,)exp(||||)iiKxxqxx(4.2)(3)Sigmoid核函數(shù)(,)tanh(()),0,0iiKxxxx(4.3)其中最常用的是高斯核函數(shù),因為基于高斯核函數(shù)映射的特征空間是無窮維的,入侵檢測非線性數(shù)據(jù)在該特征空間中一定可以線性可分。因此在本章中都采用高斯核函數(shù)作為核K-均值的映射函數(shù)。
【參考文獻(xiàn)】:
期刊論文
[1]一種融合蟻群算法和隨機森林的特征選擇方法[J]. 李光華,李俊清,張亮,辛衍森,鄧華偉. 計算機科學(xué). 2019(S2)
[2]基于LSTM流量預(yù)測的DDoS攻擊檢測方法[J]. 程杰仁,羅逸涵,唐湘滟,歐明望. 華中科技大學(xué)學(xué)報(自然科學(xué)版). 2019(04)
[3]國家信息安全漏洞通報[J]. 中國信息安全. 2019(02)
[4]基于LightGBM的網(wǎng)絡(luò)入侵檢測系統(tǒng)[J]. 莫坤,王娜,李恒吉,李朝陽,李劍. 信息安全研究. 2019(02)
[5]基于云模型與決策樹的入侵檢測方法[J]. 郭慧,劉忠寶,柳欣. 計算機工程. 2019(04)
[6]基于Xgboost算法的網(wǎng)絡(luò)入侵檢測研究[J]. 張陽,姚原崗. 信息網(wǎng)絡(luò)安全. 2018(09)
[7]數(shù)據(jù)加密技術(shù)在計算機網(wǎng)絡(luò)安全中的應(yīng)用價值分析[J]. 吳義三. 電腦知識與技術(shù). 2018(08)
[8]機器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J]. 張蕾,崔勇,劉靜,江勇,吳建平. 計算機學(xué)報. 2018(09)
[9]人工蜂群算法優(yōu)化的特征選擇方法[J]. 巢秀琴,李煒. 計算機科學(xué)與探索. 2019(02)
[10]基于信息增益特征選擇的網(wǎng)絡(luò)異常檢測模型[J]. 劉汝雋,賈斌,辛陽. 計算機應(yīng)用. 2016(S2)
碩士論文
[1]基于貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測模型研究[D]. 薛孟陽.中國礦業(yè)大學(xué) 2019
[2]基于機器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測技術(shù)的研究[D]. 王杰.西安電子科技大學(xué) 2018
[3]基于Spark的網(wǎng)絡(luò)入侵實時檢測算法研究[D]. 王欣穎.成都理工大學(xué) 2018
[4]基于機器學(xué)習(xí)的入侵檢測算法研究[D]. 王淇藝.北京郵電大學(xué) 2018
[5]基于互信息的特征選擇在入侵檢測中的優(yōu)化研究[D]. 向嬋.昆明理工大學(xué) 2018
[6]基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測技術(shù)研究[D]. 于洋.國防科技大學(xué) 2018
[7]蟻群算法在網(wǎng)絡(luò)入侵特征選擇上的應(yīng)用研究[D]. 王峰.湖南大學(xué) 2017
[8]基于核聚類和序列分析的網(wǎng)絡(luò)入侵檢測方法的研究[D]. 羅程.廣西大學(xué) 2005
本文編號:3568386
【文章來源】:重慶郵電大學(xué)重慶市
【文章頁數(shù)】:74 頁
【學(xué)位級別】:碩士
【部分圖文】:
C4.5(d)SVM三種過濾算法在不同特征數(shù)目時的分類正確率
重慶郵電大學(xué)碩士學(xué)位論文(a)NB(c)C4.5圖3.6不同特征選擇方法在各分類器上的在圖3.6中,通過本文所提的特征子集在NB、LR、C4.5分類模型得到AUC值最小,說明C4.5和SVM的AUC值比較接近,其中獲得了最高的AUC值,且CSGA+SVM清楚地對比各個特征選擇方法在和0-1之間,如圖3.7所示。(a)FPR縮放到0-0.01圖3.7不同特征選擇方法在第3章基于自適應(yīng)遺傳算法的混合特征選擇方法36(b)LR(d)SVMROC曲線和AUC值CSGA與IG、RelifF、GA特征選擇方法選擇后的和SVM上進(jìn)行對比。在這幾種檢測模型中,使用LR分類模型的檢測效果弱于其它三種模型。CSGA和其他三種特征選擇方法在優(yōu)于SVM和其他三種特征選擇方法。為了SVM上的ROC曲線,將FPR的值縮放到0.01(b)FPR縮放到0-1SVM上的ROC曲線和AUC值LRNB、SVM上0-0.011
重慶郵電學(xué)碩士學(xué)位論文第4章基于高斯核函數(shù)的并行K-均值優(yōu)化算法41題時,數(shù)據(jù)映射到特征空間時維度會很高,這會導(dǎo)致變換函數(shù))(不能明確表示并且計算(x),(y)也是非常困難,其中,表示內(nèi)積。為了解決特征空間中內(nèi)積計算困難的問題,可以通過K(xy)(x),(y)函數(shù)轉(zhuǎn)換到原始輸入空間中進(jìn)行計算,其中K()就是核函數(shù)。核函數(shù)不僅可以有效解決特征空間維度災(zāi)難的問題,而且不需要明確知道變換過程中)(轉(zhuǎn)換函數(shù)的具體形式,只需要將輸入空間中的內(nèi)積x,y替換一個合適的核函數(shù)。圖4.2輸入空間到特征空間的映射選擇核函數(shù)時優(yōu)先考慮選擇正(半)定Gram矩陣,可以確保核函數(shù)是連續(xù)的。此外滿足Mercer定理的函數(shù)都是半正定函數(shù),意味著它們的核矩陣只存在非負(fù)特征值。使用滿足Mercer定理的核函數(shù)可以確保優(yōu)化問題是凸的,并且解決方案將是唯一的。核函數(shù)主要分為內(nèi)積核函數(shù)和平移不變核函數(shù),如:(1)多項式核函數(shù)(,)[1]TdiiKxxxx(4.1)(2)高斯核函數(shù)2(,)exp(||||)iiKxxqxx(4.2)(3)Sigmoid核函數(shù)(,)tanh(()),0,0iiKxxxx(4.3)其中最常用的是高斯核函數(shù),因為基于高斯核函數(shù)映射的特征空間是無窮維的,入侵檢測非線性數(shù)據(jù)在該特征空間中一定可以線性可分。因此在本章中都采用高斯核函數(shù)作為核K-均值的映射函數(shù)。
【參考文獻(xiàn)】:
期刊論文
[1]一種融合蟻群算法和隨機森林的特征選擇方法[J]. 李光華,李俊清,張亮,辛衍森,鄧華偉. 計算機科學(xué). 2019(S2)
[2]基于LSTM流量預(yù)測的DDoS攻擊檢測方法[J]. 程杰仁,羅逸涵,唐湘滟,歐明望. 華中科技大學(xué)學(xué)報(自然科學(xué)版). 2019(04)
[3]國家信息安全漏洞通報[J]. 中國信息安全. 2019(02)
[4]基于LightGBM的網(wǎng)絡(luò)入侵檢測系統(tǒng)[J]. 莫坤,王娜,李恒吉,李朝陽,李劍. 信息安全研究. 2019(02)
[5]基于云模型與決策樹的入侵檢測方法[J]. 郭慧,劉忠寶,柳欣. 計算機工程. 2019(04)
[6]基于Xgboost算法的網(wǎng)絡(luò)入侵檢測研究[J]. 張陽,姚原崗. 信息網(wǎng)絡(luò)安全. 2018(09)
[7]數(shù)據(jù)加密技術(shù)在計算機網(wǎng)絡(luò)安全中的應(yīng)用價值分析[J]. 吳義三. 電腦知識與技術(shù). 2018(08)
[8]機器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J]. 張蕾,崔勇,劉靜,江勇,吳建平. 計算機學(xué)報. 2018(09)
[9]人工蜂群算法優(yōu)化的特征選擇方法[J]. 巢秀琴,李煒. 計算機科學(xué)與探索. 2019(02)
[10]基于信息增益特征選擇的網(wǎng)絡(luò)異常檢測模型[J]. 劉汝雋,賈斌,辛陽. 計算機應(yīng)用. 2016(S2)
碩士論文
[1]基于貝葉斯網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測模型研究[D]. 薛孟陽.中國礦業(yè)大學(xué) 2019
[2]基于機器學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測技術(shù)的研究[D]. 王杰.西安電子科技大學(xué) 2018
[3]基于Spark的網(wǎng)絡(luò)入侵實時檢測算法研究[D]. 王欣穎.成都理工大學(xué) 2018
[4]基于機器學(xué)習(xí)的入侵檢測算法研究[D]. 王淇藝.北京郵電大學(xué) 2018
[5]基于互信息的特征選擇在入侵檢測中的優(yōu)化研究[D]. 向嬋.昆明理工大學(xué) 2018
[6]基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測技術(shù)研究[D]. 于洋.國防科技大學(xué) 2018
[7]蟻群算法在網(wǎng)絡(luò)入侵特征選擇上的應(yīng)用研究[D]. 王峰.湖南大學(xué) 2017
[8]基于核聚類和序列分析的網(wǎng)絡(luò)入侵檢測方法的研究[D]. 羅程.廣西大學(xué) 2005
本文編號:3568386
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3568386.html
最近更新
教材專著