可變?nèi)诤系碾S機(jī)注意力膠囊網(wǎng)絡(luò)入侵檢測(cè)模型
發(fā)布時(shí)間:2022-01-17 02:20
為了增強(qiáng)檢測(cè)模型的準(zhǔn)確率與泛化性,提出了一種可變?nèi)诤系碾S機(jī)注意力膠囊網(wǎng)絡(luò)的入侵檢測(cè)模型,通過(guò)特征動(dòng)態(tài)融合,模型能夠更好地捕捉數(shù)據(jù)特征;同時(shí)使用隨機(jī)注意力機(jī)制,減少了對(duì)訓(xùn)練數(shù)據(jù)的依賴,使模型更具有泛化能力。所提模型在NSL-KDD和UNSW-NB15數(shù)據(jù)集上進(jìn)行驗(yàn)證,實(shí)驗(yàn)表明,模型在2種測(cè)試集上的準(zhǔn)確率分別達(dá)到了99.49%和98.60%。
【文章來(lái)源】:通信學(xué)報(bào). 2020,41(11)北大核心EICSCD
【文章頁(yè)數(shù)】:9 頁(yè)
【部分圖文】:
隨機(jī)注意力機(jī)制
本文中的動(dòng)態(tài)路由機(jī)制的與文獻(xiàn)[11]中相似,但是為了使動(dòng)態(tài)過(guò)程更加接近入侵檢測(cè)的數(shù)據(jù),本文對(duì)壓縮函數(shù)Squashing進(jìn)行了修改,如圖3所示。使用x和y分別代表壓縮函數(shù)中的sj和vj,x和y都是標(biāo)量,在二維坐標(biāo)系下研究函數(shù)的性質(zhì)。從圖3中可以發(fā)現(xiàn),原始的壓縮函數(shù)在處理模長(zhǎng)較短的膠囊時(shí),會(huì)把數(shù)值壓縮到0附近,這樣的全局壓縮會(huì)導(dǎo)致在迭代更新時(shí)丟失部分膠囊的重要信息,同時(shí)函數(shù)增長(zhǎng)速率過(guò)緩,對(duì)于模長(zhǎng)比較短和模長(zhǎng)比較長(zhǎng)的膠囊會(huì)有明顯的區(qū)分,但卻不能很好地區(qū)分中間長(zhǎng)度的膠囊,并且影響迭代速度。為了解決這個(gè)問(wèn)題,本文對(duì)原來(lái)的壓縮方法進(jìn)行了調(diào)整,改進(jìn)的壓縮方法如式(12)所示,函數(shù)圖像如圖4所示。此壓縮函數(shù)的特點(diǎn)是在模長(zhǎng)接近0時(shí)起到了放大作用,不像原來(lái)函數(shù)一樣進(jìn)行全局壓縮,導(dǎo)致部分信息被忽略。
為了解決這個(gè)問(wèn)題,本文對(duì)原來(lái)的壓縮方法進(jìn)行了調(diào)整,改進(jìn)的壓縮方法如式(12)所示,函數(shù)圖像如圖4所示。此壓縮函數(shù)的特點(diǎn)是在模長(zhǎng)接近0時(shí)起到了放大作用,不像原來(lái)函數(shù)一樣進(jìn)行全局壓縮,導(dǎo)致部分信息被忽略。在輸出層部分,本文并沒(méi)有采用原始膠囊網(wǎng)絡(luò)中的重構(gòu)操作,因?yàn)樵谔卣魈崛∵^(guò)程中融合了全局特征,重構(gòu)后將會(huì)帶來(lái)一定的誤差,分類的預(yù)測(cè)結(jié)果依舊采用vj模長(zhǎng)的形式來(lái)表示,在損失函數(shù)部分,本文只使用了如式(13)所示的Margin Loss函數(shù)。
本文編號(hào):3593858
【文章來(lái)源】:通信學(xué)報(bào). 2020,41(11)北大核心EICSCD
【文章頁(yè)數(shù)】:9 頁(yè)
【部分圖文】:
隨機(jī)注意力機(jī)制
本文中的動(dòng)態(tài)路由機(jī)制的與文獻(xiàn)[11]中相似,但是為了使動(dòng)態(tài)過(guò)程更加接近入侵檢測(cè)的數(shù)據(jù),本文對(duì)壓縮函數(shù)Squashing進(jìn)行了修改,如圖3所示。使用x和y分別代表壓縮函數(shù)中的sj和vj,x和y都是標(biāo)量,在二維坐標(biāo)系下研究函數(shù)的性質(zhì)。從圖3中可以發(fā)現(xiàn),原始的壓縮函數(shù)在處理模長(zhǎng)較短的膠囊時(shí),會(huì)把數(shù)值壓縮到0附近,這樣的全局壓縮會(huì)導(dǎo)致在迭代更新時(shí)丟失部分膠囊的重要信息,同時(shí)函數(shù)增長(zhǎng)速率過(guò)緩,對(duì)于模長(zhǎng)比較短和模長(zhǎng)比較長(zhǎng)的膠囊會(huì)有明顯的區(qū)分,但卻不能很好地區(qū)分中間長(zhǎng)度的膠囊,并且影響迭代速度。為了解決這個(gè)問(wèn)題,本文對(duì)原來(lái)的壓縮方法進(jìn)行了調(diào)整,改進(jìn)的壓縮方法如式(12)所示,函數(shù)圖像如圖4所示。此壓縮函數(shù)的特點(diǎn)是在模長(zhǎng)接近0時(shí)起到了放大作用,不像原來(lái)函數(shù)一樣進(jìn)行全局壓縮,導(dǎo)致部分信息被忽略。
為了解決這個(gè)問(wèn)題,本文對(duì)原來(lái)的壓縮方法進(jìn)行了調(diào)整,改進(jìn)的壓縮方法如式(12)所示,函數(shù)圖像如圖4所示。此壓縮函數(shù)的特點(diǎn)是在模長(zhǎng)接近0時(shí)起到了放大作用,不像原來(lái)函數(shù)一樣進(jìn)行全局壓縮,導(dǎo)致部分信息被忽略。在輸出層部分,本文并沒(méi)有采用原始膠囊網(wǎng)絡(luò)中的重構(gòu)操作,因?yàn)樵谔卣魈崛∵^(guò)程中融合了全局特征,重構(gòu)后將會(huì)帶來(lái)一定的誤差,分類的預(yù)測(cè)結(jié)果依舊采用vj模長(zhǎng)的形式來(lái)表示,在損失函數(shù)部分,本文只使用了如式(13)所示的Margin Loss函數(shù)。
本文編號(hào):3593858
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3593858.html
最近更新
教材專著