基于長(zhǎng)短期記憶模型的入侵檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2.2標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)
f′(y)f′(x)f′(w)(2.1)2.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)理論中,所有的輸入(和輸出)彼此之間是互相獨(dú)立的。但是這并不符合很多現(xiàn)實(shí)任務(wù)。例如你想預(yù)測(cè)句子中的下一個(gè)詞,它很可能與它之前的詞和它之后的詞有一定的相關(guān)性,因此需要知道它的前后文信息。循環(huán)神經(jīng)網(wǎng)絡(luò)之所以....
圖2.3標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度消失問(wèn)題同時(shí)如果雅克比矩陣中的值很大,則多次矩陣相乘后梯度值容易成指數(shù)級(jí)上升
導(dǎo)手校?曜嫉難??神經(jīng)網(wǎng)絡(luò)一般難以學(xué)習(xí)到長(zhǎng)時(shí)的信息,它們僅能利用有限步長(zhǎng)得信息。是因?yàn)槭?.6也可簡(jiǎn)寫(xiě)為式2.7,其中hKhk滿(mǎn)足鏈?zhǔn)椒▌t,hKhk=hKhK1...h2h1。其求導(dǎo)數(shù)結(jié)果是一個(gè)雅克比矩陣,矩陣元素是每個(gè)點(diǎn)的導(dǎo)數(shù)。可以把式2.7的梯度重寫(xiě)成式2.8。因?yàn)槭街醒趴吮?...
圖2.4LSTM的一個(gè)“細(xì)胞”塊結(jié)構(gòu)
中,輸入門(mén)將“細(xì)胞”的輸入和輸出通過(guò)向量的乘法計(jì)算得到;輸出門(mén)也是將“細(xì)胞”的輸入和輸出通過(guò)向量的乘法計(jì)算得到;而遺忘門(mén)與“細(xì)胞”的從前狀態(tài)通過(guò)向量的乘法計(jì)算得到!凹(xì)胞”更新計(jì)算的時(shí)候不需要激活函數(shù)。圖中,門(mén)激活函數(shù)f通常為邏輯sigmoid,因此門(mén)激活函數(shù)的結(jié)果在0-1之間,....
圖4.6不同的LSTM層隱藏神經(jīng)元的個(gè)數(shù)對(duì)IDM分類(lèi)結(jié)果的影響
。本文設(shè)置了4個(gè)超參數(shù)來(lái)討論這4個(gè)參數(shù)對(duì)模型的影響。這4個(gè)超參數(shù)為:LSTM中隱藏神經(jīng)元的個(gè)數(shù)(units)、時(shí)間步長(zhǎng)的大。╰imestepsize)、周期大。╡pochsize)和優(yōu)化方法。本實(shí)驗(yàn)中使用的LSTM為Keras中的LSTM,其中我們?cè)O(shè)置LSTM的激活函數(shù)(ac....
本文編號(hào):3915748
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3915748.html