在深度學(xué)習(xí)中,激活函數(shù)是人工神經(jīng)網(wǎng)絡(luò)一個(gè)重要組成部分。自適應(yīng)激活函數(shù)通過添加可學(xué)習(xí)參數(shù)控制自身的形狀。這些學(xué)習(xí)參數(shù)可通過反向傳播算法,隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行得到更新。本文提出了一種針對自適應(yīng)激活函數(shù)可學(xué)習(xí)參數(shù)調(diào)節(jié)的新方法NMPLAAF,并基于該方法設(shè)計(jì)出了針對CNN網(wǎng)絡(luò)的新型激活函數(shù)Max2和針對RNN的新型激活函數(shù)MinMax。與此同時(shí)本文提出了一個(gè)猜想即每個(gè)人工神經(jīng)網(wǎng)絡(luò)都有適合自己的最優(yōu)激活函數(shù),NMPLAF可以看做是一種尋找神經(jīng)網(wǎng)絡(luò)最佳激活函數(shù)的有效方法。它不僅極大地減少了網(wǎng)絡(luò)中自適應(yīng)激活函數(shù)可學(xué)習(xí)參數(shù)的總體數(shù)量,而且加快了網(wǎng)絡(luò)的學(xué)習(xí)速率,極大地改善了網(wǎng)絡(luò)的泛化能力。新的激活函數(shù)可以被應(yīng)用到現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中,只需添加極少的可學(xué)習(xí)參數(shù)和計(jì)算開銷。本文主要采用了MLP、CNN和RNN三種不同的網(wǎng)絡(luò)結(jié)構(gòu),分別應(yīng)用在圖像,文本和語音數(shù)據(jù)集上。實(shí)驗(yàn)結(jié)果驗(yàn)證了我們的猜想,顯示出我們提出的新方法的優(yōu)越性。這兩個(gè)新型自適應(yīng)激活函數(shù)避免了梯度彌散問題,比其他激活函數(shù)具有更高的分類精度。 

【文章來源】：浙江工業(yè)大學(xué)浙江省

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

SReLU基本形狀

圖 2-1 神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)圖圈對應(yīng)的 Layer1L 表示輸入層，其中1x ，2x ，3x 表示稱作偏置節(jié)點(diǎn)，也叫截距項(xiàng)。最后 Layer3L 作為網(wǎng)絡(luò)的r2L 通常稱作隱藏層，其中(2)1a ，(2)2a ，(2)3a 稱作激活值活函數(shù)非線性轉(zhuǎn)化的結(jié)果。神經(jīng)元節(jié)點(diǎn)連接線上都有一，上圖權(quán)重參數(shù)可表示為（W,b）=（W1，b1，W2，b神經(jīng)元與第 l+1 層的第 j 個(gè)神經(jīng)元之間的權(quán)重參數(shù)，b項(xiàng)。上圖隱藏層和輸出層結(jié)果(W,b)h (x)的計(jì)算公式如下(2) (1) (1) (1) (1)1 11 1 12 2 13 3 1(2) (1) (1) (1) (1)2 21 1 22 2 23 3 2(2) (1) (1) (1) (1)3 31 1 32 2 33 3 3α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )

左圖為全連接，右圖為局部連接[53]

【參考文獻(xiàn)】：
期刊論文
[1]DEGREE OF APPROXIMATION BY SUPERPOSITIONS OF A SIGMOIDAL FUNCTION[J]. Chen Debao (University of Texas at Austin,USA).  Approximation Theory and Its Applications. 1993(03)



本文編號：3556216