本文關(guān)鍵詞：循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中激活函數(shù)的改進(jìn)

  更多相關(guān)文章： 深度學(xué)習(xí) 循環(huán)神經(jīng)網(wǎng)絡(luò) 激活函數(shù) LSTM模型 GRU模型

【摘要】：循環(huán)神經(jīng)網(wǎng)絡(luò)相比于其他深度學(xué)習(xí)網(wǎng)絡(luò),優(yōu)勢(shì)在于可以學(xué)習(xí)到長(zhǎng)時(shí)依賴知識(shí),但學(xué)習(xí)過(guò)程中的梯度消失和爆炸問(wèn)題嚴(yán)重阻礙了知識(shí)的按序傳播,導(dǎo)致長(zhǎng)時(shí)依賴知識(shí)的學(xué)習(xí)結(jié)果出現(xiàn)偏差。為此,已有研究主要對(duì)經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行改進(jìn)以解決此類問(wèn)題。本文分析2種類型的激活函數(shù)對(duì)傳統(tǒng)RNN和包含門機(jī)制RNN的影響,在傳統(tǒng)RNN結(jié)構(gòu)的基礎(chǔ)上提出改進(jìn)后的模型,同時(shí)對(duì)LSTM和GRU模型的門機(jī)制進(jìn)行改進(jìn)。以PTB經(jīng)典文本數(shù)據(jù)集和LMRD情感分類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),結(jié)果表明改進(jìn)后的模型優(yōu)于傳統(tǒng)模型,能夠有效提升模型的學(xué)習(xí)能力。
【作者單位】： 河海大學(xué)計(jì)算機(jī)與信息學(xué)院;
【關(guān)鍵詞】： 深度學(xué)習(xí) 循環(huán)神經(jīng)網(wǎng)絡(luò) 激活函數(shù) LSTM模型 GRU模型
【基金】：國(guó)家科技支撐計(jì)劃項(xiàng)目(2013BAB06B04;HNKJ13-H17-04) 國(guó)家自然科學(xué)基金面上資助項(xiàng)目(61272543) 水利部公益性行業(yè)科研專項(xiàng)重點(diǎn)項(xiàng)目(201501007) NSFC-廣東聯(lián)合基金重點(diǎn)項(xiàng)目(U1301252)
【分類號(hào)】：TP183
【正文快照】： 0引言人工神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)路,能更好地模擬大腦結(jié)構(gòu),實(shí)現(xiàn)認(rèn)知過(guò)程逐層抽象,解決深度不足出現(xiàn)的問(wèn)題[1]。深度學(xué)習(xí)分支較多,目前的研究熱點(diǎn)是卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Net-works,RNN)[2]。RNN是一種學(xué)習(xí)能力很強(qiáng)

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 黃敬頻,周永權(quán);可調(diào)激活函數(shù)神經(jīng)元參數(shù)選取方法研究[J];工程數(shù)學(xué)學(xué)報(bào);2005年06期

2 黃敬頻,周永權(quán);可調(diào)激活函數(shù)遞進(jìn)提升輸出維的選參方法[J];數(shù)學(xué)的實(shí)踐與認(rèn)識(shí);2005年01期

3 盧純,石秉學(xué);一種新型的神經(jīng)元激活函數(shù)及其導(dǎo)數(shù)的可編程發(fā)生器[J];固體電子學(xué)研究與進(jìn)展;2002年01期

4 馮林;劉勝藍(lán);張晶;王輝兵;;高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機(jī)及線性降維[J];計(jì)算機(jī)研究與發(fā)展;2014年06期

5 穆文全，廖曉峰，虞厥邦;具有非可微激活函數(shù)的神經(jīng)網(wǎng)絡(luò)性能分析[J];電子科技大學(xué)學(xué)報(bào);1996年04期

6 吳佑壽,趙明生;激活函數(shù)可調(diào)的神經(jīng)元模型及其有監(jiān)督學(xué)習(xí)與應(yīng)用[J];中國(guó)科學(xué)E輯:技術(shù)科學(xué);2001年03期

7 葉世偉,鄭宏偉,王文杰,馬琳,史忠植;離散時(shí)間Hopfield網(wǎng)絡(luò)的動(dòng)力系統(tǒng)分析[J];計(jì)算機(jī)研究與發(fā)展;2003年10期

8 李玉萍;張素慶;葉世偉;;基于凸函數(shù)理論的Hopfield網(wǎng)絡(luò)穩(wěn)定性分析[J];計(jì)算機(jī)工程;2006年15期

9 郭佰勝;宮寧生;;激活函數(shù)可調(diào)的RBF神經(jīng)網(wǎng)絡(luò)模型[J];微計(jì)算機(jī)信息;2009年06期

10 王雪光,郭艷兵,齊占慶;激活函數(shù)對(duì)BP網(wǎng)絡(luò)性能的影響及其仿真研究[J];自動(dòng)化技術(shù)與應(yīng)用;2002年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 李彬;李貽斌;榮學(xué)文;;激活函數(shù)可調(diào)的ELM學(xué)習(xí)算法及其應(yīng)用[A];中國(guó)自動(dòng)化學(xué)會(huì)控制理論專業(yè)委員會(huì)D卷[C];2011年

2 王擔(dān)擔(dān);阮秀凱;張志涌;;基于Hopfield網(wǎng)絡(luò)盲檢測(cè)QAM信號(hào)的激活函數(shù)[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 姚顯雙;回聲狀態(tài)網(wǎng)的改進(jìn)與應(yīng)用研究[D];渤海大學(xué);2015年

，

本文編號(hào)：654644