本文關(guān)鍵詞：循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中激活函數(shù)的改進

  更多相關(guān)文章： 深度學(xué)習(xí) 循環(huán)神經(jīng)網(wǎng)絡(luò) 激活函數(shù) LSTM模型 GRU模型

【摘要】：循環(huán)神經(jīng)網(wǎng)絡(luò)相比于其他深度學(xué)習(xí)網(wǎng)絡(luò),優(yōu)勢在于可以學(xué)習(xí)到長時依賴知識,但學(xué)習(xí)過程中的梯度消失和爆炸問題嚴重阻礙了知識的按序傳播,導(dǎo)致長時依賴知識的學(xué)習(xí)結(jié)果出現(xiàn)偏差。為此,已有研究主要對經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行改進以解決此類問題。本文分析2種類型的激活函數(shù)對傳統(tǒng)RNN和包含門機制RNN的影響,在傳統(tǒng)RNN結(jié)構(gòu)的基礎(chǔ)上提出改進后的模型,同時對LSTM和GRU模型的門機制進行改進。以PTB經(jīng)典文本數(shù)據(jù)集和LMRD情感分類數(shù)據(jù)集進行實驗,結(jié)果表明改進后的模型優(yōu)于傳統(tǒng)模型,能夠有效提升模型的學(xué)習(xí)能力。
【作者單位】： 河海大學(xué)計算機與信息學(xué)院;
【關(guān)鍵詞】： 深度學(xué)習(xí) 循環(huán)神經(jīng)網(wǎng)絡(luò) 激活函數(shù) LSTM模型 GRU模型
【基金】：國家科技支撐計劃項目(2013BAB06B04;HNKJ13-H17-04) 國家自然科學(xué)基金面上資助項目(61272543) 水利部公益性行業(yè)科研專項重點項目(201501007) NSFC-廣東聯(lián)合基金重點項目(U1301252)
【分類號】：TP183
【正文快照】： 0引言人工神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)領(lǐng)域的一個分支。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)路,能更好地模擬大腦結(jié)構(gòu),實現(xiàn)認知過程逐層抽象,解決深度不足出現(xiàn)的問題[1]。深度學(xué)習(xí)分支較多,目前的研究熱點是卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Net-works,RNN)[2]。RNN是一種學(xué)習(xí)能力很強

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 黃敬頻,周永權(quán);可調(diào)激活函數(shù)神經(jīng)元參數(shù)選取方法研究[J];工程數(shù)學(xué)學(xué)報;2005年06期

2 黃敬頻,周永權(quán);可調(diào)激活函數(shù)遞進提升輸出維的選參方法[J];數(shù)學(xué)的實踐與認識;2005年01期

3 盧純,石秉學(xué);一種新型的神經(jīng)元激活函數(shù)及其導(dǎo)數(shù)的可編程發(fā)生器[J];固體電子學(xué)研究與進展;2002年01期

4 馮林;劉勝藍;張晶;王輝兵;;高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機及線性降維[J];計算機研究與發(fā)展;2014年06期

5 穆文全，廖曉峰，虞厥邦;具有非可微激活函數(shù)的神經(jīng)網(wǎng)絡(luò)性能分析[J];電子科技大學(xué)學(xué)報;1996年04期

6 吳佑壽,趙明生;激活函數(shù)可調(diào)的神經(jīng)元模型及其有監(jiān)督學(xué)習(xí)與應(yīng)用[J];中國科學(xué)E輯:技術(shù)科學(xué);2001年03期

7 葉世偉,鄭宏偉,王文杰,馬琳,史忠植;離散時間Hopfield網(wǎng)絡(luò)的動力系統(tǒng)分析[J];計算機研究與發(fā)展;2003年10期

8 李玉萍;張素慶;葉世偉;;基于凸函數(shù)理論的Hopfield網(wǎng)絡(luò)穩(wěn)定性分析[J];計算機工程;2006年15期

9 郭佰勝;宮寧生;;激活函數(shù)可調(diào)的RBF神經(jīng)網(wǎng)絡(luò)模型[J];微計算機信息;2009年06期

10 王雪光,郭艷兵,齊占慶;激活函數(shù)對BP網(wǎng)絡(luò)性能的影響及其仿真研究[J];自動化技術(shù)與應(yīng)用;2002年04期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 李彬;李貽斌;榮學(xué)文;;激活函數(shù)可調(diào)的ELM學(xué)習(xí)算法及其應(yīng)用[A];中國自動化學(xué)會控制理論專業(yè)委員會D卷[C];2011年

2 王擔(dān)擔(dān);阮秀凱;張志涌;;基于Hopfield網(wǎng)絡(luò)盲檢測QAM信號的激活函數(shù)[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 姚顯雙;回聲狀態(tài)網(wǎng)的改進與應(yīng)用研究[D];渤海大學(xué);2015年

，

本文編號：654644