本文關(guān)鍵詞：最少門結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，由筆耕文化傳播整理發(fā)布。

【摘要】：在現(xiàn)實世界中,有無數(shù)的任務(wù)需要處理序列化的數(shù)據(jù)。有的需要模型的輸出是序列。同時在一些其他場景下,需要模型可以接受輸入數(shù)據(jù)是序列。而對于交互型的任務(wù),需要模型同時具備上述兩種能力。相對于傳統(tǒng)模型,循環(huán)神經(jīng)網(wǎng)絡(luò)可以更好的勝任以上所說的三類問題,實際中循環(huán)神經(jīng)網(wǎng)絡(luò)在語音識別、視頻動作分析、手寫識別和圖片描述等問題成功應(yīng)用,取得了很好的效果。在經(jīng)過多年的發(fā)展后,循環(huán)神經(jīng)網(wǎng)絡(luò)衍生出了很多的變種,其中使用最廣泛的是LSTM和GRU,這兩個變種均是基于門結(jié)構(gòu)的。結(jié)合上述兩種結(jié)構(gòu)以及現(xiàn)有文獻中對不同變種的總結(jié)分析,本文提出了一個新的變種,這種結(jié)構(gòu)僅僅包含一個門結(jié)構(gòu),因此將它稱為最少門單元(Minimal Gated Unit,簡稱MGU)。相比于之前的變種,MGU的貢獻有如下三點：1)MGU把門結(jié)構(gòu)精簡到最小的可能,參數(shù)要遠遠比LSTM和GRU少,訓(xùn)練復(fù)雜性大大降低,訓(xùn)練速度也得到提升。同時此項性能是與序列的長度成正比的,在實驗中出現(xiàn)了相同的運算能力下LSTM和GRU無法在可以接受的時間內(nèi)完成訓(xùn)練,但MGU不會。2)理論上越簡單的結(jié)構(gòu)越方便去分析,MGU只有一個門結(jié)構(gòu),理解MGU的機制也變得更容易。但本文不涉及具體的RNN理解問題。3)本文選取了四個問題進行驗證,包括加法問題,情感分析,圖像識別和語言模型,MGU均取得了較好的結(jié)果。同時MGU可以適應(yīng)不同長度的序列學(xué)習(xí)任務(wù)(長度從35到784)。在實驗中的超長序列問題上,MGU時間和結(jié)果都取得了很好的結(jié)果。
【關(guān)鍵詞】：循環(huán)神經(jīng)網(wǎng)絡(luò) 機器學(xué)習(xí) 長短時記憶網(wǎng)絡(luò) 門控重復(fù)單元
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP183
【目錄】：

• 摘要5-6
• ABSTRACT6-8
• 第一章 緒論8-14
• 1.1 引言8
• 1.2 背景8-11
• 1.3 待研究的問題11-12
• 1.4 本文的工作12-14
• 第二章 深度神經(jīng)網(wǎng)絡(luò)14-27
• 2.1 多層感知機14-20
• 2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)20-22
• 2.3 網(wǎng)絡(luò)訓(xùn)練22-27
• 第三章 循環(huán)神經(jīng)網(wǎng)絡(luò)變種27-40
• 3.1 LSTM28-33
• 3.2 LSTM變種33-38
• 3.3 最少門結(jié)構(gòu)單元38-40
• 第四章 MGU在不同問題中表現(xiàn)40-50
• 4.1 加法問題40-42
• 4.2 情感分析42-44
• 4.3 圖片識別44-45
• 4.4 語言模型45-48
• 4.5 小結(jié)48-50
• 第五章 結(jié)束語50-51
• 參考文獻51-56
• 致謝56-57
• 附錄57-58

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進化神經(jīng)網(wǎng)絡(luò)的研究進展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進;保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠;萬強;曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 美國明尼蘇達大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 健康時報特約記者　 張獻懷;干細胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達國際先進水平[N];中國電子報;2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報;2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

9 閆淑霞;基于神經(jīng)網(wǎng)絡(luò)的微波射頻器件建模[D];天津大學(xué);2015年

10 胡文憑;基于深層神經(jīng)網(wǎng)絡(luò)的口語發(fā)音檢測與錯誤分析[D];中國科學(xué)技術(shù)大學(xué);2016年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實現(xiàn)[D];華南理工大學(xué);2015年

2 張韜;幾類時滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

3 邵雪瑩;幾類時滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

4 胡婷;改進QGA-BP模型及其在彌苴河總氮量預(yù)測中的應(yīng)用[D];昆明理工大學(xué);2015年

5 劉俊輝;基于數(shù)據(jù)清洗方法的河道水位預(yù)測研究[D];昆明理工大學(xué);2015年

6 劉波;短期風(fēng)電功率預(yù)測方法研究[D];南京信息工程大學(xué);2015年

7 蔡邦宇;人臉識別中單次ERP時空特征分析及其快速檢索的應(yīng)用[D];浙江大學(xué);2015年

8 鄭川;垃圾評論檢測算法的研究[D];西南交通大學(xué);2015年

9 李菊;BP神經(jīng)網(wǎng)絡(luò)在房地產(chǎn)批量評估中的應(yīng)用研究[D];昆明理工大學(xué);2015年

10 馬亮;降水點分類預(yù)測方法研究[D];中國地質(zhì)大學(xué)(北京);2015年

  本文關(guān)鍵詞：最少門結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，，由筆耕文化傳播整理發(fā)布。

本文編號：370572