本文選題：循環(huán)神經(jīng)網(wǎng)絡(luò) + 遞歸神經(jīng)網(wǎng)絡(luò)�。� 參考：《計算機學報》2017年04期

【摘要】：深度學習在自然語言處理中有很多的應(yīng)用.深度網(wǎng)絡(luò)的主要作用是捕獲隱藏在語言結(jié)構(gòu)中更深的語義信息.該文出發(fā)點為根據(jù)原有句子中的對齊作為深度網(wǎng)絡(luò)生成結(jié)構(gòu)的指導(dǎo),并融合原有深度翻譯模型的優(yōu)點,提出了深度遞歸的層次化機器翻譯模型.相對于已有的神經(jīng)翻譯模型來說,更好地結(jié)合了層次化的翻譯過程,同時這種方法結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)點.層次化規(guī)則的歸納包含兩個部分:短語的歸納和形式化規(guī)則的歸納,而在該文的建模過程中模擬了這兩個部分且符合歸納過程.該文在訓練中采用單詞級語義錯誤、單語短語/規(guī)則語義錯誤和雙語短語/規(guī)則語義錯誤構(gòu)造目標函數(shù),訓練中能夠更好平衡語義中3個部分的影響,同時考慮到對齊信息以指導(dǎo)層次化深度神經(jīng)網(wǎng)絡(luò)的訓練.在解碼過程中通過生成部分翻譯結(jié)果的語義向量,最終得到句子間的語義關(guān)系,這樣可以在語法結(jié)構(gòu)中加入語義信息,克服了原有層次化模型語義信息缺乏的問題.該模型的實驗結(jié)果說明了深度遞歸的層次化機器翻譯模型的有效性,相對于經(jīng)典的基線系統(tǒng)提高了1.49~1.84BLEU分數(shù).
[Abstract]:Deep learning has many applications in natural language processing. The main function of the depth network is to capture the deeper semantic information hidden in the language structure. This paper proposes a hierarchical machine translation model with depth recursion, which is guided by the alignment in the original sentence as the generation structure of the depth network, and combines the advantages of the original depth translation model. Compared with the existing neural translation models, the hierarchical translation process is better combined with the advantages of cyclic neural networks and recurrent neural networks. The induction of hierarchical rules consists of two parts: inductive of phrases and induction of formal rules. In the modeling process of this paper, the two parts are simulated and accord with the inductive process. In this paper, word-level semantic errors, monolingual phrase / rule semantic errors and bilingual phrase / rule semantic errors are used to construct objective functions in the training. At the same time, the alignment information is taken into account to guide the training of hierarchical depth neural networks. In the process of decoding, the semantic relationship between sentences can be obtained by generating the semantic vector of some translation results, which can add semantic information to the grammatical structure and overcome the lack of semantic information in the original hierarchical model. The experimental results show that the hierarchical machine translation model with deep recursion is effective and improves the 1.49~1.84BLEU score compared with the classical baseline system.
【作者單位】： 哈爾濱工程大學計算機科學與技術(shù)學院;哈爾濱理工大學軟件學院;
【基金】：國家自然科學基金(61300115) 中國博士后科學基金(2014M561331) 黑龍江省教育廳科技研究項目(12521073)資助~~
【分類號】：TP183;TP391.2

【相似文獻】

相關(guān)期刊論文 前10條

1 金仁貴;;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用[J];電腦知識與技術(shù);2006年29期

2 陳鋼;王占山;;連續(xù)時間遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[J];沈陽理工大學學報;2007年02期

3 汪曉夢;;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用優(yōu)化[J];甘肅聯(lián)合大學學報(自然科學版);2010年05期

4 杜艷可;徐瑞;;具有時滯的遞歸神經(jīng)網(wǎng)絡(luò)動力學研究進展[J];北華大學學報(自然科學版);2012年01期

5 蔣洪睿,莫瑋,李麗;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)均衡抗突發(fā)干擾研究[J];電訊技術(shù);2000年01期

6 宋軼民,余躍慶,張策,馬文貴;動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)及其在機敏機構(gòu)辨識中的應(yīng)用[J];機械科學與技術(shù);2001年04期

7 張奇志,賈永樂,周雅莉;噪聲有源控制的遞歸神經(jīng)網(wǎng)絡(luò)方法[J];控制與決策;2001年03期

8 李峰,李樹榮;基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動態(tài)矩陣控制[J];石油大學學報(自然科學版);2001年03期

9 唐普英,李紹榮,黃順吉;一種新的復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)訓練方法及其應(yīng)用[J];信號處理;2001年06期

10 文敦偉,蔡自興;遞歸神經(jīng)網(wǎng)絡(luò)的模糊隨機學習算法[J];高技術(shù)通訊;2002年01期

相關(guān)會議論文 前10條

1 房毅憲;王寶文;王永茂;;基于偏差遞歸神經(jīng)網(wǎng)絡(luò)的股價預(yù)測(英文)[A];計算機技術(shù)與應(yīng)用進展——全國第17屆計算機科學與技術(shù)應(yīng)用（CACIS）學術(shù)會議論文集（上冊）[C];2006年

2 劉勇;沈毅;胡恒章;;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)濾波器[A];1998年中國智能自動化學術(shù)會議論文集（上冊）[C];1998年

3 趙英凱;蔡寧;;基于對角遞歸神經(jīng)網(wǎng)絡(luò)的肟化投酮量在線預(yù)估[A];1998年中國智能自動化學術(shù)會議論文集（上冊）[C];1998年

4 李樹榮;李峰;;基于動態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)重構(gòu)[A];1998年中國控制會議論文集[C];1998年

5 史志偉;韓敏;;應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)建立非線性結(jié)構(gòu)系統(tǒng)模型[A];第二十三屆中國控制會議論文集（下冊）[C];2004年

6 叢爽;戴誼;;遞歸神經(jīng)網(wǎng)絡(luò)逼近性能的研究[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學術(shù)交流會論文集[C];2006年

7 呂進;郭晨;劉雨;;基于不完全遞歸神經(jīng)網(wǎng)絡(luò)的二階導(dǎo)數(shù)多步預(yù)測模糊控制及應(yīng)用[A];2007年中國智能自動化會議論文集[C];2007年

8 蒲興成;;時變時滯不確定遞歸神經(jīng)網(wǎng)絡(luò)漸近穩(wěn)定的一個充分條件[A];2008’“先進集成技術(shù)”院士論壇暨第二屆儀表、自動化與先進集成技術(shù)大會論文集[C];2008年

9 仉寶玉;吳志敏;;基于對角遞歸神經(jīng)網(wǎng)絡(luò)的智能PID控制[A];'2003系統(tǒng)仿真技術(shù)及其應(yīng)用學術(shù)交流會論文集[C];2003年

10 沈艷;謝美萍;;基于遞歸神經(jīng)網(wǎng)絡(luò)的船舶運動極短期建模預(yù)報[A];第二屆全國信息獲取與處理學術(shù)會議論文集[C];2004年

相關(guān)博士學位論文 前10條

1 趙永昌;一類時滯靜態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動力學行為研究[D];中國海洋大學;2010年

2 高海賓;擾動作用下遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性研究[D];燕山大學;2006年

3 黃玉嬌;具有廣義分段線性激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性分析[D];東北大學;2014年

4 徐東坡;遞歸神經(jīng)網(wǎng)絡(luò)梯度學習算法的收斂性[D];大連理工大學;2009年

5 于佳麗;遞歸神經(jīng)網(wǎng)絡(luò)的連續(xù)吸引子與模糊控制[D];電子科技大學;2009年

6 王芬;遞歸神經(jīng)網(wǎng)絡(luò)的動力學行為分析[D];武漢科技大學;2011年

7 季策;時滯遞歸神經(jīng)網(wǎng)絡(luò)的動態(tài)特性研究[D];東北大學;2005年

8 徐軍;遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];浙江大學;2007年

9 張銳;幾類遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及其應(yīng)用研究[D];東北大學;2010年

10 張益軍;時滯遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析及網(wǎng)絡(luò)化同步控制[D];東華大學;2008年

相關(guān)碩士學位論文 前10條

1 柳玉華;一種遞歸神經(jīng)網(wǎng)絡(luò)方法研究及其在非線性系統(tǒng)跟蹤控制中的應(yīng)用[D];江西理工大學;2015年

2 羅威威;全局指數(shù)穩(wěn)定的遞歸神經(jīng)網(wǎng)絡(luò)的魯棒性分析[D];中國礦業(yè)大學;2015年

3 楊渺渺;具有時滯的遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];電子科技大學;2015年

4 崔志超;基于產(chǎn)品特征的中文評論情感分析系統(tǒng)設(shè)計與實現(xiàn)[D];河北科技大學;2015年

5 余仕敏;基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點擊率預(yù)估[D];浙江理工大學;2016年

6 宛立達;基于振動信號分析的故障診斷理論與應(yīng)用[D];東北石油大學;2010年

7 李克強;基于Spark的大規(guī)模RNNLM系統(tǒng)[D];江蘇大學;2016年

8 謝偉浩;基于多尺度時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測[D];廣東工業(yè)大學;2016年

9 曹成遠;基于深度學習的蛋白質(zhì)殘基相互作用預(yù)測[D];蘇州大學;2016年

10 梁軍;基于深度學習的文本特征表示及分類應(yīng)用[D];鄭州大學;2016年

，

本文編號：1824724