隨著深度學(xué)習(xí)的快速發(fā)展,以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)結(jié)構(gòu)的神經(jīng)機(jī)器翻譯取得重大突破,在翻譯質(zhì)量上幾乎全面超越了傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯。神經(jīng)機(jī)器翻譯主要基于“編碼器-解碼器”框架對(duì)翻譯過(guò)程進(jìn)行建模,并采用注意機(jī)制建立互譯詞之間的對(duì)應(yīng)關(guān)系。在這一框架下,如何建立更優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)以進(jìn)一步促進(jìn)源句子語(yǔ)義信息的提取和轉(zhuǎn)換受到眾多科研人員的追捧和青睞。本文主要針對(duì)神經(jīng)機(jī)器翻譯中的三大主要模塊（即:編碼器、注意機(jī)制和解碼器）提出相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)方法,在提升系統(tǒng)建模能力的同時(shí)增強(qiáng)系統(tǒng)的翻譯性能。本文的主要工作如下:1、提出一種上下文感知的循環(huán)編碼器模型。已有循環(huán)編碼器采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)建模源句子,并且簡(jiǎn)單地將不同方向循環(huán)網(wǎng)絡(luò)的表示進(jìn)行拼接作為源端詞的語(yǔ)義表示。這種建模方法隱式地假設(shè)了不同方向上上下文信息間的獨(dú)立性,不利于源句子語(yǔ)義信息的精準(zhǔn)提取。本文提出一種上下文感知的循環(huán)編碼器模型,通過(guò)設(shè)計(jì)層次化的網(wǎng)絡(luò)結(jié)構(gòu)將不同方向上的上下文信息進(jìn)行整合,融入到統(tǒng)一的句子表示之中。大規(guī)模NIST中文到英文和WMT英文到德文的實(shí)驗(yàn)結(jié)果表明本文提出的方法可以顯著地改善翻譯系統(tǒng)的譯文質(zhì)量,并有效地加快了系統(tǒng)的解碼速度。2、提出一種基... 

【文章來(lái)源】：廈門(mén)大學(xué)福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：84 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－２融入注意機(jī)制的神經(jīng)機(jī)器翻譯系統(tǒng)??“”

合統(tǒng)計(jì)和深度學(xué)習(xí)的在線翻譯系統(tǒng)，以提供更優(yōu)質(zhì)的翻譯服務(wù)，相應(yīng)的產(chǎn)品如圖??１－３所示。２０１６年，谷歌科研人員研發(fā)了谷歌神經(jīng)機(jī)器翻譯系統(tǒng)（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上線，相應(yīng)的產(chǎn)品如圖１－４所示。２０１７年，臉??譜公司的科研工作者研發(fā)出基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯系統(tǒng)??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）間；同年，谷歌首次提出利用純??粹注意機(jī)制進(jìn)行機(jī)器翻譯的思想，在ＷＭＴ?１４英語(yǔ)到德語(yǔ)和英語(yǔ)到法語(yǔ)的翻譯??任務(wù)上取得了強(qiáng)勁的突破［２９］。在此基礎(chǔ)上，２０１８年，微軟研究院整合多項(xiàng)建模??技術(shù)，包括對(duì)偶學(xué)習(xí)（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），審議網(wǎng)絡(luò)（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻譯任務(wù)上，首次取得超越人類的結(jié)果［３Ｑ］�？梢哉f(shuō)，神經(jīng)機(jī)器翻譯??技術(shù)己成為當(dāng)今機(jī)器翻譯領(lǐng)域絕對(duì)的主流技術(shù)，在產(chǎn)業(yè)界的大力支持下，其發(fā)展??勢(shì)頭必將持續(xù)。??百度翻譯?Ａ?：三??英語(yǔ)，?＾?中文

合統(tǒng)計(jì)和深度學(xué)習(xí)的在線翻譯系統(tǒng)，以提供更優(yōu)質(zhì)的翻譯服務(wù)，相應(yīng)的產(chǎn)品如圖??１－３所示。２０１６年，谷歌科研人員研發(fā)了谷歌神經(jīng)機(jī)器翻譯系統(tǒng)（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上線，相應(yīng)的產(chǎn)品如圖１－４所示。２０１７年，臉??譜公司的科研工作者研發(fā)出基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯系統(tǒng)??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）間；同年，谷歌首次提出利用純??粹注意機(jī)制進(jìn)行機(jī)器翻譯的思想，在ＷＭＴ?１４英語(yǔ)到德語(yǔ)和英語(yǔ)到法語(yǔ)的翻譯??任務(wù)上取得了強(qiáng)勁的突破［２９］。在此基礎(chǔ)上，２０１８年，微軟研究院整合多項(xiàng)建模??技術(shù)，包括對(duì)偶學(xué)習(xí)（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），審議網(wǎng)絡(luò)（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻譯任務(wù)上，首次取得超越人類的結(jié)果［３Ｑ］�？梢哉f(shuō)，神經(jīng)機(jī)器翻譯??技術(shù)己成為當(dāng)今機(jī)器翻譯領(lǐng)域絕對(duì)的主流技術(shù)，在產(chǎn)業(yè)界的大力支持下，其發(fā)展??勢(shì)頭必將持續(xù)。??百度翻譯?Ａ?：三??英語(yǔ)，?＾?中文

【參考文獻(xiàn)】：
期刊論文
[1]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou.  International Journal of Automation and Computing. 2016(03)



本文編號(hào)：3580353