發(fā)布時間：2021-06-14 18:36

　　神經(jīng)機(jī)器翻譯為機(jī)器翻譯提供了一種全新的方法,在多種語言對上的翻譯效果已經(jīng)超越了統(tǒng)計機(jī)器翻譯,并逐漸成為當(dāng)前機(jī)器翻譯的主流方法。但是神經(jīng)機(jī)器翻譯也存在自身的不足,翻譯精準(zhǔn)度缺失的問題是當(dāng)前神經(jīng)機(jī)器翻譯面臨的主要難題之一,在神經(jīng)機(jī)器翻譯模型生成的譯文中經(jīng)常會出現(xiàn)錯誤翻譯的現(xiàn)象。本文探索了詞義在神經(jīng)機(jī)器翻譯中的應(yīng)用,詞義為模型能夠正確翻譯單詞提供了有用的信息。通過對詞義的建模,能夠緩解傳統(tǒng)神經(jīng)機(jī)器翻譯模型中存在的錯誤翻譯的問題。主要研究內(nèi)容包含如下三個方面:（1）本文首先分析造成神經(jīng)機(jī)器翻譯中產(chǎn)生錯誤翻譯的原因,并分析不同神經(jīng)機(jī)器翻譯模型中錯誤翻譯的情況。進(jìn)而,本文將單詞翻譯看作是單詞詞義的表現(xiàn)形式,通過字典方法、語義消歧方法和隨機(jī)候選翻譯方法為源端單詞構(gòu)造對應(yīng)的單詞詞義。（2）一旦獲取了單詞詞義,本文通過三種不同的編碼器結(jié)構(gòu)為神經(jīng)機(jī)器翻譯模型融入單詞詞義。Factored編碼器采用相加或者拼接詞向量的方式直接將單詞詞義添加入神經(jīng)機(jī)器翻譯模型中;Gated編碼器采用門機(jī)制選擇性地控制單詞詞義進(jìn)入模型的流量;Mixed編碼器將單詞與單詞詞義交替地輸入進(jìn)模型。實驗結(jié)果顯示本文方法在中英機(jī)器翻譯任... 

【文章來源】：蘇州大學(xué)江蘇省

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型

融合詞義的神經(jīng)機(jī)器翻譯研究?第２章相關(guān)知識介紹??入單元的流量，例如在圖２－２中：??，‘ｈｔ??ｈ，－ｉ???????？?？?Ｌ－??ｚＳ—＊４）?????ｘ．??圖２－２?ＧＲＵ單元結(jié)構(gòu)圖??ｚ，為更新門，用于控制前－時刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度，更新門??的值越大說明前？時刻的狀態(tài)信息帶入越多。＾為重置Ｉ＇ｊ，用ｆ？控制忽略前？吋刻的??狀態(tài)信息的程度，重制門的值越小說明忽略的越多。??ＧＲＵ單允的具體計算公式為：??ｚ，?＝ａ（Ｗ：－［ｈｌ＿ｖｘｌ］）?（２－６）??ｎ?＾＜７｛Ｗｒ－［ｈｔＡ，ｘ，］）?（２－７）??６?＝?ｔａｎｈ（?％?？?［ｄ，－Ｙ，?］）?（２－８）??ｈ，?＝（ｌ－ｚ，）＊Ｖ，?＋ｚ，＊ｈ，?（２－９）??ＧＲＵ單元區(qū)別于普通的ＲＮＮ單元，具有如下兩個優(yōu)點??（１）?ＧＲＵ網(wǎng)絡(luò)容易記住長期的語義信息??在－個較長序列步的輸入流屮，學(xué)習(xí)＋?Ｍ時間步的信息，并且將其傳遞給后繼的??時間步是－件十分困難的事情。ＧＲＵ網(wǎng)絡(luò)通過更新門機(jī)制，對于任何重要的特征，??個會被重寫而是去維護(hù)更新，因此每個笮允很容易記住現(xiàn)有的？些特征，使得單元具??有？定的記憶功能。??（２）?ＧＲＵ?Ｍ絡(luò)可以緩解梯度消失和梯度爆炸問題??梯度消失和梯度爆炸問題一直是困擾著ＲＮＮ網(wǎng)絡(luò)的一大難題。ＧＲＵ網(wǎng)絡(luò)有效地??創(chuàng)造／跨越多個時間步的快捷路徑，這些路徑很容易使錯誤反向傳播，使得梯度不至??９??

＾?；?１?Ｉ?—?｜??｜?Ｍｕｌｔｉ－ｈｅａｄ?Ｉ?｜?Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?｜?｜?Ａｔｔｅｎｔｉｏｎ??１?ｔ?ｔ?個?｜?ｌ?ｉ?ｆ?ｔ??Ｉ??＇?ｌ?１??Ｏ?Ｐｏｓｉｔｉｏｎａｌ?／＜Ｘ？—?Ｐｏｓｉｔｌｃｎａｌ??＾?Ｅｍｂｅｄｄｉｎｇ?Ｅｍｏｅｄｄｉｎｇ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｍｇ?Ｏｕｔｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??Ｉｎｐｕｔｓ?Ｏｕｔｐｕｔｓ?（ｓｈｉｆｔｅｄ???ｒｉｇｈｔ）??圖２－３?Ｔｒａｎｓｆｏｒｍｅｒ基準(zhǔn)系統(tǒng)??Ｔｒａｎｓｆｏｒｍｅｒ模型Ｒ別ｆ基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型，舍棄了循環(huán)神??經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，僅僅使用注意力機(jī)制進(jìn)行編碼與解碼。Ｔｒａｎｓｆｏｒｍｅｒ模型克??服／原有基Ｔ？循環(huán)祌經(jīng)Ｍ絡(luò)的神經(jīng)機(jī)器翻譯模型無法汴行的缺點，砬著地提升／整體??的實驗效率，節(jié)省，人量的訓(xùn)練時間。??鑒于Ｔｒａｎｓｆｏｒｍｅｉ？模型已經(jīng)成為當(dāng)前祌經(jīng)機(jī)器翻譯的主流模型，因而，本文的實??驗在上述兩種不同的翻譯模型上進(jìn)行，確保本文方法的可靠性與普適性。??１１??

【參考文獻(xiàn)】：
期刊論文
[1]神經(jīng)機(jī)器翻譯前沿進(jìn)展[J]. 劉洋.  計算機(jī)研究與發(fā)展. 2017(06)
[2]深度學(xué)習(xí)研究綜述[J]. 尹寶才,王文通,王立春.  北京工業(yè)大學(xué)學(xué)報. 2015(01)
[3]基于規(guī)則的機(jī)器翻譯技術(shù)綜述[J]. 袁小于.  重慶文理學(xué)院學(xué)報(自然科學(xué)版). 2011(03)
[4]統(tǒng)計機(jī)器翻譯綜述[J]. 劉群.  中文信息學(xué)報. 2003(04)
[5]淺層句法分析方法概述[J]. 孫宏林,俞士汶.  當(dāng)代語言學(xué). 2000(02)

博士論文
[1]序列標(biāo)注問題的監(jiān)督學(xué)習(xí)方法及應(yīng)用[D]. 湯步洲.哈爾濱工業(yè)大學(xué) 2011



本文編號：3230114