目前,基于端到端的神經(jīng)機器翻譯(NMT)在大語種上取得了顯著的效果,已經(jīng)成為學(xué)術(shù)界非常流行的方法,然而該模型的訓(xùn)練嚴(yán)重依賴平行語料庫的大小,通常需要上百萬句,而西里爾蒙古語和漢語之間的平行語料庫嚴(yán)重匱乏,并且人工構(gòu)建代價昂貴。因此,提出基于對偶學(xué)習(xí)的西里爾蒙漢互譯方法。為了緩解因未登錄詞導(dǎo)致的譯文質(zhì)量不高的問題,采用BPE(Byte Pair Encoding)技術(shù)對語料進(jìn)行預(yù)處理。將通過單語數(shù)據(jù)預(yù)訓(xùn)練的語言模型和20%的平行雙語數(shù)據(jù)預(yù)訓(xùn)練的翻譯模型作為該模型訓(xùn)練的初始狀態(tài)。以NMT為基線系統(tǒng),實驗結(jié)果表明,該方法達(dá)到了與NMT使用西里爾蒙漢全部雙語數(shù)據(jù)相當(dāng)?shù)男Ч?有效緩解了因未登錄詞較多和平行語料庫匱乏導(dǎo)致的譯文質(zhì)量不高的問題。

【文章頁數(shù)】：7 頁

【部分圖文】：

圖1編碼器解碼器架構(gòu)圖

端到端的神經(jīng)機器翻譯框架已經(jīng)成為神經(jīng)機器翻譯中非常經(jīng)典的框架,其包括編碼器和解碼器,所以也叫作編碼器解碼器框架(Encoder-Decoder),其結(jié)構(gòu)如圖1所示。該模型的基本思想是:當(dāng)給定一個源語言句子時,編碼器會將其編碼為維數(shù)固定的向量,解碼器根據(jù)此向量將其轉(zhuǎn)化為目標(biāo)語言句子....

圖2LSTM隱藏層結(jié)構(gòu)圖

編碼器中的LSTM網(wǎng)絡(luò)將輸入的源語言句子x=(x1,x2,…,xI)進(jìn)行編碼,用在西里爾蒙古語和漢語的翻譯中就是將西里爾蒙古語句子進(jìn)行編碼,并計算出隱層狀態(tài)(h1,h2,…,hI)。在計算隱層狀態(tài)時,LSTM的輸入門、遺忘門和輸出門,分別用:ii、fi和Oj表示,其結(jié)構(gòu)如圖2所示....

圖3經(jīng)過BPE技術(shù)處理的西里爾蒙文

本文首先使用BPE技術(shù)對通過網(wǎng)絡(luò)爬蟲爬取的84835句對西里爾蒙漢平行語料中的西里爾蒙古文和67288句西里爾蒙文單語數(shù)據(jù)進(jìn)行處理。得到的處理后的結(jié)果如圖3所示。然后將經(jīng)過Jieba分詞處理的84835句對西里爾蒙漢平行語料中的漢語和67288句漢語單語數(shù)據(jù)進(jìn)行處理。得到....

圖4經(jīng)過Jieba分詞和BPE技術(shù)處理的漢語

然后將經(jīng)過Jieba分詞處理的84835句對西里爾蒙漢平行語料中的漢語和67288句漢語單語數(shù)據(jù)進(jìn)行處理。得到的分詞結(jié)果如圖4所示。1.3對偶學(xué)習(xí)

本文編號：3921048