該文通過稀缺語言資源條件下機(jī)器翻譯方法的研究以提高藏漢機(jī)器翻譯質(zhì)量,同時(shí)希望對(duì)語言資源匱乏的其他少數(shù)民族語言機(jī)器翻譯研究提供借鑒。首先該文使用164.1萬句對(duì)藏漢平行語言資源數(shù)據(jù)在Transformer神經(jīng)網(wǎng)絡(luò)翻譯模型上訓(xùn)練一個(gè)基線系統(tǒng),作為起始數(shù)據(jù)資源,然后結(jié)合翻譯等效性分類器,利用迭代式回譯策略和譯文自動(dòng)篩選機(jī)制,實(shí)現(xiàn)了稀缺資源條件下提升藏漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯性能的有效模型,使最終的模型比基準(zhǔn)模型在藏到漢的翻譯上有6.7個(gè)BLEU值的提升,在漢到藏的翻譯上有9.8個(gè)BLEU值的提升,證實(shí)了迭代式回譯策略和平行句對(duì)過濾機(jī)制在漢藏（藏漢）機(jī)器翻譯中的有效性。 

【文章來源】：中文信息學(xué)報(bào). 2020,34(11)北大核心CSCD

【文章頁數(shù)】：8 頁

【部分圖文】：

總體框架

平行句對(duì)過濾機(jī)制是迭代式回譯策略中最重要的組成部分,需要通過過濾機(jī)制對(duì)每次迭代產(chǎn)生的偽數(shù)據(jù)進(jìn)行平行句對(duì)抽取,從而達(dá)到擴(kuò)充訓(xùn)練數(shù)據(jù)的目的,但對(duì)于平行句對(duì)過濾機(jī)制來說,不僅需要完全準(zhǔn)確的藏漢雙語句對(duì)(正樣本),而且需要噪聲數(shù)據(jù)(負(fù)樣本)共同來訓(xùn)練過濾模型,設(shè)正樣本句對(duì)為{S R Τb ,S R Ch },其中源語言為S R Τb ,目標(biāo)語言為S R Ch ,且R∈{1,2,…,n},負(fù)樣本句對(duì)通過隨機(jī)抽取的方式從原有語料庫進(jìn)行抽取并得到{S R Τb ,S Μ Ch },其中R≠M(fèi),也就是說,負(fù)樣本{S R Τb ,S Μ Ch }不是平行句對(duì),因此,影響平行句對(duì)過濾模型的性能參數(shù)就變?yōu)榱藀(?i|STbi,SChj),其中S i Τb =(w i,1 Τb ,w i,2 Τb ,…,w i,n Τb ),表示源語言句子由n個(gè)詞組成,S j Ch =(w j,1 Ch ,w j,2 Ch ,…,w j,m Ch ),表示目標(biāo)語言句子由m個(gè)詞組成,?i∈(0,1),表示{S i Τb ,S j Ch }是否平行的概率估計(jì)。本節(jié)將通過雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(bidirectional BiRNN)對(duì)藏漢雙語句對(duì)進(jìn)行編碼,并訓(xùn)練平行句對(duì)過濾模型,同時(shí)使用LSTM中的門控循環(huán)單元(gated recurrent unit, GRU)作為激活函數(shù)[9],具體如圖2所示。語言(漢語)表示為連續(xù)的向量。設(shè)源語言集合S n Τb ,在t時(shí)刻,第n個(gè)句子的詞wq由源語言構(gòu)建的詞表VTb中第q個(gè)索引定義,即(One hot vector)wq∈R|VTb|,若其中第q個(gè)元素為1,其他元素為0,則該向量與嵌入層的矩陣為Es相乘得到該詞的連續(xù)向量表示w i,t Τb [式(1)],并將該向量作為雙向RNN編碼器的前向輸入,同理可以得到雙向RNN編碼器后向的輸入,前向RNN編碼器從輸入字符串的首個(gè)詞開始向前逐個(gè)編碼,直到結(jié)束符<EOS>為止,得到一個(gè)定長(zhǎng)的連續(xù)向量表示h i,n Τb ∈Rmodeld[式(2)],其中modeld表示解碼器隱藏層輸出狀態(tài)的維度,而后向RNN從結(jié)束符<EOS>到首個(gè)詞逐個(gè)編碼獲得后向RNN的隱含層表示h i,1 Τb ∈Rmodeld[式(3)],最終將前向和后向的隱含層表示向量進(jìn)行拼接,得到源語言句子的最終隱藏層向量表示,即hTb=[h i,n Τb ;h i,1 Τb ][式(4)],同理可以得到目標(biāo)語言句子的最終隱藏層隱含層表示hCh=[h j,m Ch ;h j,1 Ch ]。源語言隱藏狀態(tài)向量具體計(jì)算如式(1)～式(4)所示。

在同一訓(xùn)練集和驗(yàn)證集上經(jīng)過50萬次的輪數(shù)訓(xùn)練后,三個(gè)模型的性能對(duì)比如圖2所示,實(shí)驗(yàn)表明,Transformer的性能也優(yōu)于其他兩個(gè)模型,所以本文選擇將其做基準(zhǔn)模型。上述實(shí)驗(yàn)完全地證明了Transformer的高效性和作為基線系統(tǒng)的有效性,綜上所述,后續(xù)迭代式回譯實(shí)驗(yàn)將使用Transformer作為回譯實(shí)驗(yàn)的基線系統(tǒng)。在本實(shí)驗(yàn)中,主要包含兩個(gè)步驟:


本文編號(hào)：3390060