發(fā)布時間：2022-01-21 07:02

　　近年來,借助深度學(xué)習(xí)的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的研究取得了非常顯著的進(jìn)展。蒙漢機(jī)器翻譯的研究起步較晚,平行語料規(guī)模相對較小,存在嚴(yán)重的數(shù)據(jù)稀疏問題。本論文將從兩個方面展開研究:一、模型損失函數(shù)和譯文評價指標(biāo)度量方式不一致,模型訓(xùn)練階段依賴真實數(shù)據(jù)分布而預(yù)測階段依賴模型分布從而導(dǎo)致曝光偏差問題產(chǎn)生。本文引入強(qiáng)化學(xué)習(xí)的思想,利用不同獎勵機(jī)制解決損失函數(shù)和評價指標(biāo)度量方式不一致問題,通過不同的解碼方式緩解曝光偏差問題;二、數(shù)據(jù)稀疏條件下模型訓(xùn)練困難。本文提出了一種利用蒙古語子詞向量對翻譯模型參數(shù)初始化的方法,并提出了一種隨機(jī)添加噪聲數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法用于增強(qiáng)蒙漢雙語數(shù)據(jù)。具體方法如下:一、嘗試在蒙漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯任務(wù)中引入強(qiáng)化學(xué)習(xí)的思想。設(shè)置不同級別（詞語級、序列級）的獎勵函數(shù),并以不同比例線性結(jié)合獎勵函數(shù)和交叉熵?fù)p失函數(shù)進(jìn)行實驗。實驗在40%序列級獎勵+60%交叉熵?fù)p失函數(shù)的設(shè)置上得到最優(yōu)結(jié)果。本文還對束搜索、計劃采樣等解碼方法進(jìn)行對比,實驗證明計劃采樣這一方法取得了更好的效果。二、提出了一種基于子詞粒度的蒙古語詞向量生成方法。該方法借助BPE切分算法,在大規(guī)模單語語料上生成與平行語料... 

【文章來源】：內(nèi)蒙古大學(xué)內(nèi)蒙古自治區(qū) 211工程院校

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

詞嵌入降維表示Figure3-3Thereduceddimensionrepresentationofwordembedding如圖3-3所示，圖中紅色點為實驗采樣代詞的詞向量降維表示，黑點為其余詞的詞向量

基于強(qiáng)化學(xué)習(xí)的蒙漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的研究36確詞語，從而使得誤差從序列的起始就產(chǎn)生累積，詞語級獎勵在訓(xùn)練開始階段出現(xiàn)大量為0的情況。在沒有其他條件對模型進(jìn)行指引的情況下，詞語級獎勵可能更加遲緩了模型的收斂，進(jìn)而導(dǎo)致模型質(zhì)量變差。上述實驗結(jié)果的BLEU值降低可能來自于訓(xùn)練的起始階段，強(qiáng)化學(xué)習(xí)的獎勵函數(shù)無法指引模型更快地向最優(yōu)點附近收斂。為進(jìn)一步研究設(shè)置獎勵是否真的不會為蒙漢機(jī)器翻譯模型帶來性能提升，第二部分的實驗嘗試緩解獎勵稀疏的問題，利用結(jié)合后的損失函數(shù)進(jìn)行實驗。我們以=[0,0.2,0.4,0.6,0.8,1]的權(quán)重結(jié)合交叉熵?fù)p失函數(shù)和序列級獎勵函數(shù)，其中=0時，表示損失函數(shù)為完全使用獎勵函數(shù)，=1時，表示損失函數(shù)完全使用交叉熵，實驗結(jié)果如圖所示。圖4-1結(jié)合損失函數(shù)的實驗結(jié)果Figure4-1Theexperimentresultscombiningdifferentlossfunction實驗結(jié)果表明，當(dāng)=0.4時，翻譯模型的預(yù)測結(jié)果可以得到最為優(yōu)秀的BLEU值，超過了完全使用交叉熵?fù)p失函數(shù)的基線模型(+0.27)。實驗結(jié)果證明強(qiáng)化學(xué)習(xí)獎勵函數(shù)的引入，確實為蒙漢機(jī)器翻譯帶來了性能的提升。完全使用獎勵函數(shù)訓(xùn)練的模型會嚴(yán)重影響模型的收斂，而與交叉熵?fù)p失函數(shù)的結(jié)合可以在訓(xùn)練的初始階段穩(wěn)定訓(xùn)練過程，提升模型質(zhì)量。4.4.3針對探索利用問題的實驗結(jié)果與分析除了損失函數(shù)對模型帶來的影響，模型的解碼過程實際上對于曝光偏差的影響更大。本小節(jié)對探索-利用問題的不同考慮進(jìn)行了對比實驗，實驗在上一節(jié)最優(yōu)（使用最終獎勵，=0.4）的配置下進(jìn)行，實驗結(jié)果如下表所示。

【參考文獻(xiàn)】：
期刊論文
[1]機(jī)器翻譯發(fā)展與現(xiàn)狀[J]. 黎亞飛,張瑞華.  中國輕工教育. 2019(05)
[2]神經(jīng)機(jī)器翻譯綜述[J]. 高明虎,于志強(qiáng).  云南民族大學(xué)學(xué)報(自然科學(xué)版). 2019(01)
[3]子字粒度切分在蒙漢神經(jīng)機(jī)器翻譯中的應(yīng)用[J]. 任眾,侯宏旭,吉亞圖,武子玉,白天罡,雷穎.  中文信息學(xué)報. 2019(01)
[4]神經(jīng)機(jī)器翻譯綜述[J]. 李亞超,熊德意,張民.  計算機(jī)學(xué)報. 2018(12)
[5]基于數(shù)據(jù)增強(qiáng)技術(shù)的神經(jīng)機(jī)器翻譯[J]. 蔡子龍,楊明明,熊德意.  中文信息學(xué)報. 2018(07)
[6]神經(jīng)機(jī)器翻譯前沿進(jìn)展[J]. 劉洋.  計算機(jī)研究與發(fā)展. 2017(06)
[7]語言保護(hù)與中國的少數(shù)民族語言[J]. 戴慶廈.  民俗典籍文字研究. 2016(02)
[8]機(jī)器翻譯技術(shù)現(xiàn)狀與展望[J]. 劉群.  集成技術(shù). 2012(01)
[9]基于實例的漢蒙機(jī)器翻譯[J]. 侯宏旭,劉群,那順烏日圖.  中文信息學(xué)報. 2007(04)
[10]統(tǒng)計機(jī)器翻譯綜述[J]. 劉群.  中文信息學(xué)報. 2003(04)

博士論文
[1]多方法融合蒙漢機(jī)器翻譯與譯文重排序研究[D]. 武靜.內(nèi)蒙古大學(xué) 2017

碩士論文
[1]融合先驗信息的蒙漢神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型[D]. 樊文婷.內(nèi)蒙古大學(xué) 2018
[2]融合離散詞概率信息的蒙漢神經(jīng)機(jī)器翻譯[D]. 李金廷.內(nèi)蒙古大學(xué) 2018
[3]多粒度蒙古文漢文神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯研究[D]. 王洪彬.內(nèi)蒙古大學(xué) 2018
[4]基于注意力神經(jīng)網(wǎng)絡(luò)的蒙漢機(jī)器翻譯系統(tǒng)的研究[D]. 申志鵬.內(nèi)蒙古大學(xué) 2017
[5]基于層次短語模型的蒙—漢統(tǒng)計機(jī)器翻譯研究[D]. 蘇傳捷.內(nèi)蒙古大學(xué) 2014



本文編號：3599793