【摘要】：全球化現(xiàn)象在當(dāng)今世界不斷增強(qiáng),國際交流也隨之變得日益頻繁,語言交流的障礙正逐步凸顯。機(jī)器翻譯憑借高效的翻譯效率和低廉的成本,成為了克服上述障礙,增強(qiáng)跨國跨文化交流的重要手段,這使其成為了人工智能及自然語言處理領(lǐng)域中研究的熱點(diǎn)。隨著深度學(xué)習(xí)的快速發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯模型得到了廣泛地關(guān)注。相較于之前的機(jī)器翻譯模型,神經(jīng)機(jī)器翻譯模型直接使用雙語對齊數(shù)據(jù)進(jìn)行訓(xùn)練,而沒有利用任何額外的語言信息進(jìn)行指導(dǎo)。訓(xùn)練過程會將輸入的源語言和輸出的目標(biāo)語言分別投影成高維的向量,而翻譯所需的語言信息則完全包含在這些向量表示中。然而雙語數(shù)據(jù)是由人工翻譯整理而成的,通常規(guī)模不會很大,但神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模卻是極其龐大的,這種不平衡導(dǎo)致了現(xiàn)有的神經(jīng)機(jī)器翻譯模型生成的向量表示無法包含有足夠語言信息。語言表示的不完整則會產(chǎn)生很多翻譯問題,如翻譯過程中局部字詞信息不夠精確會導(dǎo)致多翻,漏翻,或者錯翻等現(xiàn)象;缺少語義或結(jié)構(gòu)的全局信息則會導(dǎo)致翻譯結(jié)果在語義和結(jié)構(gòu)上產(chǎn)生很大偏差等。因此,通過引入各類語言信息來約束和指導(dǎo)神經(jīng)機(jī)器翻譯模型的訓(xùn)練和生成,可以針對性的解決這些問題,使得翻譯生成的結(jié)果更加的完整和準(zhǔn)確,從而大幅提高機(jī)器翻譯的質(zhì)量。本文從如何將語言信息引入神經(jīng)機(jī)器翻譯模型的角度出發(fā),基于模型結(jié)構(gòu)和外部資源兩個方向展開研究。本文的主要內(nèi)容如下:1.針對神經(jīng)機(jī)器翻譯模型的局部表示不夠精確的問題,提出在神經(jīng)機(jī)器翻譯模型中結(jié)合一種詞預(yù)測機(jī)制對語言表示進(jìn)行額外的約束。通過這種方式可以利用目標(biāo)端的詞信息使翻譯過程中每個向量表示能包含有更精確的局部語言信息。實(shí)驗(yàn)結(jié)果表明引入詞預(yù)測機(jī)制能使得模型的翻譯結(jié)果更加準(zhǔn)確和完整。2.針對神經(jīng)機(jī)器翻譯模型的全局語言信息建模不完整導(dǎo)致其容易出現(xiàn)一些語義和結(jié)構(gòu)偏差的問題,提出在模型中顯式建模句子級的全局表示,并將其動態(tài)地結(jié)合到翻譯過程中。通過這種方式,可以使得翻譯的句子在全局表示的指導(dǎo)下能更加準(zhǔn)確地反映源端句子的語義信息,從而提高整體的翻譯質(zhì)量。3.針對有限的雙語數(shù)據(jù)不足以使翻譯模型學(xué)習(xí)到足夠好的語言表示的問題,提出了一種雙向自注意力語言模型來利用外部的大規(guī)模單語數(shù)據(jù)學(xué)習(xí)語言表示,并將學(xué)習(xí)到的語言表示加入到翻譯過程中輔助神經(jīng)機(jī)器翻譯模型進(jìn)行翻譯。實(shí)驗(yàn)結(jié)果表明外部數(shù)據(jù)提供的語言信息能夠顯著提高翻譯的質(zhì)量。4.另一方面,本文提出了一種新型的雙向記憶交互式神經(jīng)機(jī)器翻譯模型,在人機(jī)交互中,更好地利用用戶提供的外部語言信息進(jìn)行生成和學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明,本文提出的方法,可以充分利用用戶在交互過程中提供的語言信息提高翻譯質(zhì)量。
【圖文】：

（Ｔｒａｎｓｆｏｒｍｅｒ）。該模型同樣是基于編碼器－解碼器框架，并在若干語對上取逡逑得了當(dāng)前最好的效果｜４３１�；谧宰⒁饬W(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型的結(jié)構(gòu)如逡逑圖２－２所示。逡逑同樣給定一組輸入｛ｘ，ｙ｝，在編碼階段，一個由多層自注意力網(wǎng)絡(luò)組逡逑

逡逑圖２－１：基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型逡逑其中ｓｏｆｔｍａｘ為歸一化指數(shù)函數(shù)，ｓｙ是解碼器在第＿／個時間步產(chǎn)生的隱層狀態(tài)，逡逑它由解碼器的ＧＲＵ計算而得。計算方式如下：逡逑ｓｊ邋＝邋ＧＲＵｒｆ（ｓｙ－＿ｉ，邋［＾（ｙｙ－ｉ）；邋Ｃｙ］）邐（２－８）逡逑其中表示上下文的向量Ｃ７？通過注意力機(jī)制Ｍ對編碼器生成的一組狀態(tài)進(jìn)行計算逡逑得到：逡逑１逡逑Ｃｊ邋＝邐＾邋ａｊｉｈｉ邐（２－９）逡逑／＝１逡逑ｅｘｐ（＾／７）逡逑ａ，邋＝邐（２－１０）逡逑Ｉｔ＝ｉ邋ｅｘｐ（＾．）逡逑ｅｊｉ邋＝邐ｔａｎｈ（Ｗ（／？￡／［ｓｊ，＿ｉ；邋ｈ，］）邐（２－１１）逡逑２．１．２基于自注意力網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型逡逑Ｖａｓｗａｎｉ等人＿在２０１７年提出了基于自注意力網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型逡逑（Ｔｒａｎｓｆｏｒｍｅｒ）。該模型同樣是基于編碼器－解碼器框架，并在若干語對上取逡逑得了當(dāng)前最好的效果｜４３１�；谧宰⒁饬W(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型的結(jié)構(gòu)如逡逑圖２－２所示。逡逑同樣給定一組輸入｛ｘ，ｙ｝，在編碼階段，，一個由多層自注意力網(wǎng)絡(luò)組逡逑
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP183;H085

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鮑亞明;;“擴(kuò)展語句”、“壓縮語段”題透視[J];青蘋果;2016年18期

2 陳s犡

本文編號：2634359