【摘要】：不同的國家、地區(qū)和民族之間存在不同的語言。隨著時代的進(jìn)步,人與人之間跨越語言進(jìn)行交流的需求日益增加,通過機(jī)器自動處理語言之間的翻譯也越來越受到人們的關(guān)注,機(jī)器翻譯即是解決這一問題的有力武器,也是目前自然處理領(lǐng)域的研究熱點(diǎn)。神經(jīng)機(jī)器翻譯是目前機(jī)器翻譯領(lǐng)域占主流地位的方法。神經(jīng)機(jī)器翻譯以平行語料作為訓(xùn)練數(shù)據(jù),利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行建模,然后通過隨機(jī)梯度下降的方法優(yōu)化損失函數(shù)來訓(xùn)練模型。一方面,相比統(tǒng)計機(jī)器翻譯,神經(jīng)機(jī)器翻譯的訓(xùn)練過程是一個訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的過程。神經(jīng)機(jī)器翻譯模型具有復(fù)雜的結(jié)構(gòu)和大量的待訓(xùn)練參數(shù)。這對端到端地訓(xùn)練模型的參數(shù)造成了困難;另一方面,在神經(jīng)機(jī)器翻譯模型中引入與翻譯任務(wù)相關(guān)的先驗信息,有助于提升建模的效果。約束優(yōu)化是提升深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練效果,以及為神經(jīng)網(wǎng)絡(luò)引入先驗信息的重要方法�；诩s束優(yōu)化的方法,本文分別為上述兩個問題提供了解決方法,主要工作如下:·針對神經(jīng)機(jī)器翻譯參數(shù)學(xué)習(xí)中的問題,我們提出一種基于檢查點(diǎn)進(jìn)行約束的神經(jīng)機(jī)器翻譯模型訓(xùn)練方法。該方法相比之前面向參數(shù)學(xué)習(xí)的優(yōu)化方法,只依賴模型訓(xùn)練過程中產(chǎn)生的檢查點(diǎn),通過知識蒸餾的方式構(gòu)造約束函數(shù)。此外,該方法不斷地從新獲得的檢查點(diǎn)中構(gòu)造新的教師模型,從而實現(xiàn)了根據(jù)訓(xùn)練過程動態(tài)地調(diào)整約束。本文提出的方法在四個翻譯數(shù)據(jù)集上都顯著提高了訓(xùn)練的效果,并且在低資源數(shù)據(jù)上緩解了訓(xùn)練中的過擬合現(xiàn)象�！た缯Z言共享的語義表示空間有助于提升神經(jīng)機(jī)器翻譯模型的效果,這種先驗信息的作用在多語言對的神經(jīng)機(jī)器翻譯中得到廣泛印證。通過跨語言共享詞表和模型參數(shù),可以讓模型學(xué)習(xí)到跨語言共享的語義表示空間。然而,我們發(fā)現(xiàn)在單語言對的神經(jīng)機(jī)器翻譯模型中無法利用類似的方法。為了為翻譯模型中的表示引入跨語言共享這一先驗信息,我們提出了一種基于成分共享的約束優(yōu)化方法。在中英、日英、韓英三個語言對上的實驗結(jié)果證明了該種約束確實為模型引入了共享的語義表示,且對兩個方向上的翻譯效果都有提升。
【圖文】：

機(jī)器翻譯的研宄始于二十世紀(jì)四十年代。１９４７年，瓦倫？韋弗（Ｗａｒｒｅｎ逡逑Ｗｅａｖｅｒ）于寫給友人的信中最早提及用電子計算機(jī)進(jìn)行自動翻譯的想法，并隨逡逑后著手開始相關(guān)的研[偣ぷ鰨鞣氳難繡忱紛源蘇箍�。壤_跡保彼荊浚義匣鞣氳南喙匱芯看籩戮縵氯黿錐危哄義瞎嬖蚧鞣耄鶴鈐緄幕鞣胂低秤煞牘嬖蜆菇�。翻覡╂韵u耆捎镥義涎匝Ъ疑杓疲ǚ胨璧拇實�，厚勲秷A煌镅緣姆牘嬖頡９嬖蚍義弦胂低襯芄桓鼉嫉摹⒎嫌鋟ü嬖虻姆�，，但是膸r雜Χ韻質(zhì)抵懈髦皺義咸厥獾撓镅韻窒�。此外，规晕嚨统搭建和维护的人力硽⒕也景b卟幌攏還駑義顯螄低車姆夯芰σ脖冉喜�，翻覡╂韵u嬖誆灰恢碌那榭觥Ｕ廡┪侍忮義顯謖庖喚錐窩現(xiàn)刂圃劑嘶鞣氳氖滌眉壑�。辶x賢臣蘋鞣耄核孀糯蠊婺Ｆ叫杏锪峽獾慕ⅲ約凹撲隳芰Φ牟歡顯鰣義锨�，数据驱动的机器翻译成为机器翻覛梏[髁鞣椒ǎ臣蘋鞣敕椒ㄔ蟈義鮮瞧渲械南惹�。统继O鞣臚紗識云耄逃銼聿檠�，叼愊柾斤崥枞辶x息俑猛計圓┛灣澹瑁簦簦穡螅海恚澹洌椋酰恚媯潁澹澹悖錚洌澹悖幔恚穡錚潁紓幔瑁椋螅簦錚潁錚媯恚幔悖瑁椋睿澹簦潁幔睿螅歟幔簦椋錚睿媯潁錚

本文編號：2611101