近年來,神經(jīng)機器翻譯取得了飛速發(fā)展,并取代傳統(tǒng)的統(tǒng)計機器翻譯,成為目前機器翻譯應(yīng)用和研究中的主流范式。然而,神經(jīng)機器翻譯系統(tǒng)嚴重依賴于大規(guī)模高質(zhì)量的平行語料,導致其在低資源和特定領(lǐng)域的翻譯任務(wù)上表現(xiàn)不佳。為了解決神經(jīng)網(wǎng)絡(luò)訓練中的數(shù)據(jù)稀疏問題,數(shù)據(jù)增強是一個非常具有前景且有效的方法。這類方法已經(jīng)在計算機視覺和自然語言處理領(lǐng)域上廣泛應(yīng)用并取得很好的效果,但目前仍然沒有很好地應(yīng)用到神經(jīng)機器翻譯領(lǐng)域。本文旨在探索數(shù)據(jù)增強方法在神經(jīng)機器翻譯領(lǐng)域的應(yīng)用,為此分別研究了針對半監(jiān)督、有監(jiān)督以及無監(jiān)督等三種不同翻譯場景下的數(shù)據(jù)增強方法,以提升神經(jīng)機器翻譯模型的性能:·提出一種在半監(jiān)督場景下能高效地開發(fā)大規(guī)模單語數(shù)據(jù)的數(shù)據(jù)增強方法。通過擴展反向翻譯方法,本文設(shè)計了一種新型聯(lián)合訓練框架,并利用聯(lián)合期望最大化算法來同時訓練源語言到目標語言和目標語言到源語言這兩個翻譯方向的神經(jīng)機器翻譯模型。整個訓練過程一開始使用平行語料來預訓練神經(jīng)機器翻譯模型,然后再利用單語數(shù)據(jù)來迭代地更新這兩個模型。在每次迭代中,兩個神經(jīng)機器翻譯模型首先將單語數(shù)據(jù)從一種語言翻譯成另一種語言,形成偽訓練數(shù)據(jù),隨后平行語料和偽訓練數(shù)據(jù)用來繼續(xù)優(yōu)...

【文章頁數(shù)】：122 頁

【學位級別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究內(nèi)容和主要貢獻
    1.4 本文的組織結(jié)構(gòu)
第2章 機器翻譯與數(shù)據(jù)增強
    2.1 機器翻譯
        2.1.1 統(tǒng)計機器翻譯
        2.1.2 神經(jīng)機器翻譯
        2.1.3 機器翻譯評測標準
    2.2 數(shù)據(jù)增強
        2.2.1 計算機視覺領(lǐng)域上的應(yīng)用
        2.2.2 自然語言處理領(lǐng)域上的應(yīng)用
    2.3 本章小結(jié)
第3章 針對半監(jiān)督神經(jīng)機器翻譯的聯(lián)合訓練方法
    3.1 引言
    3.2 開發(fā)單語語料
        3.2.1 外部語言模型融合
        3.2.2 自編碼器方法
        3.2.3 反向翻譯方法
    3.3 針對半監(jiān)督神經(jīng)機器翻譯的聯(lián)合訓練方法
        3.3.1 聯(lián)合訓練算法
        3.3.2 半監(jiān)督目標函數(shù)定義
    3.4 實驗與分析
        3.4.1 實驗設(shè)置
        3.4.2 NIST數(shù)據(jù)集上的實驗結(jié)果
        3.4.3 WMT數(shù)據(jù)集上的實驗結(jié)果
        3.4.4 聯(lián)合訓練過程分析
        3.4.5 翻譯實例分析
    3.5 相關(guān)工作
    3.6 本章小結(jié)
第4章 基于雙向解碼一致性的模型正則化方法
    4.1 引言
    4.2 暴露偏差問題
    4.3 基于雙向解碼一致性的模型正則化方法
        4.3.1 引入KL散度正則項
        4.3.2 雙向解碼模型聯(lián)合訓練
    4.4 半監(jiān)督場景上的應(yīng)用
    4.5 實驗與分析
        4.5.1 實驗設(shè)置
        4.5.2 NIST數(shù)據(jù)集上的實驗結(jié)果
        4.5.3 WMT數(shù)據(jù)集上的實驗結(jié)果
        4.5.4 半監(jiān)督場景上的實驗結(jié)果
        4.5.5 模型訓練過程分析
        4.5.6 翻譯實例分析
    4.6 相關(guān)工作
    4.7 本章小結(jié)
第5章 統(tǒng)計機器翻譯作為后驗正則的無監(jiān)督訓練方法
    5.1 引言
    5.2 無監(jiān)督神經(jīng)機器翻譯
        5.2.1 跨語言詞向量
        5.2.2 無監(jiān)督訓練框架
    5.3 后驗正則訓練框架
    5.4 統(tǒng)計機器翻譯作為后驗正則的無監(jiān)督訓練方法
        5.4.1 模型初始化
        5.4.2 利用統(tǒng)計機器翻譯作為后驗正則
        5.4.3 整體訓練算法
    5.5 實驗與分析
        5.5.1 實驗設(shè)置
        5.5.2 WMT數(shù)據(jù)集上的實驗結(jié)果
        5.5.3 模型訓練過程分析
        5.5.4 初始化階段分析
        5.5.5 翻譯實例分析
    5.6 在語言風格遷移任務(wù)上的應(yīng)用
        5.6.1 語言風格遷移
        5.6.2 無監(jiān)督訓練
        5.6.3 實驗結(jié)果
    5.7 相關(guān)工作
    5.8 本章小結(jié)
第6章 總結(jié)與展望
參考文獻
致謝
在讀期間發(fā)表的學術(shù)論文與取得的研究成果



本文編號：3823233