近年來,神經(jīng)機(jī)器翻譯取得了飛速發(fā)展,并取代傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯,成為目前機(jī)器翻譯應(yīng)用和研究中的主流范式。然而,神經(jīng)機(jī)器翻譯系統(tǒng)嚴(yán)重依賴于大規(guī)模高質(zhì)量的平行語(yǔ)料,導(dǎo)致其在低資源和特定領(lǐng)域的翻譯任務(wù)上表現(xiàn)不佳。為了解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的數(shù)據(jù)稀疏問題,數(shù)據(jù)增強(qiáng)是一個(gè)非常具有前景且有效的方法。這類方法已經(jīng)在計(jì)算機(jī)視覺和自然語(yǔ)言處理領(lǐng)域上廣泛應(yīng)用并取得很好的效果,但目前仍然沒有很好地應(yīng)用到神經(jīng)機(jī)器翻譯領(lǐng)域。本文旨在探索數(shù)據(jù)增強(qiáng)方法在神經(jīng)機(jī)器翻譯領(lǐng)域的應(yīng)用,為此分別研究了針對(duì)半監(jiān)督、有監(jiān)督以及無(wú)監(jiān)督等三種不同翻譯場(chǎng)景下的數(shù)據(jù)增強(qiáng)方法,以提升神經(jīng)機(jī)器翻譯模型的性能:·提出一種在半監(jiān)督場(chǎng)景下能高效地開發(fā)大規(guī)模單語(yǔ)數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法。通過擴(kuò)展反向翻譯方法,本文設(shè)計(jì)了一種新型聯(lián)合訓(xùn)練框架,并利用聯(lián)合期望最大化算法來同時(shí)訓(xùn)練源語(yǔ)言到目標(biāo)語(yǔ)言和目標(biāo)語(yǔ)言到源語(yǔ)言這兩個(gè)翻譯方向的神經(jīng)機(jī)器翻譯模型。整個(gè)訓(xùn)練過程一開始使用平行語(yǔ)料來預(yù)訓(xùn)練神經(jīng)機(jī)器翻譯模型,然后再利用單語(yǔ)數(shù)據(jù)來迭代地更新這兩個(gè)模型。在每次迭代中,兩個(gè)神經(jīng)機(jī)器翻譯模型首先將單語(yǔ)數(shù)據(jù)從一種語(yǔ)言翻譯成另一種語(yǔ)言,形成偽訓(xùn)練數(shù)據(jù),隨后平行語(yǔ)料和偽訓(xùn)練數(shù)據(jù)用來繼續(xù)優(yōu)...

【文章頁(yè)數(shù)】：122 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 研究?jī)?nèi)容和主要貢獻(xiàn)
    1.4 本文的組織結(jié)構(gòu)
第2章 機(jī)器翻譯與數(shù)據(jù)增強(qiáng)
    2.1 機(jī)器翻譯
        2.1.1 統(tǒng)計(jì)機(jī)器翻譯
        2.1.2 神經(jīng)機(jī)器翻譯
        2.1.3 機(jī)器翻譯評(píng)測(cè)標(biāo)準(zhǔn)
    2.2 數(shù)據(jù)增強(qiáng)
        2.2.1 計(jì)算機(jī)視覺領(lǐng)域上的應(yīng)用
        2.2.2 自然語(yǔ)言處理領(lǐng)域上的應(yīng)用
    2.3 本章小結(jié)
第3章 針對(duì)半監(jiān)督神經(jīng)機(jī)器翻譯的聯(lián)合訓(xùn)練方法
    3.1 引言
    3.2 開發(fā)單語(yǔ)語(yǔ)料
        3.2.1 外部語(yǔ)言模型融合
        3.2.2 自編碼器方法
        3.2.3 反向翻譯方法
    3.3 針對(duì)半監(jiān)督神經(jīng)機(jī)器翻譯的聯(lián)合訓(xùn)練方法
        3.3.1 聯(lián)合訓(xùn)練算法
        3.3.2 半監(jiān)督目標(biāo)函數(shù)定義
    3.4 實(shí)驗(yàn)與分析
        3.4.1 實(shí)驗(yàn)設(shè)置
        3.4.2 NIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
        3.4.3 WMT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
        3.4.4 聯(lián)合訓(xùn)練過程分析
        3.4.5 翻譯實(shí)例分析
    3.5 相關(guān)工作
    3.6 本章小結(jié)
第4章 基于雙向解碼一致性的模型正則化方法
    4.1 引言
    4.2 暴露偏差問題
    4.3 基于雙向解碼一致性的模型正則化方法
        4.3.1 引入KL散度正則項(xiàng)
        4.3.2 雙向解碼模型聯(lián)合訓(xùn)練
    4.4 半監(jiān)督場(chǎng)景上的應(yīng)用
    4.5 實(shí)驗(yàn)與分析
        4.5.1 實(shí)驗(yàn)設(shè)置
        4.5.2 NIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
        4.5.3 WMT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
        4.5.4 半監(jiān)督場(chǎng)景上的實(shí)驗(yàn)結(jié)果
        4.5.5 模型訓(xùn)練過程分析
        4.5.6 翻譯實(shí)例分析
    4.6 相關(guān)工作
    4.7 本章小結(jié)
第5章 統(tǒng)計(jì)機(jī)器翻譯作為后驗(yàn)正則的無(wú)監(jiān)督訓(xùn)練方法
    5.1 引言
    5.2 無(wú)監(jiān)督神經(jīng)機(jī)器翻譯
        5.2.1 跨語(yǔ)言詞向量
        5.2.2 無(wú)監(jiān)督訓(xùn)練框架
    5.3 后驗(yàn)正則訓(xùn)練框架
    5.4 統(tǒng)計(jì)機(jī)器翻譯作為后驗(yàn)正則的無(wú)監(jiān)督訓(xùn)練方法
        5.4.1 模型初始化
        5.4.2 利用統(tǒng)計(jì)機(jī)器翻譯作為后驗(yàn)正則
        5.4.3 整體訓(xùn)練算法
    5.5 實(shí)驗(yàn)與分析
        5.5.1 實(shí)驗(yàn)設(shè)置
        5.5.2 WMT數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
        5.5.3 模型訓(xùn)練過程分析
        5.5.4 初始化階段分析
        5.5.5 翻譯實(shí)例分析
    5.6 在語(yǔ)言風(fēng)格遷移任務(wù)上的應(yīng)用
        5.6.1 語(yǔ)言風(fēng)格遷移
        5.6.2 無(wú)監(jiān)督訓(xùn)練
        5.6.3 實(shí)驗(yàn)結(jié)果
    5.7 相關(guān)工作
    5.8 本章小結(jié)
第6章 總結(jié)與展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果



本文編號(hào)：3823233