近些年,通過大規(guī)模神經(jīng)網(wǎng)絡將自然語言單元表示為連續(xù)空間向量用以代替?zhèn)鹘y(tǒng)的離散符號的方法,極大地提升了各種自然語言處理任務的性能。機器翻譯作為自然語言處理領域中最具挑戰(zhàn)性的研究任務之一,從最初利用神經(jīng)網(wǎng)絡方法改善統(tǒng)計機器翻譯模型,再到構建端到端的神經(jīng)網(wǎng)絡機器翻譯模型,機器翻譯取得了巨大的進步。面向機器翻譯的神經(jīng)網(wǎng)絡方法通常基于句子中的上下文信息來隱式地學習源端句子表示和目標端譯文生成。由此可見,上下文信息在機器翻譯中扮演著極為重要的角色。神經(jīng)網(wǎng)絡方法能夠通過連續(xù)空間的向量捕獲翻譯上下文信息和被預測目標單詞之間的語義相似性,但由于神經(jīng)網(wǎng)絡的訓練具有較高的時空復雜度,導致其僅僅在詞級別上來模擬翻譯上下文信息用于生成目標語言翻譯。直觀上,一個自然語言句子的構成,不僅包括基本的詞級別信息,而且包括高階上下文信息,比如局部上下文、結構化上下文和句子級主題上下文等信息。與基本的單詞信息相比,這些具有豐富翻譯知識的上下文信息往往會導致大規(guī)模的高階上下文單元,而直接通過神經(jīng)網(wǎng)絡建模又會面臨嚴重的數(shù)據(jù)稀疏性問題和極大的時空復雜度。為此,本文首先探索如何利用神經(jīng)網(wǎng)絡來表示機器翻譯中的高階上下文單元,并以基于...

【文章頁數(shù)】：128 頁

【學位級別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 機器翻譯
        1.1.1 統(tǒng)計機器翻譯
        1.1.2 神經(jīng)網(wǎng)絡機器翻譯
    1.2 翻譯上下文的研究意義和動機
        1.2.1 研究意義
        1.2.2 研究動機
    1.3 翻譯上下文的研究現(xiàn)狀
        1.3.1 基于離散符號的翻譯上下文表示
        1.3.2 基于連續(xù)空間向量的翻譯上下文表示
        1.3.3 面向神經(jīng)網(wǎng)絡機器翻譯的上下文表示
    1.4 本文研究內(nèi)容和組織結構
        1.4.1 研究內(nèi)容
        1.4.2 組織結構
第2章 基于依賴的雙語聯(lián)合上下文表示
    2.1 引言
    2.2 相關工作
    2.3 基于依賴的雙語上下文序列
        2.3.1 序列生成
        2.3.2 序列表示
    2.4 基于依賴的神經(jīng)網(wǎng)絡聯(lián)合模型
        2.4.1 翻譯預測
        2.4.2 模型訓練
    2.5 具有基于依賴的神經(jīng)網(wǎng)絡聯(lián)合模型的翻譯解碼
        2.5.1 具有基于依賴的神經(jīng)網(wǎng)絡聯(lián)合模型的短語翻譯解碼
        2.5.2 具有基于依賴的神經(jīng)網(wǎng)絡聯(lián)合模型的層次短語翻譯解碼
    2.6 實驗結果與分析
        2.6.1 實驗設置
        2.6.2 評估源端依賴
        2.6.3 評估基于依賴的雙語組合序列
        2.6.4 評估基于依賴的神經(jīng)網(wǎng)絡聯(lián)合模型
        2.6.5 面向英德翻譯任務上的實驗結果
        2.6.6 面向不同長度句子的翻譯評估
        2.6.7 翻譯實例分析
    2.7 本章小結
第3章 面向神經(jīng)網(wǎng)絡機器翻譯的局部上下文表示
    3.1 引言
    3.2 相關工作
        3.2.1 面向機器翻譯的詞義消歧
        3.2.2 面向機器翻譯的集外詞翻譯
    3.3 局部上下文表示
        3.3.1 前饋上下文感知模型
        3.3.2 卷積上下文感知模型
    3.4 具有局部上下文表示的神經(jīng)網(wǎng)絡機器翻譯模型
        3.4.1 神經(jīng)網(wǎng)絡機器翻譯中的詞匯表示
        3.4.2 局部上下文策略
        3.4.3 翻譯模型
    3.5 實驗結果與分析
        3.5.1 實驗設置
        3.5.2 翻譯結果
        3.5.3 具有不同數(shù)目集外詞句子的翻譯評估
        3.5.4 翻譯實例分析
    3.6 本章小結
第4章 面向神經(jīng)網(wǎng)絡機器翻譯的結構化上下文表示
    4.1 引言
    4.2 相關工作
    4.3 面向神經(jīng)網(wǎng)絡機器翻譯的注意力機制
        4.3.1 全局注意力機制
        4.3.2 局部注意力機制
    4.4 具有源端依賴上下文表示的神經(jīng)網(wǎng)絡機器翻譯模型
        4.4.1 源端依賴上下文單元
        4.4.2 源端依賴上下文表示
        4.4.3 具有源端依賴表示的翻譯模型
    4.5 句法導向的注意力機制
        4.5.1 句法距離約束
        4.5.2 句法導向注意力機制
        4.5.3 雙上下文機制
    4.6 實驗結果與分析
        4.6.1 實驗設置
        4.6.2 翻譯結果
        4.6.3 評估雙上下文機制
        4.6.4 面向不同長度句子的翻譯評估
    4.7 本章小結
第5章 面向神經(jīng)網(wǎng)絡機器翻譯的句子級上下文表示
    5.1 引言
    5.2 相關工作
    5.3 句子級主題上下文表示
        5.3.1 句子表示中的主題信息
        5.3.2 學習源端隱含主題表示
    5.4 具有句子級主題上下文的神經(jīng)網(wǎng)絡機器翻譯模型
        5.4.1 基于注意力的神經(jīng)網(wǎng)絡機器翻譯模型
        5.4.2 面向隱含主題表示的注意力機制
        5.4.3 模型訓練
    5.5 實驗結果與分析
        5.5.1 實驗設置
        5.5.2 翻譯結果
        5.5.3 翻譯實例
        5.5.4 主題注意力對齊展示
    5.6 本章小結
結論
參考文獻
攻讀博士學位期間發(fā)表的論文
致謝
個人簡歷



本文編號：3890124