發(fā)布時(shí)間：2024-01-30 12:07

　　近些年,通過大規(guī)模神經(jīng)網(wǎng)絡(luò)將自然語(yǔ)言單元表示為連續(xù)空間向量用以代替?zhèn)鹘y(tǒng)的離散符號(hào)的方法,極大地提升了各種自然語(yǔ)言處理任務(wù)的性能。機(jī)器翻譯作為自然語(yǔ)言處理領(lǐng)域中最具挑戰(zhàn)性的研究任務(wù)之一,從最初利用神經(jīng)網(wǎng)絡(luò)方法改善統(tǒng)計(jì)機(jī)器翻譯模型,再到構(gòu)建端到端的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型,機(jī)器翻譯取得了巨大的進(jìn)步。面向機(jī)器翻譯的神經(jīng)網(wǎng)絡(luò)方法通常基于句子中的上下文信息來隱式地學(xué)習(xí)源端句子表示和目標(biāo)端譯文生成。由此可見,上下文信息在機(jī)器翻譯中扮演著極為重要的角色。神經(jīng)網(wǎng)絡(luò)方法能夠通過連續(xù)空間的向量捕獲翻譯上下文信息和被預(yù)測(cè)目標(biāo)單詞之間的語(yǔ)義相似性,但由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練具有較高的時(shí)空復(fù)雜度,導(dǎo)致其僅僅在詞級(jí)別上來模擬翻譯上下文信息用于生成目標(biāo)語(yǔ)言翻譯。直觀上,一個(gè)自然語(yǔ)言句子的構(gòu)成,不僅包括基本的詞級(jí)別信息,而且包括高階上下文信息,比如局部上下文、結(jié)構(gòu)化上下文和句子級(jí)主題上下文等信息。與基本的單詞信息相比,這些具有豐富翻譯知識(shí)的上下文信息往往會(huì)導(dǎo)致大規(guī)模的高階上下文單元,而直接通過神經(jīng)網(wǎng)絡(luò)建模又會(huì)面臨嚴(yán)重的數(shù)據(jù)稀疏性問題和極大的時(shí)空復(fù)雜度。為此,本文首先探索如何利用神經(jīng)網(wǎng)絡(luò)來表示機(jī)器翻譯中的高階上下文單元,并以基于...

【文章頁(yè)數(shù)】：128 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 機(jī)器翻譯
        1.1.1 統(tǒng)計(jì)機(jī)器翻譯
        1.1.2 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯
    1.2 翻譯上下文的研究意義和動(dòng)機(jī)
        1.2.1 研究意義
        1.2.2 研究動(dòng)機(jī)
    1.3 翻譯上下文的研究現(xiàn)狀
        1.3.1 基于離散符號(hào)的翻譯上下文表示
        1.3.2 基于連續(xù)空間向量的翻譯上下文表示
        1.3.3 面向神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的上下文表示
    1.4 本文研究?jī)?nèi)容和組織結(jié)構(gòu)
        1.4.1 研究?jī)?nèi)容
        1.4.2 組織結(jié)構(gòu)
第2章 基于依賴的雙語(yǔ)聯(lián)合上下文表示
    2.1 引言
    2.2 相關(guān)工作
    2.3 基于依賴的雙語(yǔ)上下文序列
        2.3.1 序列生成
        2.3.2 序列表示
    2.4 基于依賴的神經(jīng)網(wǎng)絡(luò)聯(lián)合模型
        2.4.1 翻譯預(yù)測(cè)
        2.4.2 模型訓(xùn)練
    2.5 具有基于依賴的神經(jīng)網(wǎng)絡(luò)聯(lián)合模型的翻譯解碼
        2.5.1 具有基于依賴的神經(jīng)網(wǎng)絡(luò)聯(lián)合模型的短語(yǔ)翻譯解碼
        2.5.2 具有基于依賴的神經(jīng)網(wǎng)絡(luò)聯(lián)合模型的層次短語(yǔ)翻譯解碼
    2.6 實(shí)驗(yàn)結(jié)果與分析
        2.6.1 實(shí)驗(yàn)設(shè)置
        2.6.2 評(píng)估源端依賴
        2.6.3 評(píng)估基于依賴的雙語(yǔ)組合序列
        2.6.4 評(píng)估基于依賴的神經(jīng)網(wǎng)絡(luò)聯(lián)合模型
        2.6.5 面向英德翻譯任務(wù)上的實(shí)驗(yàn)結(jié)果
        2.6.6 面向不同長(zhǎng)度句子的翻譯評(píng)估
        2.6.7 翻譯實(shí)例分析
    2.7 本章小結(jié)
第3章 面向神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的局部上下文表示
    3.1 引言
    3.2 相關(guān)工作
        3.2.1 面向機(jī)器翻譯的詞義消歧
        3.2.2 面向機(jī)器翻譯的集外詞翻譯
    3.3 局部上下文表示
        3.3.1 前饋上下文感知模型
        3.3.2 卷積上下文感知模型
    3.4 具有局部上下文表示的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型
        3.4.1 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中的詞匯表示
        3.4.2 局部上下文策略
        3.4.3 翻譯模型
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 實(shí)驗(yàn)設(shè)置
        3.5.2 翻譯結(jié)果
        3.5.3 具有不同數(shù)目集外詞句子的翻譯評(píng)估
        3.5.4 翻譯實(shí)例分析
    3.6 本章小結(jié)
第4章 面向神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的結(jié)構(gòu)化上下文表示
    4.1 引言
    4.2 相關(guān)工作
    4.3 面向神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的注意力機(jī)制
        4.3.1 全局注意力機(jī)制
        4.3.2 局部注意力機(jī)制
    4.4 具有源端依賴上下文表示的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型
        4.4.1 源端依賴上下文單元
        4.4.2 源端依賴上下文表示
        4.4.3 具有源端依賴表示的翻譯模型
    4.5 句法導(dǎo)向的注意力機(jī)制
        4.5.1 句法距離約束
        4.5.2 句法導(dǎo)向注意力機(jī)制
        4.5.3 雙上下文機(jī)制
    4.6 實(shí)驗(yàn)結(jié)果與分析
        4.6.1 實(shí)驗(yàn)設(shè)置
        4.6.2 翻譯結(jié)果
        4.6.3 評(píng)估雙上下文機(jī)制
        4.6.4 面向不同長(zhǎng)度句子的翻譯評(píng)估
    4.7 本章小結(jié)
第5章 面向神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的句子級(jí)上下文表示
    5.1 引言
    5.2 相關(guān)工作
    5.3 句子級(jí)主題上下文表示
        5.3.1 句子表示中的主題信息
        5.3.2 學(xué)習(xí)源端隱含主題表示
    5.4 具有句子級(jí)主題上下文的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型
        5.4.1 基于注意力的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型
        5.4.2 面向隱含主題表示的注意力機(jī)制
        5.4.3 模型訓(xùn)練
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 實(shí)驗(yàn)設(shè)置
        5.5.2 翻譯結(jié)果
        5.5.3 翻譯實(shí)例
        5.5.4 主題注意力對(duì)齊展示
    5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀博士學(xué)位期間發(fā)表的論文
致謝
個(gè)人簡(jiǎn)歷



本文編號(hào)：3890124