在Transformer模型的基礎上,該文從數(shù)據(jù)泛化、多樣化解碼策略和后處理方法3個方面進行改進.多種數(shù)據(jù)泛化策略融合方法對不同種類的稀疏詞語進行識別、泛化和翻譯,減少錯譯現(xiàn)象.利用檢查點平均和模型集成等多樣化解碼策略進一步提升翻譯效果.在CCMT 2019中英新聞領域翻譯任務上的實驗結果顯示,改進后的方法在基線系統(tǒng)上的BLEU-SBP值提升了約1.85%.

【文章頁數(shù)】：7 頁

【文章目錄】：
0 引言
1 Transformer模型
    1.1 基本模型結構
    1.2 注意力機制
        1.2.1 縮放點積注意力
        1.2.2 多頭注意力
    1.3 位置編碼
2 語料處理
    2.1 語料預處理
    2.2 分詞與BPE子詞處理
    2.3 語料泛化處理
        2.3.1 人名處理
        2.3.2 時間表達式
        2.3.3 數(shù)字表達
        2.3.4 網(wǎng)址及特殊表達
3 解碼策略
    3.1 檢查點平均
    3.2 模型集成
4 后處理
    4.1 泛化部分翻譯和恢復
    4.2 大小寫轉換方法
5 實驗結果
    5.1 實驗參數(shù)
    5.2 實驗結果及分析
        5.2.1 基本實驗結果分析
        5.2.2 beam size和長度懲罰分析
6 總結



本文編號：3909800