發(fā)布時間：2024-01-30 05:36

　　隨著互聯(lián)網(wǎng)技術和人工智能技術的不斷發(fā)展,自然語言處理技術的發(fā)展也步入了快車道。文本匹配技術可廣泛應用于智能問答、信息檢索、問題復述等多項自然語言處理任務中。但傳統(tǒng)的文本匹配語言適應性不強,對新語言進行數(shù)據(jù)標注的成本很高。本文使用遷移學習思想解決這一問題,在數(shù)據(jù)較多的語言上訓練文本匹配模型輔助數(shù)據(jù)較少的語言進行學習,從而降低學習成本。本文對跨語言文本匹配問題進行了分析,將問題拆分為跨語言文本特征映射和文本匹配兩個子問題,結(jié)合深度學習的模塊化設計特點在設計模型時綜合考慮這兩個問題,提出了一種基于深度學習的跨語言文本匹配模型。本文首先對文本特征映射問題進行了研究,不同語言的語法結(jié)構和表述規(guī)律雖有不同,但其語義空間往往存在相似性。本文利用不同語言的高維特征空間可以線性映射這種關系,先對不同語言使用Transformer獨立訓練語言模型,然后使用監(jiān)督式GAN學習不同語言的高維空間映射關系。為提高語言模型健壯性,在訓練語言模型時設計引入了數(shù)據(jù)噪聲并在生成編碼時使用保留詞向量及句向量。在跨語言向量映射時只使用少量平行數(shù)據(jù)訓練生成對抗網(wǎng)絡,降低了數(shù)據(jù)獲取成本。本文對文本匹配問題進行了研究,在設計文本匹...

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 研究背景及研究意義
    1.2 本文要解決的問題
    1.3 本文的主要工作及研究特點
    1.4 本文組織結(jié)構
第二章 相關研究概述
    2.1 文本匹配技術概述
    2.2 遷移學習與預訓練語言模型技術概述
        2.2.1 遷移學習技術概述
        2.2.2 預訓練語言模型技術概述
    2.3 機器翻譯技術概述
    2.4 本章小結(jié)
第三章 跨語言文本特征映射模型
    3.1 跨語言文本特征映射模型概述
    3.2 Transformer預訓練語言模型
        3.2.1 編碼器及解碼器結(jié)構
        3.2.2 注意力機制
        3.2.3 位置敏感的前饋神經(jīng)網(wǎng)絡及位置編碼
        3.2.4 數(shù)據(jù)噪聲模型
        3.2.5 文本特征編碼
    3.3 監(jiān)督式GAN文本特征遷移模型
    3.4 跨語言文本特征映射模型實驗結(jié)果
        3.4.1 文本數(shù)據(jù)通用預處理方法
        3.4.2 Transformer預訓練語言模型數(shù)據(jù)集介紹
        3.4.3 Transformer預訓練語言模型實驗結(jié)果
        3.4.4 跨語言文本特征映射模型數(shù)據(jù)集介紹
        3.4.5 跨語言文本特征映射模型實驗結(jié)果
    3.5 本章小結(jié)
第四章 跨語言文本匹配模型
    4.1 跨語言文本匹配模型概述
    4.2 SACNN文本匹配模型
        4.2.1 多頭自注意力匹配模塊
        4.2.2 卷積特征匹配模塊
        4.2.3 融合輸出模塊
    4.3 模型測試實驗流程
    4.4 實驗結(jié)果分析
        4.4.1 實驗數(shù)據(jù)簡介
        4.4.2 文本匹配模型實驗結(jié)果
        4.4.3 跨語言文本匹配模型實驗結(jié)果
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻
作者攻讀學位期間完成的科研成果
致謝



本文編號：3889604