發(fā)布時間：2024-01-30 05:36

　　隨著互聯(lián)網(wǎng)技術(shù)和人工智能技術(shù)的不斷發(fā)展,自然語言處理技術(shù)的發(fā)展也步入了快車道。文本匹配技術(shù)可廣泛應(yīng)用于智能問答、信息檢索、問題復(fù)述等多項自然語言處理任務(wù)中。但傳統(tǒng)的文本匹配語言適應(yīng)性不強,對新語言進行數(shù)據(jù)標注的成本很高。本文使用遷移學(xué)習(xí)思想解決這一問題,在數(shù)據(jù)較多的語言上訓(xùn)練文本匹配模型輔助數(shù)據(jù)較少的語言進行學(xué)習(xí),從而降低學(xué)習(xí)成本。本文對跨語言文本匹配問題進行了分析,將問題拆分為跨語言文本特征映射和文本匹配兩個子問題,結(jié)合深度學(xué)習(xí)的模塊化設(shè)計特點在設(shè)計模型時綜合考慮這兩個問題,提出了一種基于深度學(xué)習(xí)的跨語言文本匹配模型。本文首先對文本特征映射問題進行了研究,不同語言的語法結(jié)構(gòu)和表述規(guī)律雖有不同,但其語義空間往往存在相似性。本文利用不同語言的高維特征空間可以線性映射這種關(guān)系,先對不同語言使用Transformer獨立訓(xùn)練語言模型,然后使用監(jiān)督式GAN學(xué)習(xí)不同語言的高維空間映射關(guān)系。為提高語言模型健壯性,在訓(xùn)練語言模型時設(shè)計引入了數(shù)據(jù)噪聲并在生成編碼時使用保留詞向量及句向量。在跨語言向量映射時只使用少量平行數(shù)據(jù)訓(xùn)練生成對抗網(wǎng)絡(luò),降低了數(shù)據(jù)獲取成本。本文對文本匹配問題進行了研究,在設(shè)計文本匹...

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 引言
    1.1 研究背景及研究意義
    1.2 本文要解決的問題
    1.3 本文的主要工作及研究特點
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)研究概述
    2.1 文本匹配技術(shù)概述
    2.2 遷移學(xué)習(xí)與預(yù)訓(xùn)練語言模型技術(shù)概述
        2.2.1 遷移學(xué)習(xí)技術(shù)概述
        2.2.2 預(yù)訓(xùn)練語言模型技術(shù)概述
    2.3 機器翻譯技術(shù)概述
    2.4 本章小結(jié)
第三章 跨語言文本特征映射模型
    3.1 跨語言文本特征映射模型概述
    3.2 Transformer預(yù)訓(xùn)練語言模型
        3.2.1 編碼器及解碼器結(jié)構(gòu)
        3.2.2 注意力機制
        3.2.3 位置敏感的前饋神經(jīng)網(wǎng)絡(luò)及位置編碼
        3.2.4 數(shù)據(jù)噪聲模型
        3.2.5 文本特征編碼
    3.3 監(jiān)督式GAN文本特征遷移模型
    3.4 跨語言文本特征映射模型實驗結(jié)果
        3.4.1 文本數(shù)據(jù)通用預(yù)處理方法
        3.4.2 Transformer預(yù)訓(xùn)練語言模型數(shù)據(jù)集介紹
        3.4.3 Transformer預(yù)訓(xùn)練語言模型實驗結(jié)果
        3.4.4 跨語言文本特征映射模型數(shù)據(jù)集介紹
        3.4.5 跨語言文本特征映射模型實驗結(jié)果
    3.5 本章小結(jié)
第四章 跨語言文本匹配模型
    4.1 跨語言文本匹配模型概述
    4.2 SACNN文本匹配模型
        4.2.1 多頭自注意力匹配模塊
        4.2.2 卷積特征匹配模塊
        4.2.3 融合輸出模塊
    4.3 模型測試實驗流程
    4.4 實驗結(jié)果分析
        4.4.1 實驗數(shù)據(jù)簡介
        4.4.2 文本匹配模型實驗結(jié)果
        4.4.3 跨語言文本匹配模型實驗結(jié)果
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻
作者攻讀學(xué)位期間完成的科研成果
致謝



本文編號：3889604