短文本是相對文檔和長文本而言,長度比較短的文本。根據(jù)粒度大小不同,短文本又可以劃分為詞語、句子或段落。隨著網(wǎng)絡(luò)的遍及,用戶可以方便的在互聯(lián)網(wǎng)和移動終端進(jìn)行提問、表達(dá)觀點(diǎn)和進(jìn)行評論,產(chǎn)生了大量的文本信息,這些信息主要是以短文本的形式進(jìn)行存在。然而,由于短文本表述方式的多樣性,詞語和句法結(jié)構(gòu)的不規(guī)范等問題,采用傳統(tǒng)的算法進(jìn)行處理經(jīng)常會存在特征向量表示稀疏、歧義和語義缺失等問題,不能很好的完成與短文本語義理解相關(guān)的任務(wù)。針對上述存在的不足,本文進(jìn)行了基于深度學(xué)習(xí)的短文本語義理解研究。主要利用深度學(xué)習(xí)的技術(shù)及相關(guān)算法,對基于語義理解的語義匹配和閱讀理解任務(wù)進(jìn)行研究。主要貢獻(xiàn)及創(chuàng)新如下:1、設(shè)計(jì)了一種新的基于雙層注意力機(jī)制的語義匹配模型。首先,在詞表示層上采用基于注意力機(jī)制的預(yù)處理來過濾冗余的信息;其次,在上下文表示層上采用雙向多角度注意力機(jī)制,從而獲得更多的交互信息;最后,將得到的交互信息分別通過雙向長短時(shí)記憶網(wǎng)絡(luò),合并兩個(gè)序列輸出的最后時(shí)間步長,并進(jìn)行輸出預(yù)測。實(shí)驗(yàn)結(jié)果表明,本文提出的模型在實(shí)驗(yàn)數(shù)據(jù)集上的準(zhǔn)確性均優(yōu)于現(xiàn)有的先進(jìn)基準(zhǔn)模型。2、提出一種基于全局和局部注意力交互機(jī)制的語義理解模型。... 

【文章來源】：桂林電子科技大學(xué)廣西壯族自治區(qū)

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    §1.1研究背景及意義
    §1.2國內(nèi)外研究現(xiàn)狀與問題
        §1.2.1研究現(xiàn)狀
        §1.2.2存在的問題
    §1.3本文研究內(nèi)容
    §1.4論文的結(jié)構(gòu)安排
    §1.5本章小結(jié)
第二章 一種基于雙層注意力機(jī)制的語義匹配模型
    §2.1相關(guān)工作基礎(chǔ)
        §2.1.1長短時(shí)記憶網(wǎng)絡(luò)
        §2.1.2注意力機(jī)制
    §2.2相關(guān)研究工作
    §2.3基于雙層注意力機(jī)制的語義匹配模型
        §2.3.1雙層注意力機(jī)制模型結(jié)構(gòu)
        §2.3.2注意力機(jī)制的矩陣化表示
        §2.3.3改進(jìn)的雙向多角度注意力匹配
    §2.4實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置
        §2.4.1實(shí)驗(yàn)數(shù)據(jù)
        §2.4.2實(shí)驗(yàn)參數(shù)設(shè)置
    §2.5實(shí)驗(yàn)結(jié)果與分析
        §2.5.1基于雙層注意力機(jī)制的模型對比實(shí)驗(yàn)及分析
        §2.5.2雙層注意力機(jī)制模型擴(kuò)展實(shí)驗(yàn)及分析
    §2.6本章小結(jié)
第三章 基于全局和局部注意力交互機(jī)制的語義理解模型
    §3.1相關(guān)工作基礎(chǔ)
        §3.1.1門遞歸神經(jīng)網(wǎng)絡(luò)
    §3.2相關(guān)研究工作
    §3.3全局和局部注意力交互機(jī)制的語義理解模型
        §3.3.1全局和局部交互特征提取模型結(jié)構(gòu)
        §3.3.2全局和局部注意力交互的特征提取方法
        §3.3.3特征融合
    §3.4實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置
        §3.4.1實(shí)驗(yàn)數(shù)據(jù)
        §3.4.2實(shí)驗(yàn)參數(shù)設(shè)置
    §3.5實(shí)驗(yàn)結(jié)果及分析
        §3.5.1模型結(jié)果對比實(shí)驗(yàn)
    §3.6本章小結(jié)
第四章 基于深度可分離卷積殘差塊的閱讀理解模型
    §4.1相關(guān)工作基礎(chǔ)
        §4.1.1卷積神經(jīng)網(wǎng)絡(luò)
        §4.1.2深度可分離卷積
        §4.1.3殘差網(wǎng)絡(luò)
    §4.2相關(guān)研究工作
    §4.3深度可分離卷積殘差塊閱讀理解模型
        §4.3.1深度可分離卷積殘差塊的設(shè)計(jì)
        §4.3.2深度可分離卷積殘差塊閱讀理解模型設(shè)計(jì)
    §4.4實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置
    §4.5實(shí)驗(yàn)結(jié)果及分析
    §4.6本章小結(jié)
第五章 總結(jié)與展望
    §5.1本文總結(jié)
    §5.2后續(xù)及展望
參考文獻(xiàn)
致謝
作者在攻讀碩士期間主要研究成果



本文編號：2982364