答案選擇作保問答系統(tǒng)中的核心任務(wù),能夠有效幫助計(jì)算機(jī)理解自然語言,保以問答系統(tǒng)�；A(chǔ)構(gòu)建的智能應(yīng)用提供支持。目前主流方法通過微調(diào)BERT、RoBERTa等預(yù)訓(xùn)練模型構(gòu)建答案選擇模型。然而,這類方法存在著問答語義信息交互不足、缺乏背景知識(shí)的問題。針對(duì)上述問題,本文進(jìn)行以下研究: (1)針對(duì)當(dāng)前答案選擇模型缺乏問答語義信息交互,微調(diào)下游任務(wù)模型魯棒性低的問題,提出一種融合問題分類與RoBERTa的答案選擇方法。首先,使用ASNQ數(shù)據(jù)集對(duì)模型進(jìn)行遷移學(xué)習(xí),使模型適應(yīng)下游任務(wù),緩解模型微調(diào)下游任務(wù)精度不穩(wěn)定的問題;其次,利用命名實(shí)體識(shí)別工具識(shí)別答案句中的實(shí)體類型并標(biāo)注,隨后對(duì)這些類型與四種答案期望類型(EAT)進(jìn)行映射,并根據(jù)問題的EAT過濾答案句中標(biāo)注的實(shí)體,留下關(guān)鍵實(shí)體與標(biāo)注信息;最后,利用Joint-RoBERTa能夠?qū)Χ鄠�(gè)答案句語義關(guān)聯(lián)信息進(jìn)行建模的特性,對(duì)標(biāo)注后的問答句語義特征進(jìn)行融合,并計(jì)算問答對(duì)的語義相似度。 (2)針對(duì)現(xiàn)有模型缺乏背景知識(shí)、以往方法在知識(shí)提取過程中存在無關(guān)知識(shí)混入以及知識(shí)的特征表示與上下文信息相互隔離的問題,提出一種融合外部知識(shí)與Joint-RoBERTa的答案選...

【文章頁數(shù)】：61 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 問題定義
        1.2.2 基于文本特征提取的方法
        1.2.3 基于預(yù)訓(xùn)練模型微調(diào)的方法
        1.2.4 答案選擇任務(wù)中的知識(shí)增強(qiáng)方法
    1.3 本文主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)技術(shù)與理論
    2.1 問題分類技術(shù)
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.2 注意力機(jī)制
        2.1.3 BERT 與 RoBERTa
        2.1.4 遷移學(xué)習(xí)
        2.1.5 知識(shí)圖譜
    2.2 本章總結(jié)
第三章 融合問題分類與 RoBERTa 的答案選擇方法
    3.1 引言
    3.2 模型整體框架
    3.3 融合問題分類與 RoBERTa 的答案選擇方法
        3.3.1 基于段落的 RoBERTa 答案選擇模型
        3.3.2 保留原語義的EAT實(shí)體標(biāo)注方法
        3.3.3 基于遷移與自適應(yīng)的 Joint-RoBERTa 微調(diào)過程
    3.4 實(shí)驗(yàn)及結(jié)果分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        3.4.2 評(píng)價(jià)指標(biāo)
        3.4.3 實(shí)驗(yàn)設(shè)置
        3.4.4 基線模型
        3.4.5 主實(shí)驗(yàn)
        3.4.6 消融實(shí)驗(yàn)
    3.5 本章小結(jié)
第四章 融合外部知識(shí)與Joint-RoBERTa的答案選擇方法
    4.1 引言
    4.2 模型整體框架
    4.3 融合外部知識(shí)與Joint-RoBERTa的答案選擇模型
        4.3.1 句子表示模塊
        4.3.2 實(shí)體過濾與知識(shí)表示層
        4.3.3 知識(shí)融合模塊
    4.4 實(shí)驗(yàn)及結(jié)果分析
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 評(píng)價(jià)指標(biāo)
        4.4.3 實(shí)驗(yàn)設(shè)置
        4.4.4 基線模型
        4.4.5 主實(shí)驗(yàn)
        4.4.6 消融實(shí)驗(yàn)
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 總結(jié)
    5.2 未來展望
參考文獻(xiàn)



本文編號(hào)：4044235