發(fā)布時間：2022-09-28 21:13

　　隨著人工智能理論和技術(shù)的飛速發(fā)展,機器閱讀理解成為學術(shù)界和工業(yè)界研究的熱點之一。機器閱讀理解,是由計算機自動根據(jù)給定的文本來回答用戶所提出的問題。機器閱讀理解不僅能提升問答系統(tǒng)的準確度和豐富度,而且還可以作為衡量機器是否能理解人類語言的標準之一。機器在進行閱讀理解時需要具備兩個方面的能力:1)盡可能回答有答案的問題,2)盡可能識別無答案的問題。盡管機器閱讀理解在近幾年取得了突破性的進展,但是仍然存在一些不足,例如:1)當前方法側(cè)重于提升通用預(yù)訓練語言模型的表示能力,并沒有針對機器閱讀理解的特點進行優(yōu)化,導致其回答問題的能力有所欠缺;2)當前方法假設(shè)給定文本中一定存在答案,無法有效地識別無答案的問題。針對以上兩點不足,本文提出基于聯(lián)合注意力機制的機器閱讀理解模型來提升回答問題的能力,以及基于推理和驗證的機器閱讀理解模型來提升識別無答案問題的能力。本文主要工作如下:（1）本文提出了一個基于聯(lián)合注意力機制的機器閱讀理解模型（JointAtt-MRC）,在預(yù)訓練語言模型的網(wǎng)絡(luò)結(jié)構(gòu)后面添加信息交互層來加強模型對文本的表示能力,提高模型在機器閱讀理解上的表現(xiàn)。該模型不僅通過雙向長短期記憶網(wǎng)絡(luò)緩解預(yù)... 

【文章頁數(shù)】：69 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文的研究內(nèi)容
        1.3.1 基于聯(lián)合注意力機制的機器閱讀理解模型
        1.3.2 基于推理和驗證的機器閱讀理解模型
        1.3.3 開放域中文機器閱讀理解系統(tǒng)
    1.4 本文組織結(jié)構(gòu)
第二章 相關(guān)理論與技術(shù)
    2.1 機器閱讀理解簡介
    2.2 常見文本表示方法
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.2.3 Transformer網(wǎng)絡(luò)
    2.3 預(yù)訓練語言模型
        2.3.1 自回歸語言模型
        2.3.2 自編碼語言模型
    2.4 機器閱讀理解模型
        2.4.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的機器閱讀理解模型
        2.4.2 基于預(yù)訓練語言模型的機器閱讀理解模型
    2.5 自然語言推理模型
        2.5.1 基于深度學習的自然語言推理模型
        2.5.2 緩解數(shù)據(jù)類別不均衡的損失函數(shù)
    2.6 本章小結(jié)
第三章 基于聯(lián)合注意力機制的機器閱讀理解模型
    3.1 引言
    3.2 問題描述
    3.3 數(shù)據(jù)集構(gòu)建
        3.3.1 現(xiàn)有中文機器閱讀理解數(shù)據(jù)集分析
        3.3.2 英文數(shù)據(jù)集翻譯
        3.3.3 答案起始標簽重對齊
        3.3.4 數(shù)據(jù)集標注系統(tǒng)
    3.4 模型設(shè)計
        3.4.1 模型結(jié)構(gòu)
        3.4.2 基于聯(lián)合注意力機制的編碼器
        3.4.3 基于聯(lián)合概率的答案抽取器
        3.4.4 目標函數(shù)
    3.5 實驗環(huán)境
        3.5.1 數(shù)據(jù)準備
        3.5.2 參數(shù)設(shè)置
        3.5.3 實驗設(shè)置
    3.6 實驗結(jié)果與分析
        3.6.1 最大序列長度對實驗結(jié)果的影響分析
        3.6.2 最大答案長度對實驗結(jié)果的影響分析
        3.6.3 多任務(wù)學習對實驗結(jié)果的影響分析
        3.6.4 不同網(wǎng)絡(luò)層添加對實驗結(jié)果的影響分析
        3.6.5 Chinese-SQuAD數(shù)據(jù)集的魯棒性實驗分析
    3.7 本章小結(jié)
第四章 基于推理和驗證的機器閱讀理解模型
    4.1 引言
    4.2 問題描述
    4.3 模型設(shè)計
        4.3.1 模型結(jié)構(gòu)
        4.3.2 前置推理器
        4.3.3 后置驗證器
        4.3.4 分類損失函數(shù)
        4.3.5 目標函數(shù)
    4.4 實驗環(huán)境
        4.4.1 數(shù)據(jù)準備
        4.4.2 參數(shù)設(shè)置
        4.4.3 實驗設(shè)置
    4.5 實驗結(jié)果與分析
        4.5.1 前置推理器和后置驗證器實驗結(jié)果分析
        4.5.2 Focal Loss對后置驗證器實驗結(jié)果的影響分析
        4.5.3 前置推理器對機器閱讀理解實驗結(jié)果的影響分析
        4.5.4 后置驗證器對機器閱讀理解實驗結(jié)果的影響分析
    4.6 本章小結(jié)
第五章 開放域中文機器閱讀理解系統(tǒng)
    5.1 引言
    5.2 開放域機器閱讀理解系統(tǒng)流程設(shè)計
    5.3 系統(tǒng)模塊設(shè)計與實現(xiàn)
        5.3.1 檢索模塊
        5.3.2 段落排序與抽取模塊
        5.3.3 答案抽取模塊
        5.3.4 后臺模塊
        5.3.5 前臺模塊
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻
研究成果及參與的科研項目
致謝


【參考文獻】：
期刊論文
[1]基于深度學習的機器閱讀理解綜述[J]. 李舟軍,王昌寶.  計算機科學. 2019(07)
[2]基于自注意力機制的閱讀理解模型[J]. 張浩宇,張鵬飛,李真真,譚慶平.  中文信息學報. 2018(12)

碩士論文
[1]基于多粒度和注意力機制的機器閱讀理解[D]. 何啟濤.廣東工業(yè)大學 2019
[2]基于改進自注意力的機器閱讀理解系統(tǒng)設(shè)計與實現(xiàn)[D]. 姚瀾.華中科技大學 2019
[3]基于深度學習的機器閱讀理解算法研究[D]. 葛學志.電子科技大學 2019
[4]機器閱讀理解模型中的關(guān)鍵問題研究[D]. 李亞慧.哈爾濱工業(yè)大學 2018
[5]中文閱讀理解選擇題求解技術(shù)研究[D]. 陳夏飛.山西大學 2018
[6]基于文本蘊含識別的答案驗證技術(shù)研究[D]. 趙得志.哈爾濱工業(yè)大學 2018
[7]融合多重語義對齊表示的機器閱讀理解研究[D]. 季靜.南京師范大學 2018



本文編號：3682396