機器閱讀理解作為自然語言處理問答方向的一個新的研究領域,已經(jīng)成為學術(shù)界和產(chǎn)業(yè)界的關(guān)注熱點。它的研究目標是讓機器能夠閱讀并且正確的理解自然語言文本,然后回答給定的問題。機器閱讀理解任務的研究具有重要的意義和價值:一方面,閱讀理解任務可以用來評估計算機理解自然語言的程度,閱讀理解能夠促進自然語言理解技術(shù)的發(fā)展;另一方面,機器閱讀理解是未來問答系統(tǒng)發(fā)展所需的關(guān)鍵技術(shù)之一。得益于計算機計算能力和存儲能力的顯著提高,以及深度學習方法本身所具有的強大的文本特征提取能力,基于端到端的機器閱讀理解模型研究近年來取得了巨大的進步。機器閱讀理解任務需要充分理解文本和問題的語義信息,通常采用分層的網(wǎng)絡模型架構(gòu),從而在不同的文本特征層面提取信息。機器閱讀理解模型架構(gòu)通常由表示層、編碼層、交互層、輸出層組成,而表示層和交互層是模型最重要的組成部分。本文對現(xiàn)有的機器閱讀理解模型的表示層和交互層進行改進,以提高模型的準確率和訓練效率。主要研究工作如下:（1）研究并復現(xiàn)了機器閱讀理解任務上具有代表性的R-NET模型,將其作為后續(xù)改進模型的基準。實驗結(jié)果表明,本文復現(xiàn)的模型能達到論文中的模型效果。（2）在模型的表示層,... 

【文章來源】：電子科技大學四川省211工程院校985工程院校教育部直屬院校

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 傳統(tǒng)的方法
        1.2.2 基于深度學習的方法
    1.3 本文的研究內(nèi)容與創(chuàng)新點
    1.4 本文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 深度學習與機器閱讀理解相關(guān)理論
    2.1 神經(jīng)網(wǎng)絡基礎知識
        2.1.1 人工神經(jīng)網(wǎng)絡
        2.1.2 卷積神經(jīng)網(wǎng)絡
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡
    2.2 語言模型與詞向量
        2.2.1 神經(jīng)網(wǎng)絡語言模型
        2.2.2 基于分布式假設的詞嵌入學習
    2.3 機器閱讀理解模型通用架構(gòu)
    2.4 其他網(wǎng)絡變體
    2.5 本章小結(jié)
第三章 基于詞向量融合的閱讀理解算法研究
    3.1 基線R-Net模型介紹
    3.2 詞向量表示與上下文編碼的改進方法
        3.2.1 預訓練的語言模型
        3.2.2 FastText詞向量
        3.2.3 改進后的表示層結(jié)構(gòu)
    3.3 本章小結(jié)
第四章 基于注意力機制和聚合機制的閱讀理解算法研究
    4.1 注意力機制
        4.1.1 雙向注意力模型
        4.1.2 自注意力模型
    4.2 聚合機制
    4.3 基于注意力與聚合機制的融合方法
    4.4 改進后的模型架構(gòu)
    4.5 本章小結(jié)
第五章 實驗結(jié)果及分析
    5.1 實驗數(shù)據(jù)集與評價指標
        5.1.1 數(shù)據(jù)集
        5.1.2 評價指標
    5.2 實驗設置
        5.2.1 數(shù)據(jù)預處理
        5.2.2 實驗硬件環(huán)境
        5.2.3 參數(shù)設置
        5.2.4 模型優(yōu)化
        5.2.5 防止過擬合
    5.3 實驗結(jié)果及分析
        5.3.1 基于詞向量融合的實驗結(jié)果與分析
        5.3.2 基于注意力機制與聚合機制的實驗結(jié)果與分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 未來展望
致謝
參考文獻
攻讀碩士期間的研究成果



本文編號：3631883