機(jī)器閱讀理解作為自然語言處理問答方向的一個新的研究領(lǐng)域,已經(jīng)成為學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注熱點(diǎn)。它的研究目標(biāo)是讓機(jī)器能夠閱讀并且正確的理解自然語言文本,然后回答給定的問題。機(jī)器閱讀理解任務(wù)的研究具有重要的意義和價值:一方面,閱讀理解任務(wù)可以用來評估計算機(jī)理解自然語言的程度,閱讀理解能夠促進(jìn)自然語言理解技術(shù)的發(fā)展;另一方面,機(jī)器閱讀理解是未來問答系統(tǒng)發(fā)展所需的關(guān)鍵技術(shù)之一。得益于計算機(jī)計算能力和存儲能力的顯著提高,以及深度學(xué)習(xí)方法本身所具有的強(qiáng)大的文本特征提取能力,基于端到端的機(jī)器閱讀理解模型研究近年來取得了巨大的進(jìn)步。機(jī)器閱讀理解任務(wù)需要充分理解文本和問題的語義信息,通常采用分層的網(wǎng)絡(luò)模型架構(gòu),從而在不同的文本特征層面提取信息。機(jī)器閱讀理解模型架構(gòu)通常由表示層、編碼層、交互層、輸出層組成,而表示層和交互層是模型最重要的組成部分。本文對現(xiàn)有的機(jī)器閱讀理解模型的表示層和交互層進(jìn)行改進(jìn),以提高模型的準(zhǔn)確率和訓(xùn)練效率。主要研究工作如下:（1）研究并復(fù)現(xiàn)了機(jī)器閱讀理解任務(wù)上具有代表性的R-NET模型,將其作為后續(xù)改進(jìn)模型的基準(zhǔn)。實(shí)驗(yàn)結(jié)果表明,本文復(fù)現(xiàn)的模型能達(dá)到論文中的模型效果。（2）在模型的表示層,... 

【文章來源】：電子科技大學(xué)四川省211工程院校985工程院校教育部直屬院校

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題背景及意義
    1.2 研究現(xiàn)狀
        1.2.1 傳統(tǒng)的方法
        1.2.2 基于深度學(xué)習(xí)的方法
    1.3 本文的研究內(nèi)容與創(chuàng)新點(diǎn)
    1.4 本文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 深度學(xué)習(xí)與機(jī)器閱讀理解相關(guān)理論
    2.1 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識
        2.1.1 人工神經(jīng)網(wǎng)絡(luò)
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.2 語言模型與詞向量
        2.2.1 神經(jīng)網(wǎng)絡(luò)語言模型
        2.2.2 基于分布式假設(shè)的詞嵌入學(xué)習(xí)
    2.3 機(jī)器閱讀理解模型通用架構(gòu)
    2.4 其他網(wǎng)絡(luò)變體
    2.5 本章小結(jié)
第三章 基于詞向量融合的閱讀理解算法研究
    3.1 基線R-Net模型介紹
    3.2 詞向量表示與上下文編碼的改進(jìn)方法
        3.2.1 預(yù)訓(xùn)練的語言模型
        3.2.2 FastText詞向量
        3.2.3 改進(jìn)后的表示層結(jié)構(gòu)
    3.3 本章小結(jié)
第四章 基于注意力機(jī)制和聚合機(jī)制的閱讀理解算法研究
    4.1 注意力機(jī)制
        4.1.1 雙向注意力模型
        4.1.2 自注意力模型
    4.2 聚合機(jī)制
    4.3 基于注意力與聚合機(jī)制的融合方法
    4.4 改進(jìn)后的模型架構(gòu)
    4.5 本章小結(jié)
第五章 實(shí)驗(yàn)結(jié)果及分析
    5.1 實(shí)驗(yàn)數(shù)據(jù)集與評價指標(biāo)
        5.1.1 數(shù)據(jù)集
        5.1.2 評價指標(biāo)
    5.2 實(shí)驗(yàn)設(shè)置
        5.2.1 數(shù)據(jù)預(yù)處理
        5.2.2 實(shí)驗(yàn)硬件環(huán)境
        5.2.3 參數(shù)設(shè)置
        5.2.4 模型優(yōu)化
        5.2.5 防止過擬合
    5.3 實(shí)驗(yàn)結(jié)果及分析
        5.3.1 基于詞向量融合的實(shí)驗(yàn)結(jié)果與分析
        5.3.2 基于注意力機(jī)制與聚合機(jī)制的實(shí)驗(yàn)結(jié)果與分析
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 未來展望
致謝
參考文獻(xiàn)
攻讀碩士期間的研究成果



本文編號：3631883