機器閱讀理解是自然語言處理領域最為重要的一個方向,這也催生了一大批用于做機器閱讀理解任務的神經(jīng)網(wǎng)絡模型。盡管如此,多數(shù)模型使用的仍是基于LSTM或是GRU的結構,此種結構雖然效果不錯,但由于RNN的性質,導致這種結構較為耗時,且多數(shù)模型在注意力機制的應用上是一種粗粒度的,這對機器回答問題的結果會有一定的影響。因此,文中提出了一個新的細粒度的模型結構,該結構采用了在速度上能夠與CNN媲美的SRU作為網(wǎng)絡的主要結構,并使用了細粒度的注意力機制對文章及問題的表示進行對齊操作,能夠較好的結合文章及問題的信息并對答案進行推斷。此外,文中還使用了一個新的網(wǎng)絡架構,稱之為doubled SRU,該結構是一個兩層的SRU變種,其中第二層的SRU使用了上下文的表征計算當前的隱狀態(tài)。在輸入層之后,文中的網(wǎng)絡結構設計了多種對齊結構,包括文章問題對齊層、問題文章對齊層以及自對齊層等,這些對齊結構都是根據(jù)注意力機制的思想設計而成。本文在斯坦福的問答數(shù)據(jù)集上進行了實驗,最終在SQuAD 1.1版本的數(shù)據(jù)集上,文中使用的模型結構在交叉驗證集上取得了 85.1的F1分數(shù),而在后期的升級版數(shù)據(jù)集SQuAD 2.0上,文... 

【文章頁數(shù)】：49 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景和意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 詞嵌入研究現(xiàn)狀
        1.2.2 循環(huán)神經(jīng)網(wǎng)絡研究現(xiàn)狀
        1.2.3 Attention機制研究現(xiàn)狀
        1.2.4 機器閱讀理解研究現(xiàn)狀
    1.3 本文主要研究內容
    1.4 本文組織結構
第2章 相關理論簡介
    2.1 詞向量及其表示
    2.2 Attention Mechanism
        2.2.1 Encoder-Decoder框架
        2.2.2 Attention機制
    2.3 Doubled Simple Recurrent Units
    2.4 Pointer Networks
    2.5 本章小結
第3章 機器閱讀理解的算法實現(xiàn)
    3.1 數(shù)據(jù)集介紹及其預處理
    3.2 模型架構
    3.3 模型算法
        3.3.1 Question and Passage Encoding Layer
        3.3.2 Iterative Aligner Layer
        3.3.3 Output Layer
        3.3.4 Loss Function
        3.3.5 Optimizer
    3.4 本章小結
第4章 實驗與分析
    4.1 實驗環(huán)境
    4.2 實驗數(shù)據(jù)
    4.3 實驗指標
    4.4 實驗結果及其分析
    4.5 本章小結
第5章 結論與展望
    5.1 結論
    5.2 進一步工作的方向
致謝
參考文獻



本文編號：3726319