機(jī)器閱讀理解是自然語言處理領(lǐng)域最為重要的一個(gè)方向,這也催生了一大批用于做機(jī)器閱讀理解任務(wù)的神經(jīng)網(wǎng)絡(luò)模型。盡管如此,多數(shù)模型使用的仍是基于LSTM或是GRU的結(jié)構(gòu),此種結(jié)構(gòu)雖然效果不錯(cuò),但由于RNN的性質(zhì),導(dǎo)致這種結(jié)構(gòu)較為耗時(shí),且多數(shù)模型在注意力機(jī)制的應(yīng)用上是一種粗粒度的,這對(duì)機(jī)器回答問題的結(jié)果會(huì)有一定的影響。因此,文中提出了一個(gè)新的細(xì)粒度的模型結(jié)構(gòu),該結(jié)構(gòu)采用了在速度上能夠與CNN媲美的SRU作為網(wǎng)絡(luò)的主要結(jié)構(gòu),并使用了細(xì)粒度的注意力機(jī)制對(duì)文章及問題的表示進(jìn)行對(duì)齊操作,能夠較好的結(jié)合文章及問題的信息并對(duì)答案進(jìn)行推斷。此外,文中還使用了一個(gè)新的網(wǎng)絡(luò)架構(gòu),稱之為doubled SRU,該結(jié)構(gòu)是一個(gè)兩層的SRU變種,其中第二層的SRU使用了上下文的表征計(jì)算當(dāng)前的隱狀態(tài)。在輸入層之后,文中的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)了多種對(duì)齊結(jié)構(gòu),包括文章問題對(duì)齊層、問題文章對(duì)齊層以及自對(duì)齊層等,這些對(duì)齊結(jié)構(gòu)都是根據(jù)注意力機(jī)制的思想設(shè)計(jì)而成。本文在斯坦福的問答數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),最終在SQuAD 1.1版本的數(shù)據(jù)集上,文中使用的模型結(jié)構(gòu)在交叉驗(yàn)證集上取得了 85.1的F1分?jǐn)?shù),而在后期的升級(jí)版數(shù)據(jù)集SQuAD 2.0上,文... 

【文章頁數(shù)】：49 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 詞嵌入研究現(xiàn)狀
        1.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀
        1.2.3 Attention機(jī)制研究現(xiàn)狀
        1.2.4 機(jī)器閱讀理解研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第2章 相關(guān)理論簡介
    2.1 詞向量及其表示
    2.2 Attention Mechanism
        2.2.1 Encoder-Decoder框架
        2.2.2 Attention機(jī)制
    2.3 Doubled Simple Recurrent Units
    2.4 Pointer Networks
    2.5 本章小結(jié)
第3章 機(jī)器閱讀理解的算法實(shí)現(xiàn)
    3.1 數(shù)據(jù)集介紹及其預(yù)處理
    3.2 模型架構(gòu)
    3.3 模型算法
        3.3.1 Question and Passage Encoding Layer
        3.3.2 Iterative Aligner Layer
        3.3.3 Output Layer
        3.3.4 Loss Function
        3.3.5 Optimizer
    3.4 本章小結(jié)
第4章 實(shí)驗(yàn)與分析
    4.1 實(shí)驗(yàn)環(huán)境
    4.2 實(shí)驗(yàn)數(shù)據(jù)
    4.3 實(shí)驗(yàn)指標(biāo)
    4.4 實(shí)驗(yàn)結(jié)果及其分析
    4.5 本章小結(jié)
第5章 結(jié)論與展望
    5.1 結(jié)論
    5.2 進(jìn)一步工作的方向
致謝
參考文獻(xiàn)



本文編號(hào)：3726319