機(jī)器閱讀理解任務(wù)是自然語言處理領(lǐng)域中的一個重要子任務(wù),同時也是自動問答的一個極其重要的支撐技術(shù)。機(jī)器閱讀理解的復(fù)雜性,使其被視為評價機(jī)器的自然語言理解能力的一個重要方面。隨著網(wǎng)絡(luò)時代迅速發(fā)展,大量的自由文本得以在網(wǎng)絡(luò)上不斷積累,如何利用海量的文本資源進(jìn)行文本閱讀,并能夠完成更為直接的問答,也是一個具有現(xiàn)實應(yīng)用價值的課題。得益于深度學(xué)習(xí)技術(shù)的發(fā)展以及更具挑戰(zhàn)性且貼合實際需求的大型數(shù)據(jù)集的不斷推出,機(jī)器閱讀理解任務(wù)的熱度和挑戰(zhàn)性不斷上升。由于機(jī)器閱讀理解任務(wù)主要解決長篇章的推理回答,而注意力機(jī)制可以提供靈活并有效的信息交互與利用的方式,繼而成為機(jī)器閱讀理解任務(wù)中不可或缺的一個關(guān)鍵技術(shù)模塊。因此,對基于注意力機(jī)制的機(jī)器閱讀理解技術(shù)進(jìn)行研究,具有重要的理論價值和廣闊的應(yīng)用前景。本文以機(jī)器閱讀理解任務(wù)中的基于注意力的神經(jīng)深度模型技術(shù)為主要研究對象,開展了各種注意力機(jī)制在不同模型架構(gòu)中的選擇應(yīng)用、不同層次與粒度的注意力關(guān)注點(diǎn)、以及不同角度的注意力建模等多方面的研究。論文的主要研究工作如下:首先,對基本模型進(jìn)行研究分析與探索。介紹了機(jī)器閱讀理解的任務(wù)背景與定義,引入說明本課題中使用的相關(guān)技術(shù)。然后,...

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景與意義
    1.2 相關(guān)研究歷史與進(jìn)展
    1.3 論文結(jié)構(gòu)安排
第二章 機(jī)器閱讀理解相關(guān)技術(shù)
    2.1 引言
    2.2 機(jī)器閱讀理解任務(wù)介紹
        2.2.1 機(jī)器閱讀理解任務(wù)定義
        2.2.2 機(jī)器閱讀理解任務(wù)類型
        2.2.3 機(jī)器閱讀理解任務(wù)評估方式
    2.3 機(jī)器閱讀理解相關(guān)技術(shù)介紹
        2.3.1 文本詞語表示
        2.3.2 神經(jīng)網(wǎng)絡(luò)模型
        2.3.3 注意力機(jī)制
    2.4 不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的閱讀理解模型與注意力機(jī)制的運(yùn)用
        2.4.1 基于雙向注意力的LSTM模型
        2.4.2 基于自注意力的CNN模型
        2.4.3 實驗結(jié)果與分析
        2.4.4 實驗結(jié)論
    2.5 本章小結(jié)
第三章 基于層次融合注意力機(jī)制的機(jī)器閱讀理解研究
    3.1 引言
    3.2 基于多層次信息注意力的機(jī)器閱讀理解模型
        3.2.1 模型概述
        3.2.2 模型介紹
    3.3 實驗及結(jié)果分析
        3.3.1 實驗數(shù)據(jù)與評價指標(biāo)
        3.3.2 實驗設(shè)置
        3.3.3 模型結(jié)果
        3.3.4 模型消解實驗結(jié)果與分析
        3.3.5 層次信息的融合實驗結(jié)果與分析
        3.3.6 模型樣本結(jié)果分析
        3.3.7 注意力可視化分析
    3.4 本章小結(jié)
第四章 基于位置注意力的機(jī)器閱讀理解模型研究
    4.1 引言
    4.2 基于位置注意力的機(jī)器閱讀理解模型
        4.2.1 模型概述
        4.2.2 模型結(jié)構(gòu)
    4.3 實驗結(jié)果與分析
        4.3.1 數(shù)據(jù)集與實驗參數(shù)
        4.3.2 模型實驗結(jié)果與分析
        4.3.3 不同位置信息引入方法的對比
        4.3.4 模型核函數(shù)分析
        4.3.5 位置信息的實驗與分析
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 研究工作總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的學(xué)術(shù)成果



本文編號：3740196