讓計(jì)算機(jī)真正理解人類的語言,一直是自然語言處理領(lǐng)域的終極目標(biāo)。機(jī)器閱讀理解任務(wù)則正是評(píng)價(jià)計(jì)算機(jī)對(duì)于人類語言理解能力的一個(gè)重要方法。近年來,隨著預(yù)訓(xùn)練語言模型技術(shù)的問世,計(jì)算機(jī)對(duì)于語言的理解能力獲得了進(jìn)一步提升,這也使得許多自然語言處理任務(wù)榜單上的成績被大幅度的提高。原本難度較高的機(jī)器閱讀理解任務(wù)也不例外,在部分?jǐn)?shù)據(jù)集中,一些模型的性能甚至超過了人工的準(zhǔn)確率。這一現(xiàn)象引來了許多學(xué)者的思考,機(jī)器閱讀理解這一難題是否已被攻克?答案顯然是否定的。學(xué)者們經(jīng)過研究發(fā)現(xiàn),有些閱讀理解數(shù)據(jù)集的難度較低,因此模型僅通過淺層次的詞匯相似度和答案類型這些信息,就可以從原文中篩選出大多數(shù)問題的正確答案。本文主要討論更高難度的對(duì)抗性閱讀理解任務(wù),即通過在文章中增加具有誤導(dǎo)性的干擾句,生成具有對(duì)抗性的閱讀理解數(shù)據(jù)集,以此來更加全面地評(píng)價(jià)閱讀理解模型對(duì)于文本的理解程度。另外,本文還提出了基于結(jié)點(diǎn)匹配的閱讀理解模型來應(yīng)對(duì)這種高難度的任務(wù)。本文的主要研究內(nèi)容有以下三點(diǎn):(1)基于Transformer的閱讀理解對(duì)抗數(shù)據(jù)生成。針對(duì)現(xiàn)有閱讀理解數(shù)據(jù)集難度低、答案容易找到的特點(diǎn),提出了基于Transformer結(jié)構(gòu)的干擾句生...

【文章頁數(shù)】：63 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景及研究意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 早期的機(jī)器閱讀理解
        1.2.2 機(jī)器閱讀理解研究現(xiàn)狀
        1.2.3 對(duì)抗機(jī)器閱讀理解研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容
    1.4 本文結(jié)構(gòu)安排
第2章 基于Transformer的閱讀理解對(duì)抗數(shù)據(jù)生成
    2.1 引言
    2.2 實(shí)驗(yàn)數(shù)據(jù)集
    2.3 現(xiàn)有的對(duì)抗性閱讀理解數(shù)據(jù)集介紹
        2.3.1 基于文章擴(kuò)充的方法簡要介紹
        2.3.2 基于問句仿寫的方法改進(jìn)介紹
    2.4 基于Transformer結(jié)構(gòu)的對(duì)抗閱讀理解數(shù)據(jù)生成方法
        2.4.1 相關(guān)技術(shù)介紹
        2.4.2 模型整體結(jié)構(gòu)
    2.5 實(shí)驗(yàn)結(jié)果與分析
        2.5.1 問句改寫和虛假答案生成的實(shí)驗(yàn)結(jié)果
        2.5.2 基于Transformer結(jié)構(gòu)的干擾句生成實(shí)驗(yàn)結(jié)果
    2.6 本章小結(jié)
第3章 基于語義角色的文章-問題對(duì)表示方法
    3.1 引言
    3.2 相關(guān)技術(shù)簡要介紹
        3.2.1 語義角色標(biāo)注簡要介紹
        3.2.2 指代消解簡要介紹
    3.3 基于語義角色標(biāo)注的文章-問題對(duì)表示結(jié)構(gòu)
        3.3.1 算法設(shè)計(jì)
        3.3.2 模型實(shí)現(xiàn)
    3.4 實(shí)驗(yàn)設(shè)置與結(jié)果分析
        3.4.1 基于雙向長短時(shí)記憶網(wǎng)絡(luò)的謂詞識(shí)別模塊的實(shí)驗(yàn)結(jié)果
        3.4.2 基于BERT模型的論元識(shí)別及分類模塊的實(shí)驗(yàn)結(jié)果
        3.4.3 基于語義角色的文章-問題對(duì)表示實(shí)驗(yàn)結(jié)果
    3.5 本章小結(jié)
第4章 基于結(jié)點(diǎn)匹配的閱讀理解方法
    4.1 引言
    4.2 啟發(fā)式的訓(xùn)練數(shù)據(jù)結(jié)點(diǎn)配對(duì)方法
    4.3 基于學(xué)習(xí)的測(cè)試數(shù)據(jù)結(jié)點(diǎn)匹配方法
        4.3.1 測(cè)試過程中的結(jié)點(diǎn)匹配算法設(shè)計(jì)
        4.3.2 beam search窗口大小的設(shè)置
        4.3.3 結(jié)點(diǎn)匹配步長限制的設(shè)置
        4.3.4 結(jié)點(diǎn)向量表示生成方法
        4.3.5 結(jié)點(diǎn)對(duì)匹配度計(jì)算方法
        4.3.6 方案整體匹配度計(jì)算方法
    4.4 答案提取模塊
    4.5 實(shí)驗(yàn)設(shè)置與結(jié)果分析
        4.5.1 參數(shù)設(shè)置和匹配度算法選擇對(duì)比實(shí)驗(yàn)
        4.5.2 與主流閱讀理解模型性能對(duì)比實(shí)驗(yàn)
    4.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝



本文編號(hào)：3837216