開放領(lǐng)域自動問答系統(tǒng)旨在通過自然語言為用戶提供快速便捷的信息獲取方式,其在搜索引擎、智能數(shù)字助理（如小米公司的小愛同學(xué)）等方面具有廣泛的應(yīng)用,也越來越引起人們的注意。目前流行的自動問答系統(tǒng)主要包括社區(qū)問答和知識庫問答,社區(qū)問答從內(nèi)容社區(qū)中查找與用戶問題相近的歷史問題并且將其答案返回給用戶作為用戶問題的答案,知識庫問答主要是將自然語言解析、轉(zhuǎn)化為結(jié)構(gòu)化的查詢語句,然后查詢知識圖譜等知識庫來獲取當前問題的答案,并且答案通常為一個實體。在社區(qū)問答中,由于用戶問題和已有問句都比較短,所以基于關(guān)鍵詞匹配的檢索模型很難達到較好的匹配精準度,而知識庫問答由于詞匯表和查詢規(guī)則集都是人工編寫的,所以隨著數(shù)據(jù)庫的擴大,最終都變得難以維護和擴充。因此,出現(xiàn)了一些基于神經(jīng)網(wǎng)絡(luò)技術(shù)的自動問答系統(tǒng)來緩解這些問題。本文主要研究自然語言閱讀理解技術(shù),并且以此為基礎(chǔ)搭建自動問答系統(tǒng),主要工作內(nèi)容如下:本文提出了兩個基于深度學(xué)習(xí)的機器閱讀理解模型,其中一個模型是抽取式閱讀理解模型,該模型最終從給定文本中抽取一個詞或者連續(xù)的幾個詞作為問題最終的答案,另一個模型是生成式閱讀理解模型,該模型結(jié)合給定文本,最終從預(yù)設(shè)的字典中自行... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 引言
    1.1 論文的背景和意義
    1.2 研究現(xiàn)狀
        1.2.1 自動問答系統(tǒng)
        1.2.2 閱讀理理解技術(shù)
    1.3 論文工作及章節(jié)安排
        1.3.1 論文研究的內(nèi)容和創(chuàng)新點
        1.3.2 論文的章節(jié)安排
第二章 基礎(chǔ)知識
    2.1 預(yù)訓(xùn)練詞嵌入
    2.2 深度語境詞表征—ELMo
    2.3 預(yù)訓(xùn)練語言模型——GPT
第三章 抽取式機器閱讀理解模型
    3.1 數(shù)據(jù)集與任務(wù)
        3.1.1 SQuAD數(shù)據(jù)集的構(gòu)建方式及評測指標
        3.1.2 任務(wù)定義
    3.2 模型設(shè)計
        3.2.1 模型的背景
        3.2.2 模型網(wǎng)絡(luò)結(jié)構(gòu)
        3.2.3 損失函數(shù)
        3.2.4 答案生成
    3.3 實現(xiàn)與訓(xùn)練細節(jié)
    3.4 實驗結(jié)果
    3.5 本章小結(jié)
第四章 生成式機器閱讀理解模型
    4.1 數(shù)據(jù)集與任務(wù)
        4.1.1 MARCO數(shù)據(jù)集的構(gòu)建方式及評測指標
        4.1.2 任務(wù)定義
    4.2 生成模型的數(shù)據(jù)預(yù)處理
        4.2.1 數(shù)據(jù)擴充
        4.2.2 添加負樣本
    4.3 模型運行整體結(jié)構(gòu)
    4.4 段落選擇器（Paragraph Selector）
        4.4.1 數(shù)據(jù)預(yù)處理
        4.4.2 模型結(jié)構(gòu)
        4.4.3 損失函數(shù)
    4.5 生成式閱讀理解模型
        4.5.1 基于BERT的編碼器
        4.5.2 指針生成解碼器
        4.5.3 損失函數(shù)
        4.5.4 實驗細節(jié)
    4.6 實驗結(jié)果
        4.6.1 閱讀理解模型實驗結(jié)果
        4.6.2 段落選擇器實驗結(jié)果
    4.7 本章小結(jié)
第五章 自動問答系統(tǒng)
    5.1 系統(tǒng)整體結(jié)構(gòu)
    5.2 系統(tǒng)模塊及運行邏輯
        5.2.1 信息檢索模塊
        5.2.2 答案生成模塊
    5.3 系統(tǒng)測評
    5.4 系統(tǒng)運行展示
    5.5 本章小結(jié)
第六章 總結(jié)
    6.1 本文總結(jié)
    6.2 未來展望
參考文獻
致謝


【參考文獻】：
期刊論文
[1]問答系統(tǒng)研究綜述[J]. 毛先領(lǐng),李曉明.  計算機科學(xué)與探索. 2012(03)
[2]自動問答綜述[J]. 鄭實福,劉挺,秦兵,李生.  中文信息學(xué)報. 2002(06)

碩士論文
[1]基于深度強化學(xué)習(xí)的對話管理模型研究與應(yīng)用[D]. 馬躍.北京郵電大學(xué) 2018
[2]基于低維向量空間的知識推理方法研究[D]. 陳文瑞.哈爾濱工業(yè)大學(xué) 2017



本文編號：3155388