自然語言理解能力是人類認知的關鍵能力和獲取知識的前提,而讓機器學會理解人類語言或文字也是人工智能領域的困難和挑戰(zhàn)。機器閱讀理解是自然語言處理領域的重要分支,也是問答系統(tǒng)的一個子方向,意義在于使機器理解文本語義并具備推理能力。機器閱讀理解的主要流程是輸入給定文本和對應的問題,理解上下文語義并推理輸出匹配答案。相對于問答系統(tǒng),不依賴于外部知識庫系統(tǒng),而是從小范圍尋找語句之間的聯(lián)系。傳統(tǒng)的自然語言處理技術就是希望機器能夠擁有像人一樣捕捉到文本中的詞義、詞性、命名實體的基本能力,并且能對句法進行解析和指代進行消解。這些任務比較簡單,不需要復雜的語義理解和推理,通過常用的機器學習或統(tǒng)計學習方法就能做得較好。進一步地,我們希望機器能夠理解完整的文章或段落,聯(lián)系上下文或額外的知識庫進行分析和思考,并做出反饋。這要求在更復雜的場景中,抽取更高層次、更細粒度的文本特征。神經(jīng)機器閱讀理解就是當前機器閱讀理解發(fā)展的一個新階段,即使用神經(jīng)網(wǎng)絡模型相比傳統(tǒng)的基于特征的分類器更適合識別詞法匹配和釋義。近年來性能較好的端到端深度學習模型成為主流模型,所有參數(shù)通過優(yōu)化得到,不依賴任何下游語言特征,免除了構建大量人工特... 

【文章來源】：浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學位級別】：碩士

【部分圖文】：

完形填空任務示例

浙江大學碩士學位論文2機器閱讀理解典型任務2.2多項選擇圖2.2多項選擇任務示例多項選擇任務示意如圖2.2所示，靈感同樣來源于英語考試，可以衡量機器對自然語言理解的能力。示例中的RACE數(shù)據(jù)集[21]對每個問題提供了4個候選答案，我們需要根據(jù)給定的上下文從中選擇一個正確的答案。相比于完形填空任務，多項選擇任務不局限于一個詞語或?qū)嶓w，所以答案的形式更加靈活，但不同的是這里必須給出若干個候選項。根據(jù)此可以給出多項選擇任務的定義：給定上下文C、問題Q及若干回答的列表A={A1,A2,···,An}，要求模型學習函數(shù)F選擇正確的回答Ai(Ai∈A)，即Ai=F(C,Q,A)。2.3片段抽取圖2.3片段抽取任務示例雖然完形填空和多項選擇可以在某種程度上測試機器的自然閱讀理解能力，但仍然存在一些限制。因為詞語和實體并不足以回答問題，還需要更完整的句子，此外真實的應用場景中往往沒有可用的候選項，而片段抽取任務恰好克服了這兩點。片段抽取任務示意如圖2.3所示，給定上下文和問題，要求從原文中抽取一個連續(xù)的句子（或詞組）作為問題的答案。如示例中的SQuAD數(shù)據(jù)集[12]，原文中的詞組inherentdifficulty被抽取出來作為問題的答案。片段抽取任務最主要的特點是答案必須來自上下文8

浙江大學碩士學位論文2機器閱讀理解典型任務2.2多項選擇圖2.2多項選擇任務示例多項選擇任務示意如圖2.2所示，靈感同樣來源于英語考試，可以衡量機器對自然語言理解的能力。示例中的RACE數(shù)據(jù)集[21]對每個問題提供了4個候選答案，我們需要根據(jù)給定的上下文從中選擇一個正確的答案。相比于完形填空任務，多項選擇任務不局限于一個詞語或?qū)嶓w，所以答案的形式更加靈活，但不同的是這里必須給出若干個候選項。根據(jù)此可以給出多項選擇任務的定義：給定上下文C、問題Q及若干回答的列表A={A1,A2,···,An}，要求模型學習函數(shù)F選擇正確的回答Ai(Ai∈A)，即Ai=F(C,Q,A)。2.3片段抽取圖2.3片段抽取任務示例雖然完形填空和多項選擇可以在某種程度上測試機器的自然閱讀理解能力，但仍然存在一些限制。因為詞語和實體并不足以回答問題，還需要更完整的句子，此外真實的應用場景中往往沒有可用的候選項，而片段抽取任務恰好克服了這兩點。片段抽取任務示意如圖2.3所示，給定上下文和問題，要求從原文中抽取一個連續(xù)的句子（或詞組）作為問題的答案。如示例中的SQuAD數(shù)據(jù)集[12]，原文中的詞組inherentdifficulty被抽取出來作為問題的答案。片段抽取任務最主要的特點是答案必須來自上下文8

【參考文獻】：
期刊論文
[1]面向自然語言處理的深度學習研究[J]. 奚雪峰,周國棟.  自動化學報. 2016(10)



本文編號：3527615