機器問答是自然語言處理中最具有挑戰(zhàn)的任務(wù)之一。該任務(wù)的技術(shù)挑戰(zhàn)性和巨大的應(yīng)用價值使其成為了當(dāng)前的熱點研究。本論文主要研究基于深度學(xué)習(xí)的機器問答,結(jié)合當(dāng)前自然語言處理中的前沿神經(jīng)網(wǎng)絡(luò)模型,構(gòu)建一套端到端的智能開放域問答系統(tǒng)。本論文提出的開放域問答系統(tǒng)以閱讀理解為核心推理模塊,論文中對機器閱讀理解進(jìn)行了全面細(xì)致的研究。我們分析了在多個自然語言處理任務(wù)中取得突破成果的BERT中存在的注意力偏差問題。我們提出了用于機器問答推理的創(chuàng)新模型ForceReader,它包含了注意力分離表征、多模式閱讀理解、條件背景注意力和深度交互推理多個改進(jìn)提升方案,在多個數(shù)據(jù)集上表現(xiàn)優(yōu)秀。我們也對閱讀理解在機器問答應(yīng)用中存在的問題進(jìn)行了探索,提出了多元信息交互和分類閱讀聯(lián)合學(xué)習(xí)的改進(jìn)方案。受益于這些改進(jìn),推理模塊能捕獲更豐富的語言信息,并實現(xiàn)了端到端自動處理多文檔問答的功能。在問答的推理模塊得到有效提升的基礎(chǔ)上,我們以維基百科知識和搜索引擎配合的方式作為問答系統(tǒng)的信息源,結(jié)合段落選擇和閱讀推理模型構(gòu)建了一套智能開放域問答系統(tǒng)。我們在系統(tǒng)中添加了問答對庫設(shè)計,采用深度語義匹配模型進(jìn)行問題匹配,作為快速響應(yīng)既有問題的方... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：96 頁

【學(xué)位級別】：碩士

【部分圖文】：

對照實驗組在SQuAD2.0開發(fā)集

電子科技大學(xué)碩士學(xué)位論文分別單獨繪出了SQuAD2.0中沒有答案和有答案的問題各自的EM和F1變化，如圖3-8所示。(a)(b)(c)(d)圖3-8SQuAD2.0開發(fā)集上有無答案問題類別實驗表現(xiàn)(a)有答案問題的EM評測結(jié)果;(b)有答案問題的F1評測結(jié)果;(c)無答案問題的EM評測結(jié)果;(d)無答案問題的F1評測結(jié)果3.4.4結(jié)果分析在表3-7中我們報告了所有對照實驗在兩份SQuAD數(shù)據(jù)上的結(jié)果，我們分別給出了人類在兩份數(shù)據(jù)上的表現(xiàn)，以及StanfordAttentiveReader、BiDAF、QANET和BERT-Large(Google)在SQuAD1.1開發(fā)集上的表現(xiàn)，但并未找到這些模型在SQuAD2.0上的準(zhǔn)確報告。與Google給出的結(jié)果相比，我們復(fù)現(xiàn)的BERT-Large44

，采用了注意力分離編碼的方式來對問題和段落進(jìn)行各自的語義的編碼。因此，針對這個方案，我們使用模型的分離編碼部分對3.3.1中的例問進(jìn)行了編碼，并選擇了其中的核心詞，可視化了他們在整個問題序列上的注意力權(quán)重。我們的編碼器部分有24層Transformer層，并且每層有16個注意力頭，在句子進(jìn)行多層抽象編碼的過程中，有研究認(rèn)為下層的編碼會更偏句法語法結(jié)構(gòu)特征，上次編碼更偏整體抽象語義特征[64]。因此我們選擇最后一層的注意力值，并為了可視化方便，我們將16個注意力頭的注意力權(quán)重求均值用于表示最終的注意力分布。圖3-9問題句子中核心詞注意力可視化從圖3-9中可以看出，我們對問題序列做了處理以適用于編碼器輸入，如小寫轉(zhuǎn)換、切詞操作。特別地，我們在句子的頭尾分別加上了[CLS]和[SEP]符號代表句子的開始和結(jié)尾，并用[CLS]的編碼向量代表句子整體語義向量。我們選擇了[CLS]、question、founder、microsoft四個詞作為句子的核心詞匯。從圖3-9中可以看出經(jīng)過分離編碼后詞的注意力非常符合語言認(rèn)知。如question與a、who、founder的注意力權(quán)重較大，而與i、want等詞注意力較校同樣的founder與who、of、microsoft以及自身的注意力權(quán)重較大，與其他不相關(guān)的詞注意力權(quán)重較小，這能直觀的讓模型學(xué)習(xí)到founderofmicrosoft的重要組合語義，對問題的理解有極大的幫助。對于問句的整體語義，[CLS]在句子中主要詞匯上的注意力分46

【參考文獻(xiàn)】：
期刊論文
[1]基于問答式語義檢索系統(tǒng)中對用戶提問處理研究![J]. 彭景海.  電子技術(shù)與軟件工程. 2013(18)



本文編號：3027355