發(fā)布時間：2018-12-15 07:22

【摘要】：自動問答系統(tǒng)能夠根據(jù)用戶輸入的自然語言問題,直接返回精確的答案。本文的研究方向是基于非結構化文檔的開放域自動問答系統(tǒng),其特點是背后的數(shù)據(jù)源是非結構化的文檔庫,面向的問題是通用問題,并不局限于某個領域。典型的基于非結構化文檔的開放域自動問答系統(tǒng)一般由問題處理模塊、文檔處理模塊和答案處理模塊三個部分組成,其主要存在兩個問題,第一是文檔處理模塊返回的段落候選集規(guī)模過大導致答案處理模塊準確率降低。第二是基于規(guī)則的答案抽取過于繁瑣,靈活性差。針對第一個問題,本文使用句子篩選和句子排序模塊將段落候選集縮減為單個的答案句子。針對第二個問題,本文使用了端到端的深度神經(jīng)網(wǎng)絡模型代替?zhèn)鹘y(tǒng)的基于規(guī)則的答案抽取算法。針對句子篩選模塊,本文改進了一種計算文檔相似度的算法Word Mover's Distance(WMD),并提出了一種將BM25和WMD結合的混合模型。本文分別進行了文檔分類和文本排序實驗。實驗結果表明,改進后的WMD算法和混合模型比其他基準算法有更好的效果。針對句子排序模塊,本文設計了五種特征來衡量問句和候選答案句子之間的相關性,并以此相關性得分對候選答案句子進行排序。這些特征包含了不同的級別。該模型稱為Multiple Level Feature Rank(MLFR)模型。本文測試并對比了若干基于深度神經(jīng)網(wǎng)絡的句子排序模型。實驗結果表明,MLFR模型有更好的排序效果。最后,本文引入了一個端到端的深度神經(jīng)網(wǎng)絡模型用于答案抽取,并將此模型與前面的句子篩選和句子排序模塊組合在一起,設計實驗進行了整體的性能評估。本文對典型的基于非結構化文檔的開放域自動問答系統(tǒng)中存在的問題提出了相應的解決方案,改進了計算文檔相似度的相關算法,提出了一種基于多級特征的句子排序模型(MLFR),同時引入了一種端到端深度神經(jīng)網(wǎng)絡來進行答案抽取。實驗結果表明,本文的解決方案是行之有效的。
[Abstract]:The automatic question answering system can return the exact answer directly according to the user input natural language question. The research direction of this paper is an open domain automatic question answering system based on unstructured documents. Its characteristic is that the data source behind it is an unstructured document library, and the problem oriented is a general problem, which is not limited to a certain field. A typical open domain question answering system based on unstructured documents is generally composed of three parts: question processing module, document processing module and answer processing module. There are two main problems in the system. The first is that the size of the paragraph candidate set returned by the document processing module is too large to reduce the accuracy of the answer processing module. The second is that the rule-based answer extraction is too cumbersome and inflexible. For the first question, this paper uses sentence filter and sentence sorting module to reduce the candidate set of paragraphs to a single answer sentence. To solve the second problem, the end-to-end depth neural network model is used to replace the traditional rule-based answer extraction algorithm. For sentence filtering module, this paper improves a document similarity algorithm, Word Mover's Distance (WMD), and proposes a hybrid model combining BM25 and WMD. The experiments of document classification and text sorting are carried out in this paper. Experimental results show that the improved WMD algorithm and the hybrid model are more effective than other benchmark algorithms. For sentence sorting module, this paper designs five features to measure the correlation between question sentence and candidate answer sentence, and sorts the candidate answer sentence with this correlation score. These features include different levels. This model is called Multiple Level Feature Rank (MLFR) model. This paper tests and compares some sentence ordering models based on depth neural network. The experimental results show that the MLFR model has better sorting effect. Finally, this paper introduces an end-to-end deep neural network model for answer extraction, and combines the model with the previous sentence filter and sentence sorting modules, and designs the experiment to evaluate the overall performance of the model. In this paper, we propose a solution to the problems in a typical open domain automatic question answering system based on unstructured documents, and improve the algorithm of calculating document similarity. In this paper, a sentence sorting model based on multilevel features, (MLFR), is proposed, and an end-to-end depth neural network is introduced to extract the answers. The experimental results show that the solution is effective.
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.1

【相似文獻】

相關期刊論文 前10條

1 鄭實福,劉挺,秦兵,李生;自動問答綜述[J];中文信息學報;2002年06期

2 蘇芳仲;林世平;;基于事例推理的中文自動問答系統(tǒng)研究[J];福建電腦;2006年06期

3 劉里;曾慶田;;自動問答系統(tǒng)研究綜述[J];山東科技大學學報(自然科學版);2007年04期

4 孔令玉;;國外跨語言自動問答系統(tǒng)研究綜述[J];現(xiàn)代情報;2008年10期

5 王婧;;基于自動問答技術的智能文本機器人[J];科技創(chuàng)業(yè)家;2013年08期

6 盧炳衛(wèi);;關于自動問答技術的研究[J];農(nóng)業(yè)圖書情報學刊;2006年01期

7 夏凌;魏祖雪;;自動問答系統(tǒng)及其評測(英文)[J];西華大學學報(自然科學版);2007年02期

8 黃建崗;張愛華;;教務門戶網(wǎng)自動問答系統(tǒng)的設計與實現(xiàn)[J];電腦知識與技術;2009年36期

9 駱正華,樊孝忠,夏天;基于結構化問句實例的自動問答系統(tǒng)[J];微電子學與計算機;2005年07期

10 李照亮;張琳;;基于招生領域自動問答系統(tǒng)的問題理解的研究[J];電腦知識與技術;2009年10期

相關會議論文 前3條

1 高俊杰;李茹;李雙紅;;基于領域本體的自動問答系統(tǒng)關鍵技術研究[A];中國計算機語言學研究前沿進展（2007-2009）[C];2009年

2 張耀允;王曉龍;王軒;徐睿峰;侯永帥;范士喜;;面向開放的限定領域的交互式問答語料分析[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

3 劉國剛;;人工智能客戶服務體系的研究與實現(xiàn)[A];2008年中國通信學會無線及移動通信委員會學術年會論文集[C];2008年

相關博士學位論文 前2條

1 于士濤;基于問答網(wǎng)絡論壇知識體系的自動問答系統(tǒng)研究[D];南開大學;2009年

2 胡國平;基于超大規(guī)模問答對庫和語音界面的非受限領域自動問答系統(tǒng)研究[D];中國科學技術大學;2007年

相關碩士學位論文 前10條

1 吳安峻;面向自動問答的短問題分類研究[D];西南交通大學;2015年

2 王正華;自動問答系統(tǒng)的研究與實現(xiàn)[D];西南科技大學;2015年

3 舒德華;基于Scrapy爬取電商平臺數(shù)據(jù)及自動問答系統(tǒng)的構建[D];華中師范大學;2016年

4 趙潔;基于搜索引擎的中文自動問答系統(tǒng)的設計與實現(xiàn)[D];北京工業(yè)大學;2016年

5 魏婷婷;政務通統(tǒng)一互動平臺設計與實現(xiàn)[D];江西農(nóng)業(yè)大學;2016年

6 趙龍;英文自動問答系統(tǒng)中數(shù)值型問句的理解研究[D];大連海事大學;2016年

7 蔡亞林;自動問答系統(tǒng)中數(shù)值型答案整合研究[D];大連海事大學;2016年

8 溫思琦;基于本體的中醫(yī)冠心病自動問答系統(tǒng)的設計與實現(xiàn)[D];沈陽工業(yè)大學;2017年

9 徐燦;基于非結構化文檔的開放域自動問答系統(tǒng)技術研究[D];浙江大學;2017年

10 王振佶;面向銷售服務的自動問答系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2011年

，

本文編號：2380242