隨著循環(huán)神經(jīng)網(wǎng)絡(luò)的出現(xiàn),自然語言處理的任務(wù)命名實體識別、自動問答、機器翻譯、文本蘊含識別等都取得了不錯的效果。文本蘊含識別和閱讀理解屬于自然語言理解范疇,閱讀理解作為自然語言處理任務(wù)中最難的一個任務(wù)之一,可以應(yīng)用在自動問答和智能搜索上。隨著閱讀理解語料SQuAD和TriviaQA web的出現(xiàn),使得閱讀理解在神經(jīng)網(wǎng)絡(luò)中的研究成為了可能。LSTM作為文本提取特征的首選模型,推動了自然語言任務(wù)的發(fā)展。隨著注意力機制的出現(xiàn),LSTM結(jié)合注意力機制可以進一步分析長文本之間的關(guān)系,注意力機制也是自然語言任務(wù)中很重要的方法。針對文本蘊含識別任務(wù),重點關(guān)注的是每個文本中的子事件是否匹配。本文對逐詞匹配注意力模型和mLSTM模型進行研究,指出兩種模型存在的不足。對當(dāng)前最優(yōu)的mLSTM模型進行改進提出一種基于GRU的相鄰詞信息和逐詞匹配模型mGRU。mGRU的主要思想是一個文本或句子設(shè)為前提,另一個文本或句子設(shè)為假設(shè),先對前提編碼,再對假設(shè)編碼,在對假設(shè)編碼的同時引入前提的所有單詞的注意力,受n-gram思想的啟發(fā)用假設(shè)的相鄰詞隱藏狀態(tài)信息和與前提逐詞匹配,在斯坦福文本蘊含識別SNLI語料上取得了很好的... 

【文章來源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【部分圖文】：

RNN流程圖

圖 2-3 RNN 模型結(jié)構(gòu)Figure2-3 RNN model structure解決 RNN 造成的梯度消失問題而產(chǎn)生的，與 RN變，引入三個門控增加隱藏結(jié)構(gòu)的復(fù)雜程度避免梯記錄新的更新和遺忘。LSTM 結(jié)構(gòu)如圖 2-4 所示：圖 2-4 LSTM 模型結(jié)構(gòu)Figure2-4 LSTM model structureRU要比 RNN 復(fù)雜的多，從圖 2-5 中可以看出在每個

圖 2-4 LSTM 模型結(jié)構(gòu)Figure2-4 LSTM model structureU比 RNN 復(fù)雜的多，從圖 2-5 中可以看出在每個和 RNN 一樣的隱藏狀態(tài) ，還多了另一個隱示。這個隱藏狀態(tài)一般稱為細胞狀態(tài)，記為 有三個門控結(jié)構(gòu)：遺忘門、輸入門、輸出門[25]。門控和細胞狀態(tài)。圖 2-5 細胞狀態(tài)圖Figure2-5 Cell status diagram( t)h( tC

【參考文獻】：
期刊論文
[1]基于PageRank算法的文本關(guān)鍵詞權(quán)重計算研究[J]. 王慶福.  網(wǎng)絡(luò)新媒體技術(shù). 2015(03)
[2]多特征文本蘊涵識別研究[J]. 趙紅燕,劉鵬,李茹,王智強.  中文信息學(xué)報. 2014(02)
[3]改進的TF-IDF模型在特征抽取中的應(yīng)用[J]. 李運田,吳瓊,鄭獻衛(wèi).  工業(yè)控制計算機. 2014(02)
[4]一種基于改進TF-IDF函數(shù)的文本分類方法[J]. 盧中寧,張保威.  河南師范大學(xué)學(xué)報(自然科學(xué)版). 2012(06)
[5]針對特定主題的短文本向量化[J]. 田瑞,閆丹鳳.  軟件. 2012(11)
[6]文本蘊涵的推理模型與識別模型[J]. 袁毓林,王明華.  中文信息學(xué)報. 2010(02)
[7]文本線性分割方法的研究[J]. 劉娜,唐煥玲,魯明羽.  計算機工程與應(yīng)用. 2008(21)

碩士論文
[1]基于深度神經(jīng)網(wǎng)絡(luò)的文本蘊含識別及應(yīng)用研究[D]. 王寶鑫.哈爾濱工業(yè)大學(xué) 2016
[2]基于LSTM的英文文本蘊含識別方法研究[D]. 劉陽.哈爾濱工業(yè)大學(xué) 2016



本文編號：3535493