句子相似度計(jì)算作為機(jī)器翻譯、剽竊檢測(cè)、查詢排序及問(wèn)題回答等諸多自然語(yǔ)言處理任務(wù)的基礎(chǔ),其準(zhǔn)確性直接影響相關(guān)系統(tǒng)的性能,因而如何提升句子相似度計(jì)算的準(zhǔn)確性成為亟待解決的問(wèn)題。傳統(tǒng)自然語(yǔ)言處理的方法主要利用人工指定的淺層特征,而基于神經(jīng)網(wǎng)絡(luò)模型的方法無(wú)需人工構(gòu)造特征就可從大規(guī)模的文本中學(xué)習(xí)特征,進(jìn)而獲得句子的深層語(yǔ)義信息。由于卷積神經(jīng)網(wǎng)絡(luò)在提取特征時(shí)存在感受野狹小、卷積方式不靈活等問(wèn)題,本文提出兩種模型來(lái)改善上述問(wèn)題,并研究了句子相似度計(jì)算在知識(shí)問(wèn)答系統(tǒng)中的應(yīng)用,主要研究?jī)?nèi)容包括以下三個(gè)方面:（1）提出了一種普通卷積和膨脹卷積結(jié)合的句子相似度計(jì)算模型CNN-IDCNN（Convolutional Neural Networks-Iterated Dilated Convolutional Neural Networks）。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)在提取文本特征時(shí)感受野狹小、層級(jí)之間的池化方式存在信息損失的不足,提出了在普通卷積模塊的基礎(chǔ)上加入膨脹卷積模塊的方式來(lái)提取句子長(zhǎng)距離語(yǔ)義信息,讓句子的特征表示包含詞、短N(yùn)-gram、長(zhǎng)N-gram信息,從多個(gè)粒度豐富句子特征表示,從而提升相似度計(jì)算性能。（... 

【文章來(lái)源】：重慶大學(xué)重慶市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hu等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)的句子表示方法（圖片來(lái)源于文獻(xiàn)[14]）

重慶大學(xué)碩士學(xué)位論文2句子表示的相關(guān)理論及技術(shù)10提取局部的語(yǔ)義組合信息，通過(guò)池化可以將高置信度的組合保留。圖2.2Hu等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)的句子表示方法（圖片來(lái)源于文獻(xiàn)[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])圖2.3顯示的是針對(duì)單一句子的模型過(guò)程，首先分別單獨(dú)地對(duì)兩個(gè)句子進(jìn)行建模，從而得到兩個(gè)相同且固定長(zhǎng)度的向量，向量表示句子經(jīng)過(guò)建模后抽象得來(lái)的特征信息，而后將這兩個(gè)向量作為一個(gè)多層感知機(jī)的輸入，最后計(jì)算句子匹配的分?jǐn)?shù)。圖2.3Hu等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)的句子表示方法（圖片來(lái)源于文獻(xiàn)[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])圖2.3所示的模型比較簡(jiǎn)單高效，但是存在一個(gè)較大的缺陷：即兩個(gè)句子在建模中相互獨(dú)立，不存在語(yǔ)義之間的信息交互，過(guò)早地失去了句子間語(yǔ)義交互計(jì)算

重慶大學(xué)碩士學(xué)位論文2句子表示的相關(guān)理論及技術(shù)10提取局部的語(yǔ)義組合信息，通過(guò)池化可以將高置信度的組合保留。圖2.2Hu等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)的句子表示方法（圖片來(lái)源于文獻(xiàn)[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])圖2.3顯示的是針對(duì)單一句子的模型過(guò)程，首先分別單獨(dú)地對(duì)兩個(gè)句子進(jìn)行建模，從而得到兩個(gè)相同且固定長(zhǎng)度的向量，向量表示句子經(jīng)過(guò)建模后抽象得來(lái)的特征信息，而后將這兩個(gè)向量作為一個(gè)多層感知機(jī)的輸入，最后計(jì)算句子匹配的分?jǐn)?shù)。圖2.3Hu等人提出的基于卷積神經(jīng)網(wǎng)絡(luò)的句子表示方法（圖片來(lái)源于文獻(xiàn)[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])圖2.3所示的模型比較簡(jiǎn)單高效，但是存在一個(gè)較大的缺陷：即兩個(gè)句子在建模中相互獨(dú)立，不存在語(yǔ)義之間的信息交互，過(guò)早地失去了句子間語(yǔ)義交互計(jì)算

【參考文獻(xiàn)】：
期刊論文
[1]采用詞向量注意力機(jī)制的雙路卷積神經(jīng)網(wǎng)絡(luò)句子分類模型[J]. 郭寶震,左萬(wàn)利,王英.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2018(09)
[2]基于卷積記憶網(wǎng)絡(luò)的視角級(jí)微博情感分類[J]. 廖祥文,謝媛媛,魏晶晶,桂林,程學(xué)旗,陳國(guó)龍.  模式識(shí)別與人工智能. 2018(03)
[3]基于卷積神經(jīng)網(wǎng)絡(luò)與多特征融合的Twitter情感分類方法[J]. 王汝嬌,姬東鴻.  計(jì)算機(jī)工程. 2018(02)
[4]一種基于Tree-LSTM的句子相似度計(jì)算方法[J]. 楊萌,李培峰,朱巧明.  北京大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(03)
[5]一種針對(duì)句法樹(shù)的混合神經(jīng)網(wǎng)絡(luò)模型[J]. 霍歡,張薇,劉亮,李洋.  中文信息學(xué)報(bào). 2017(06)
[6]文本相似度計(jì)算方法研究綜述[J]. 陳二靜,姜恩波.  數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2017(06)
[7]基于相似度算法的英語(yǔ)智能問(wèn)答系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 王文輝,吳敏華,駱力明,劉杰.  計(jì)算機(jī)應(yīng)用與軟件. 2017(06)
[8]基于支持向量機(jī)的中文文本蘊(yùn)涵識(shí)別研究[J]. 李妍,劉茂福,姬東鴻.  計(jì)算機(jī)應(yīng)用與軟件. 2014(04)
[9]大規(guī)模語(yǔ)料庫(kù)上的Stanford和Berkeley句法分析器性能對(duì)比分析[J]. 項(xiàng)煒,金澎.  電腦知識(shí)與技術(shù). 2013(08)
[10]一種綜合多特征的句子相似度計(jì)算方法[J]. 吳全娥,熊海靈.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2010(11)

碩士論文
[1]基于非結(jié)構(gòu)化文檔的開(kāi)放域自動(dòng)問(wèn)答系統(tǒng)技術(shù)研究[D]. 徐燦.浙江大學(xué) 2017
[2]基于結(jié)構(gòu)化數(shù)據(jù)的雙語(yǔ)自動(dòng)問(wèn)答系統(tǒng)研究與實(shí)現(xiàn)[D]. 劉至潤(rùn).北京理工大學(xué) 2016
[3]自然語(yǔ)言處理中相關(guān)語(yǔ)義技術(shù)的研究[D]. 劉云芳.西南交通大學(xué) 2014
[4]問(wèn)答對(duì)自動(dòng)獲取的研究[D]. 孟祥燕.昆明理工大學(xué) 2008



本文編號(hào)：3238092