發(fā)布時(shí)間：2021-01-16 07:26

　　語義匹配在自然語言處理中有很多應(yīng)用,包括問答系統(tǒng)、釋義識(shí)別和文本蘊(yùn)含等。孿生網(wǎng)絡(luò)是計(jì)算語義匹配常用框架,它的特點(diǎn)是具有兩個(gè)結(jié)構(gòu)相同且共享權(quán)重的子網(wǎng)絡(luò)。孿生網(wǎng)絡(luò)的兩個(gè)輸入端同時(shí)接受一個(gè)文本信息,通過共享權(quán)重的子網(wǎng)絡(luò)將這兩個(gè)文本轉(zhuǎn)化為向量,再使用某一種距離度量算法計(jì)算兩個(gè)文本向量的距離。文本匹配面臨幾方面的難點(diǎn),一是語義的多樣性,表現(xiàn)在多詞同義和一詞多義;二是文本的結(jié)構(gòu)性,相同數(shù)量的詞匯按照不同順序可以構(gòu)成相同含義的句子,也可以表達(dá)出不同語義;三是目前現(xiàn)有知識(shí)對(duì)長文本表示困難,難以構(gòu)建和認(rèn)知長文本中層次信息;四是是否可以設(shè)計(jì)出更高效的語義匹配模型。深度學(xué)習(xí)的快速發(fā)展顛覆了語義匹配之前需要手工設(shè)計(jì)特征的時(shí)代,本文在孿生網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合CNN、RNN和注意力機(jī)制設(shè)計(jì)出適用于不同場(chǎng)景的語義匹配模型。BERT作為通用預(yù)訓(xùn)練模型,又助力自然語言處理在多數(shù)場(chǎng)景下更進(jìn)一步,本文在此基礎(chǔ)上將孿生網(wǎng)絡(luò)與BERT相結(jié)合,更好地處理了長文本匹配的問題。本文共提出了三種文本匹配算法模型,具體內(nèi)容如下:（1）從如何更高效地進(jìn)行語義匹配角度出發(fā),利用SWEM設(shè)計(jì)了一種高效的語義匹配模型。SWEM是一個(gè)以詞向量為基礎(chǔ)、... 

【文章來源】：江南大學(xué)江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：67 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LSTM和GRU內(nèi)部示意圖[11]

饔檬薔齠ㄍ?嵌嗌俟?サ男畔ⅲ??旅啪齠ǘ??男┬?息以及添加哪些新信息。一個(gè)普通RNN模型就蘊(yùn)含在GRU中，只要重置門100%通過，更新門關(guān)閉就行。GRU更新門的作用類似于LSTM的忘記和輸入門。GRU的張量運(yùn)算較少；因此，與LSTM相比，GRU的訓(xùn)練速度更快。但是不同場(chǎng)景下，LSTM和GRU表現(xiàn)不同，所以需要實(shí)踐才能明確哪個(gè)更好。2.2.2基于LSTM的孿生網(wǎng)絡(luò)結(jié)構(gòu)論文[42]提出了基于長短期記憶或LSTM的網(wǎng)絡(luò)結(jié)構(gòu)用于計(jì)算兩個(gè)文本之間的相似度，由于使用了Manhattan距離，所以該模型被稱為ManhattanLSTMModel，模型結(jié)構(gòu)圖如圖2-3。圖2-3ManhattanLSTMModel結(jié)構(gòu)圖[42]模型的輸入是兩個(gè)經(jīng)過分詞之后的句子，每個(gè)單詞需要以詞向量的形式按序輸入，緊接著兩個(gè)句子都通過一個(gè)LSTM進(jìn)行表示，這兩個(gè)LSTM共享權(quán)重，LSTM的最后一個(gè)隱藏狀態(tài)作為整個(gè)句子的表示，計(jì)算兩個(gè)句子向量的曼哈頓距離，就可以得到模型的輸出。上述模型是早期基于LSTM的孿生網(wǎng)絡(luò)，后期有很多改進(jìn)工作。這些改進(jìn)工作圍繞著句子向量的表示、句子交互、距離表示等方面進(jìn)行。以ESIM為例，ESIM是EnhancedLSTMforNaturalLanguageInference的簡(jiǎn)稱，專用于文本推斷的句子對(duì)模型，在諸多文本匹配實(shí)驗(yàn)中有著非常不錯(cuò)的效果。ESIM主要有三個(gè)組成部分，分別是輸入編碼，局部推理建模和推理組合。輸入編碼采用雙向長短期記憶（BiLSTM）構(gòu)建輸出編碼，局部推理則是用點(diǎn)積的方式計(jì)算兩個(gè)句子表示的注意力權(quán)重獲取句子之間的交互信息，推理組成部同樣使用向長短期記憶（BiLSTM）進(jìn)行信息提取并進(jìn)行最大池化和平均池化。2.3基于卷積神經(jīng)網(wǎng)絡(luò)和孿生網(wǎng)絡(luò)的語義匹配算法

江南大學(xué)碩士學(xué)位論文122.3.1卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）是一種利用卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)，最大的特點(diǎn)是權(quán)重共享和平移不變性，它一般由若干卷積層和池化層組成，在圖像視頻分類、識(shí)別、自然語言處理、推薦系統(tǒng)、醫(yī)療圖像分析和金融數(shù)據(jù)分析等方面都有應(yīng)用。卷積是一種特殊的線性運(yùn)算。卷積神經(jīng)網(wǎng)絡(luò)中最重要的一個(gè)概念是“感受野”（ReceptiveField），首次出現(xiàn)在1962年Hubel和Wiesel[43]對(duì)貓腦視覺皮層的研究報(bào)告中，“感受野”對(duì)后來的卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展有著重要啟示。感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖（featuremap）上的像素點(diǎn)的計(jì)算與輸入圖像上某個(gè)區(qū)域的影響。1989年，LeCun[44]結(jié)合權(quán)值共享的卷積神經(jīng)層，在反向傳播算法基礎(chǔ)之上，發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，隨后又提出了一個(gè)經(jīng)典卷積網(wǎng)絡(luò)模型：LeNet-5。圖2-4二維卷積的計(jì)算過程[46]一個(gè)卷積神經(jīng)網(wǎng)絡(luò)主要包括5種結(jié)構(gòu)：輸入層、卷積（convolutional）層、池化（pooling）層、全連接層及輸出層[45]。卷積層是核心層，它由多個(gè)過濾器組成，濾波器可以看作是二維數(shù)字矩陣。將濾波器覆蓋在圖像的某個(gè)位置，然后將圖像位置對(duì)應(yīng)像素的數(shù)值與濾波器中的值進(jìn)行相乘，將這些乘積加起來就可以得到輸出圖像對(duì)應(yīng)位置像素的數(shù)值。將上述操作在圖像所有位置重復(fù)操作，輸出新圖像，整個(gè)操作就是“卷積”操作。圖2-4[46]是一個(gè)2維卷積的例子，這里只對(duì)核完全處在圖像中的位置進(jìn)行有效卷積。卷積的過程中會(huì)出現(xiàn)輸出圖像與希望得到的圖像大小不一致，那么需要在圖像周圍添加多個(gè)0，這樣就可以疊加更多的濾波器，而這種操作就是“填充”（Padding）。圖像中相鄰的像素位置絕大多數(shù)都具有相近的數(shù)值，所以卷積之后的特診圖上相鄰輸出像素的數(shù)值也相近，

【參考文獻(xiàn)】：
期刊論文
[1]基于改進(jìn)的Jaccard系數(shù)文檔相似度計(jì)算方法[J]. 俞婷婷,徐彭娜,江育娥,林劼.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2017(12)
[2]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計(jì)算機(jī)學(xué)報(bào). 2017(06)
[3]深度文本匹配綜述[J]. 龐亮,蘭艷艷,徐君,郭嘉豐,萬圣賢,程學(xué)旗.  計(jì)算機(jī)學(xué)報(bào). 2017(04)
[4]基于改進(jìn)編輯距離的中文相似句子檢索[J]. 車萬翔,劉挺,秦兵,李生.  高技術(shù)通訊. 2004 (07)



本文編號(hào)：2980404