知識(shí)圖譜是一種圖結(jié)構(gòu)數(shù)據(jù),其中每個(gè)節(jié)點(diǎn)通常表示某個(gè)具體事物,這些節(jié)點(diǎn)相互連接構(gòu)成了一個(gè)大型圖。知識(shí)圖譜自提出之后,就吸引了廣泛關(guān)注。知識(shí)圖譜問答在檢索、個(gè)人助手等應(yīng)用中起著重要的作用。在大型知識(shí)圖譜上的問答通常分步進(jìn)行。本文主要在開放領(lǐng)域的知識(shí)圖譜上,對問答系統(tǒng)的相關(guān)技術(shù)進(jìn)行了研究。主要研究內(nèi)容包括以下三個(gè)方面:1.基于特征融合的主題實(shí)體詞提取方法。主題實(shí)體詞指的是問題句所咨詢的主要事物,主題實(shí)體詞提取即確定這一主要事物的過程。本文把問題句的序列表示成向量編碼,用長短時(shí)記憶網(wǎng)絡(luò)構(gòu)建的語言模型抽取候選實(shí)體詞的語法特性。本文還融合了詞法和上下文等信息,對所有候選實(shí)體詞進(jìn)行評價(jià)和排序,以此得到正確的主題實(shí)體詞。2.基于關(guān)系匹配的知識(shí)圖譜推理方法研究。在確定了主要事物后,從知識(shí)圖譜中能得到以它為中心節(jié)點(diǎn)的知識(shí)子圖。關(guān)系匹配是從子圖上的候選關(guān)系路徑中,找出與問題句匹配的正確路徑的過程。本文用深度學(xué)習(xí)方法,分別學(xué)習(xí)了問題句和關(guān)系路徑的語義向量。同時(shí)使用了編輯距離等字符串相似評價(jià)指標(biāo)以及詞袋式的詞向量相似度,綜合對問題句和候選關(guān)系路徑進(jìn)行了匹配。本文還使用注意力機(jī)制加強(qiáng)了問題句和關(guān)系路徑文字序列中關(guān)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖 2-1 RNN 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) RNN 網(wǎng)絡(luò)時(shí)，通常使用的是反向傳播算法。在計(jì)算當(dāng)在前面時(shí)刻梯度上累乘。如果在前面的迭代中梯度較會(huì)越來越接近 0；反之，如果前面的梯度較大，累乘種問題被稱作“梯度消失”和“梯度爆炸”，導(dǎo)致的結(jié)果失去效果。為了解決這種問題，Hochreiter 等人提出了Long Short Term Memory Network）[51]。 對循環(huán)神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)做了改進(jìn)，通過增加輸入門法構(gòu)建了 LSTM 細(xì)胞單元[51]，并以此對每次迭代的輸部結(jié)構(gòu)如圖 2-2 所示。ct-1、ht-1分別是前一時(shí)刻的 C 和 tanh 就是分別表示在門中應(yīng)用到的激活函數(shù)。 是ll 狀態(tài)。遺忘門 ft的作用是選擇性遺忘信息；輸入門 it門 ot用于選擇進(jìn)入隱層的信息。

同的隱層單元數(shù)目，來檢驗(yàn)對模型效果的影響。如果是單向 LSTM 實(shí)需將隱層單元的輸出直接送入下一層即可。） Softmax。先通過線性變換，使用參數(shù)矩陣把它轉(zhuǎn)化為和詞表大小度的向量。然后再通過 Softmax 將其歸一化，凸顯權(quán)值較高的詞向型的輸出向量。） 交叉熵?fù)p失。我們把輸入的詞向量向右平移一位（即下一個(gè)單詞）作為網(wǎng)絡(luò)的預(yù)測值，構(gòu)建 bigram 的語言模型。其中 pad 指的是補(bǔ)向量。將前一層的輸出與平移后的預(yù)測詞向量之間的交叉熵作為損并以此來訓(xùn)練模型。訓(xùn)練時(shí)，我們設(shè)置網(wǎng)絡(luò)最大時(shí)序長度為固定長度 20。然而實(shí)際輸入往不等于設(shè)置的長度，所以預(yù)測時(shí)僅取輸入實(shí)際長度的網(wǎng)絡(luò)單元的進(jìn)行計(jì)算。如果輸入序列越符合模型，則計(jì)算的值越小。所以本文算得到的值取負(fù)對數(shù)，則最終得分越高，越符合語言模型。比較所的候選序列的得分，得分最高者對應(yīng)的候選實(shí)體詞為模型預(yù)測的主。


本文編號：3113387