關系分類是自然語言處理領域的一個子任務,它是很多其他自然語言處理任務的重要一環(huán),如信息抽取,問答系統(tǒng),知識庫構建等。過去的方法大多將關系分類任務看做一個單純的多分類任務,沒有考慮類別與類別之間相似的問題。對于同種語義關系不同實體方向的兩類關系來說,由于語義關系相同,他們的表達往往是相似的,因此這兩類關系很容易混淆。為了解決同種語義關系不同實體方向的關系類別容易混淆的問題,本文提出了一種融合區(qū)分度信息的神經網絡用于關系分類,在模型中引入了區(qū)分度信息用來區(qū)分語義關系相同實體方向不同的關系類別。本文通過實體詞向量相減的方法將空間上的實體方向轉化為數學上的向量的方向,并把實體詞向量相減的結果作為區(qū)分度信息。該模型分為三個模塊:句子表示模塊,關系區(qū)分模塊和區(qū)分度融合模塊。在句子表示模塊本文用雙向長短時記憶神經網絡(Bi-LSTM)作為編碼器編碼句子的語義信息,將詞嵌入與詞的位置特征嵌入的級聯(lián)作為Bi-LSTM的輸入特征,沒有使用任何額外的特征。在關系區(qū)分模塊,將實體詞向量相減的結果作為關系區(qū)分模塊的輸入,經過非線性變換后得到區(qū)分度特征。區(qū)分度融合模塊將句子表示模塊的輸出與關系區(qū)分模塊的輸出相融合...

【文章頁數】：77 頁

【學位級別】：碩士

【部分圖文】：

圖１－１知識庫構建簡圖??

?山東大學碩士學位論文???另外，關系分類對知識圖譜的構建有重要作用。知識圖譜用符號描述現(xiàn)實世界??中的概念和概念之間的關系，知識圖譜本身是一種結構化的語義知識庫。它以“實??體－關系－實體”這樣的三元組為基本組成單位，除三元組外，知識圖譜中還包含實??體的“屬性－值”對，實體之....

圖２－１神經網絡語言模型??前面提到通過訓練神經網絡語言模型得到詞向量的方法太過耗時，而Ｍｉｌｏｋｏｖ??等人［３９＿于２〇丨３年提出的ｗ〇ｒｄ２歡剛好解決了這個問題

將詞表示看做模型中需要訓練的參數，利用詞語上下文信息直接得到預測詞的詞??表示。Ｂｅｎｇｉｏ等人于２００３年提出神經網絡語言模型（Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?Ｌａｎｇｕａｇｅ?Ｍｏｄｅｌ，??ＮＮＬＭ）＾，同時得到了語言模型和詞向量，該模型如圖２－１所示，它的本質仍是??Ｎ－ｇ....

圖２－２?ＣＢＯＷ模型結構圖??

ＣＢＯＷ模型與神經網絡語言模型結構類似，分為三層，輸入層，映射層（隱??藏層），輸出層。只是在ＣＢＯＷ模型中，映射層（隱藏層）不是非線性函數而是采??用求和操作，這一改變大大加快了模型的訓練速度。其模型結構如圖２－２所示：??ｗ（ｔ－２）?ｗ（ｔ－ｌ）?ｗ?（ｔ＋１）?ｗ?（ｔ＋....

圖２－３?Ｓｋｉｐ－ｇｒａｍ模型結構??２．?２．?２?Ｗｏｒｄ２ｖｅｃ的加速方法??

與ＣＢＯＷ模型相同，該模型也是分為三層，輸入層，映射層和輸出層，輸入??Ｍ輸入的是中心詞的ｏｎｅ－ｈｏｔ編碼，經過映射層后送入到輸出層，在Ｓｋｉｐ－ｇｒａｍ??模型中，映射層沒有求平均操作，其模型結構如圖２－３所示。Ｓｋｉｐ－ｇｒａｍ模型中輸??入層的向量為ｅｔ，經過映射層的線性....

本文編號：3916542