關(guān)系體抽取,即實(shí)體關(guān)系抽取,常用于問答系統(tǒng)和知識圖譜構(gòu)建等應(yīng)用,是信息抽取領(lǐng)域中基礎(chǔ)且重要的環(huán)節(jié)。本文主要講述了結(jié)合ResNet、RNN以及Attention機(jī)制去完成關(guān)系體抽取任務(wù)。就目前而言,很多有效的實(shí)驗(yàn)普遍僅使用CNN作為encoder,經(jīng)過多層卷積操作后,對池化的結(jié)果進(jìn)行softmax分類。而本文使用RNN,并結(jié)合Attention機(jī)制對最后的結(jié)果做分類。在這個任務(wù)上很少有人將兩者結(jié)合起來去做關(guān)系體抽取任務(wù)。本文模型用RNN結(jié)合Attention對卷積后的結(jié)果進(jìn)行處理,而不是使用卷積神經(jīng)網(wǎng)絡(luò)的最大池化。此模型提高了使用深層CNN在遠(yuǎn)程監(jiān)督的關(guān)系體抽取任務(wù)上的表現(xiàn)。有論文指出在完全監(jiān)督的數(shù)據(jù)集Sem Eval-task8上使用RNN接卷積操作是有效果的,而在遠(yuǎn)程監(jiān)督的數(shù)據(jù)集上受大量噪聲影響,模型的效果并不盡人意。在本文實(shí)驗(yàn)中,結(jié)合ResNet殘差塊的特性,將殘差塊和RNN以及A ttention機(jī)制同時用于遠(yuǎn)程監(jiān)督的關(guān)系體抽取當(dāng)中去。最終,在NYT-Freebase數(shù)據(jù)集上獲得的表現(xiàn)比使用單一模型ResNet的更要好。本文主要的貢獻(xiàn)如下:(1)在弱監(jiān)督關(guān)系體抽取考慮使用復(fù)合模型...

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1.1論文組織結(jié)構(gòu)

圖2.1錨定Fig2.1Anchored

圖3.1神經(jīng)網(wǎng)絡(luò)Fig3.1ArtificialNeuralNetwork

Fig3.1ArtificialNeuralNetwork，人工神經(jīng)元之間的連接處的信號是實(shí)數(shù)，線性函數(shù)來計算。人工神經(jīng)元之間的聯(lián)系稱些權(quán)重在學(xué)習(xí)過程中做調(diào)整。權(quán)重的改變意有閾值，當(dāng)聚合信號超過該閾值時才發(fā)送信對輸入執(zhí)行著不同的操作。信號在多次遍歷輸出層），即前向傳播，如....

圖3.2前向傳播Fig3.2Forwardpropagation

圖3.1神經(jīng)網(wǎng)絡(luò)Fig3.1ArtificialNeuralNetwork現(xiàn)中，人工神經(jīng)元之間的連接處的信號是實(shí)數(shù)，并且的非線性函數(shù)來計算。人工神經(jīng)元之間的聯(lián)系稱為“邊，這些權(quán)重在學(xué)習(xí)過程中做調(diào)整。權(quán)重的改變意味著元具有閾值，當(dāng)聚合信號超過該閾值時才發(fā)送信號。的層對....

本文編號：3993833