面向開放領(lǐng)域文本的實(shí)體關(guān)系抽取是一項(xiàng)具有重要研究價(jià)值的自然語言處理任務(wù),它的提出是為了從海量文本中高效準(zhǔn)確地抽取有價(jià)值的實(shí)體關(guān)系信息。遠(yuǎn)程監(jiān)督實(shí)體關(guān)系抽取方法利用遠(yuǎn)程監(jiān)督假設(shè)來自動(dòng)標(biāo)注大量句子,在這些數(shù)據(jù)上構(gòu)建模型,能夠有效地避免有監(jiān)督模型數(shù)據(jù)集規(guī)模過小、領(lǐng)域依賴性強(qiáng)的問題,因此更適用于開放領(lǐng)域文本。然而,由于標(biāo)注數(shù)據(jù)中同時(shí)包含兩個(gè)實(shí)體的句子并不一定就表達(dá)了這兩個(gè)實(shí)體的關(guān)系,導(dǎo)致噪音句子的產(chǎn)生,給遠(yuǎn)程監(jiān)督實(shí)體關(guān)系抽取模型帶來了挑戰(zhàn)�；诰渥訉用孀⒁饬C(jī)制的分段卷積神經(jīng)網(wǎng)絡(luò)（Piecewise Convolutional Neural Network With Sentence-level Attention,PCNN+ATT）模型是目前常用的遠(yuǎn)程監(jiān)督關(guān)系抽取模型,它為句子分配權(quán)重以抑制噪音句子的干擾,但仍存在兩個(gè)不足。其一是采用PCNN模塊作為句子編碼器,所提取的特征僅包含局部的上下文信息,會(huì)導(dǎo)致語義信息的丟失;其二是忽略了詞語層面的注意力權(quán)重,會(huì)導(dǎo)致句子向量對(duì)句子語義的表達(dá)不夠準(zhǔn)確。針對(duì)這兩個(gè)不足,本文提出了基于層次化注意力機(jī)制的雙向GRU（Hierarchical Attentio... 

【文章來源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：70 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

( ) ( ) 出，RNN 的輸出值 是受前面各個(gè)時(shí)刻的輸入值 、 值 包含了它們的信息，這正是 RNN 能夠具有長期記憶的失和梯度爆炸型的訓(xùn)練最常用的優(yōu)化算法是隨時(shí)間反向傳播算法（ ）[33]-[34]，首先在前向傳播后計(jì)算得到輸出值與實(shí)際值之間層級(jí)（輸入層 => 隱藏層 => 輸出層）梯度的縱向傳播和時(shí)的橫向傳播兩方面考慮，利用鏈?zhǔn)椒▌t來計(jì)算誤差 關(guān)于參數(shù)優(yōu)化。

GRU網(wǎng)絡(luò)

【參考文獻(xiàn)】：
期刊論文
[1]實(shí)體關(guān)系抽取研究綜述[J]. 劉紹毓,李弼程,郭志剛,王波,陳剛.  信息工程大學(xué)學(xué)報(bào). 2016(05)
[2]數(shù)據(jù)驅(qū)動(dòng)的依存句法分析方法研究[J]. 李正華,李渝勤,劉挺,車萬翔.  智能計(jì)算機(jī)與應(yīng)用. 2013(05)



本文編號(hào)：3321800