事件抽取是信息抽取領(lǐng)域重要的任務(wù)之一,其主要任務(wù)是從非結(jié)構(gòu)化信息中抽取出結(jié)構(gòu)化的事件信息。目前隨著互聯(lián)網(wǎng)的快速發(fā)展,互聯(lián)網(wǎng)文本數(shù)據(jù)也呈現(xiàn)井噴式發(fā)展,因此抽取結(jié)構(gòu)化事件信息有著極其重要的意義。事件抽取任務(wù)分為兩個子任務(wù):事件類型檢測和事件論元抽取。傳統(tǒng)方法將它們作為分類任務(wù),主要分為串聯(lián)和聯(lián)合兩種方式,依賴人工特征或深度學(xué)習(xí)來完成任務(wù)。本研究課題基于深度學(xué)習(xí)算法,以串聯(lián)模型的方式,首次將兩個子任務(wù)轉(zhuǎn)換為兩個序列標注任務(wù),主要研究內(nèi)容和研究成果如下:1)在事件類型檢測任務(wù)中,提出一種基于先驗知識和自注意力機制的序列標注模型。利用觸發(fā)詞先驗知識來控制端到端模型的學(xué)習(xí)過程,提高模型的可解釋性。先驗知識幫助模型降低非觸發(fā)詞帶來的噪聲,增加候選觸發(fā)詞的權(quán)重。利用自注意力機制充分學(xué)習(xí)句子內(nèi)部詞語之間的相互依賴關(guān)系,解決串聯(lián)模型事件觸發(fā)詞識別過程中不能充分利用事件論元信息的問題,進而提高了事件類型檢測的準確性。2)在事件論元抽取任務(wù)中,設(shè)計一種基于自注意力機制的序列標注模型,根據(jù)已經(jīng)檢測出的事件觸發(fā)詞及對應(yīng)的觸發(fā)詞信息,利用自注意力機制充分學(xué)習(xí)事件論元與觸發(fā)詞之間的關(guān)聯(lián)程度,有效完成事件論元抽取任務(wù)。... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１全局注意力機制??（５）局部注意力機制??

就使得當(dāng)遠離窗口中心的時候，單詞權(quán)重就會衰減，也就是更加重視ｐｔ附近的??隱藏層輸出。除此之外，與全局注意力機制不同的是，因為只考慮窗口內(nèi)的信息，??所以七的大小是固定的且等于２Ｄ＋１。圖２－２是局部注意力機制的結(jié)構(gòu)圖：??ｙｔ??１??Ｉ?上下文向量?ｉ??Ｉ?全局權(quán)重?？苗??Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ?Ｔ??源端?目標端??圖２－２局部注意力機制??２．１．２自注意力機制??循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器的輸入是長度為Ｔ的序列（Ｘｌ，?．．．，Ｘｒ），通常經(jīng)過循環(huán)神??經(jīng)網(wǎng)絡(luò)之后映射為對應(yīng)的隱藏層狀態(tài)序列，／１７〇。自注意力機制的目標與編??１１??

??圖３－１中展示了事件類型檢測的序列標注的抽取結(jié)果。事件檢測系統(tǒng)的輸入??是一個單獨的句子，經(jīng)過序列標注之后，系統(tǒng)輸出結(jié)果是：｛觸發(fā)詞：ｄｉｅｄ（去世），??事件類型：Ｄｉｅ?（死亡）｝，這里表示觸發(fā)詞“去世”觸發(fā)的事件類型是“Ｍｅｅｔ?（死??亡）”。??３．３基于先驗知識和自注意力機制的事件類型檢測模型??本節(jié)將詳細介紹本研究課題提出序列標注模型，由于本研究課題對事件抽取??的兩個子任務(wù)事件類型檢測和事件論元抽取采用的是串聯(lián)的方式進行解決的，兩??個子任務(wù)的序列標注模型結(jié)構(gòu)相似，都是基于自注意力機制的。為了減緩串聯(lián)方??式中的誤差積累，模型設(shè)計時針對事件類型檢測的模型相對更為復(fù)雜一些，所以??本節(jié)主要詳細介紹事件類型檢測的模型結(jié)構(gòu)，在第四章中則基于本節(jié)介紹的模型，??補充介紹用于事件論元抽取的模型的不同。??（??ｔ??Ｓｏｆｔｍａｘ??■＿?—??；??；?？層歸一化?＞??；?會?！??（?自注意力子層?］?！??！?｜?Ｎ－１?層??ｉ?——：??；??＞１?層歸一化??：?——」?——?：??；??非線

【參考文獻】：
期刊論文
[1]A language-independent neural network for event detection[J]. Xiaocheng FENG,Bing QIN,Ting LIU.  Science China（Information Sciences）. 2018(09)



本文編號：3257440