事件抽取任務(wù)旨在從給定的自然語(yǔ)言文本中抽取出指定類(lèi)型的事件信息,并形成結(jié)構(gòu)化表達(dá),有助于自動(dòng)文摘、自然語(yǔ)言生成等任務(wù)。由于在復(fù)雜的自然文本中獲取事件語(yǔ)義信息困難,事件抽取是一個(gè)具有挑戰(zhàn)的任務(wù)。本文主要從表示學(xué)習(xí)層面對(duì)事件抽取任務(wù)展開(kāi)深入研究,主要研究?jī)?nèi)容包括以下三個(gè)方面:（1）目前,大多數(shù)事件觸發(fā)詞抽取方法專(zhuān)注于捕獲序列中的長(zhǎng)距離和局部信息,忽略了論元對(duì)觸發(fā)詞抽取的影響。針對(duì)這個(gè)問(wèn)題,本文提出了一種基于論元序列表示的事件觸發(fā)詞抽取方法。首先,根據(jù)事件類(lèi)型的分布概率篩選出候選論元,并利用基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)能捕獲序列中重要線索的特點(diǎn),提取序列中對(duì)觸發(fā)詞抽取貢獻(xiàn)最大的候選論元;其次,結(jié)合該候選論元和利用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型獲得觸發(fā)詞的上下文表示來(lái)抽取觸發(fā)詞。在ACE2005上的實(shí)驗(yàn)結(jié)果表明,該方法降低了噪聲實(shí)體對(duì)事件觸發(fā)詞抽取的干擾,取得了與目前最優(yōu)觸發(fā)詞抽取系統(tǒng)相當(dāng)?shù)男阅�。�?）針對(duì)基于標(biāo)注實(shí)體信息的事件觸發(fā)詞抽取方法缺乏實(shí)用性的問(wèn)題,本文提出了一種基于混合神經(jīng)網(wǎng)絡(luò)、面向生語(yǔ)料的事件觸發(fā)詞抽取方法。首先,采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)層對(duì)輸入進(jìn)行編碼;其次,通過(guò)共享信息將獲得的實(shí)體上下文... 

【文章來(lái)源】：蘇州大學(xué)江蘇省

【文章頁(yè)數(shù)】：68 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３－１?ＲＮＮ－ＡＲＧ模型用于事件觸發(fā)詞抽取任務(wù)，“ｄｉｅｄ”為候選觸發(fā)詞，ｔ；和ｂ、是??ＢｉＬＳＴＭ的輸出，ｒ是經(jīng)過(guò)注意力機(jī)制后的輸出??

—?＋?」??Ｉ?？ＣＴ?ｓｌｉｍ????ＣＲＦ?ｌａｙｅｒ?????Ｉ?＾?ＧａｔｅｄＣＮＮ?￣??丨參魯籲＞?籲籲籲１?——??“?｜??個(gè)?Ｍｅｒ?兌?ｅ???［ＭＡ?：???Ｊ????Ｍｕｌ－Ａｔｔ?Ｉ??Ｂｉ－ＬＳＴＭ??Ｚ?￣Ａ?ｌ???＾Ｃ＾ｃｏｎｃａＴ］＾???＾￣?＾?????ＣＮＮ?Ｐｏｏｌ??１?，?．?］?Ｔ＾??Ｃｈａｒ?－ｍｂｅｄ?ｌ、ｎ］ｂｅｄ??圖４－１混合神經(jīng)網(wǎng)絡(luò)的事件觸發(fā)詞抽取結(jié)構(gòu)圖??４．２．１編碼層??在編碼層中，對(duì)于句中每個(gè)詞，本文使用谷歌預(yù)訓(xùn)練的＼Ｖｏｒｄ２Ｖｅｃ對(duì)應(yīng)詞向量進(jìn)??行初始化，作為事件抽取模塊的輸入。??ＢｉＬＳＴＭ編碼層包括前向ＬＳＴＭ層，后向ＬＳＴＭ層，前者學(xué)習(xí)前向的序列信息，??后者則學(xué)習(xí)后向的序列信息。雙向ＬＳＴＭ中的？個(gè)輸入序列可以表示為ｘ?＝??．．．，ｘｎ｝，其中ｘｔｅ?是句子中第ｔ個(gè)詞的ｄ維向量，ｎ是給定句子的長(zhǎng)度。然??后，經(jīng)過(guò)兩個(gè)平行的ＬＳＴＭ層，分別從相反的方向?qū)斎脒M(jìn)行編碼，捕獲序列中的長(zhǎng)??遠(yuǎn)依賴關(guān)系。對(duì)于每個(gè)詞ｘｔ，前向ＬＳＴＭ層和后向ＬＳＴＭ層各自產(chǎn)生？個(gè)隱藏層的??２７??

ｆ°＇ｅ??廣?？?？?＊Ａ?＝?：?．？＠？＠？？０：??ｉｕ?Ｓ?Ｕ?１?圔?ｆｔｌ?ｎ?Ｘ７１??＼?＜ｕｎｋ?＾?￣???？?ｔＴ?Ｌａｈｅｌｉｉｔｆ；??？?４＾ｑｑ〇ｑｑｑｑ?）??Ｉ?°＂?——Ｅｍｂｅｄ——？?Ｚ??Ｌ＊?，Ｗ，＊?，豐．．Ｉｆｆ—??卜?３??ｒ?２—（ｏｏｏｃｘｘｘ））??，ｒａ，ｗｗｗ?？?＇??＾－＾ｎｏｓｉｔｉｏｎａｌ?ｗｏｒｄ?＼??（ＯＯＱＱＱＯＯ）??Ｔｒｉｇｇｅｒ?Ｏａｓｓｉｆｉｃａｒｉｏｎ??圖５－１實(shí)體和事件抽取的結(jié)構(gòu)圖??實(shí)體抽取模塊；（３）事件觸發(fā)詞抽取模塊；（４）事件論元抽取模塊。在整個(gè)模型中有??兩個(gè)部分的聯(lián)合學(xué)習(xí)：（１）實(shí)體和事件抽取的聯(lián)合學(xué)習(xí)；（２）觸發(fā)詞和論元抽取的聯(lián)??合學(xué)習(xí)。前者通過(guò)共享雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)層，在訓(xùn)練時(shí)，通過(guò)參數(shù)反向傳播實(shí)??現(xiàn)兩個(gè)任務(wù)的依賴，學(xué)習(xí)到實(shí)體和事件之間的豐富聯(lián)系。后者通過(guò)共享圖卷積網(wǎng)絡(luò)層??來(lái)學(xué)習(xí)句法結(jié)構(gòu)中節(jié)點(diǎn)上下文的表示向量，通過(guò)短弧將不同觸發(fā)詞和論元聯(lián)系在一起，??縮短了信息傳遞路徑，從而捕獲觸發(fā)詞和論元之間的聯(lián)系以及句子中不同事件觸發(fā)詞??之間的聯(lián)系。??本文采用和第四章中一樣的命名實(shí)體識(shí)別模型，即基于條件隨機(jī)場(chǎng)的雙向長(zhǎng)短時(shí)??記憶神經(jīng)網(wǎng)絡(luò)模型。輸入模塊中，首先對(duì)句子中每個(gè)詞的字符賦予一個(gè)長(zhǎng)度固定但隨??機(jī)初始化的向量，然后將每一個(gè)詞對(duì)應(yīng)的字符向量輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積和最??大池化操作后，獲得每個(gè)詞的字符表示向量。然后將詞向量和字符表示向量串聯(lián)在一??起送入到雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)中，獲得序列的隱層向量表示，饋送到實(shí)體抽取模??塊中，通過(guò)線性條件隨機(jī)場(chǎng)１４１１?（Ｃｈ


本文編號(hào)：2961648