指代消解是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)關(guān)鍵任務(wù),準(zhǔn)確無(wú)歧義的指代消解能促進(jìn)對(duì)篇章語(yǔ)義的整體理解,對(duì)于信息抽取、自動(dòng)摘要、問(wèn)答系統(tǒng)以及機(jī)器翻譯等自然語(yǔ)言應(yīng)用有著極為重要的基礎(chǔ)支撐作用。近年來(lái),隨著深度學(xué)習(xí)的興起和發(fā)展,越來(lái)越多的學(xué)者和研究人員開(kāi)始使用深度學(xué)習(xí)進(jìn)行指代消解。深度學(xué)習(xí)模型由于其強(qiáng)大的擬合能力,相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)模型有著巨大優(yōu)勢(shì)。但現(xiàn)階段用于指代消解的深度學(xué)習(xí)模型大多只關(guān)注文本的線性表征,而大量的研究表明結(jié)構(gòu)信息對(duì)指代消解任務(wù)來(lái)說(shuō)至關(guān)重要。因此,本文從結(jié)構(gòu)信息的角度對(duì)中英文實(shí)體指代消解展開(kāi)了以下研究:（1）先進(jìn)神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建。本文對(duì)目前在實(shí)體指代消解任務(wù)上表現(xiàn)最好的神經(jīng)網(wǎng)絡(luò)進(jìn)行了重新構(gòu)建,對(duì)其中的耗時(shí)操作進(jìn)行了改進(jìn)。在使用相同設(shè)置的情況下,改進(jìn)后的模型相比于原模型在訓(xùn)練時(shí)間與資源利用率上更具優(yōu)勢(shì)。在該模型的基礎(chǔ)上,提出了以下兩種結(jié)構(gòu)嵌入方式。（2）提出基于壓縮成分句法樹(shù)的結(jié)構(gòu)嵌入方式。針對(duì)原始成分句法樹(shù)結(jié)點(diǎn)眾多、結(jié)構(gòu)復(fù)雜,會(huì)存在大量與實(shí)體指代消解任務(wù)無(wú)關(guān)的冗余信息的問(wèn)題,提出了一種針對(duì)成分句法樹(shù)的壓縮算法。該方法大大減少了原始句法樹(shù)中冗余結(jié)點(diǎn)的數(shù)量,精簡(jiǎn)了樹(shù)的結(jié)構(gòu)。以深度與左右兄... 

【文章來(lái)源】：蘇州大學(xué)江蘇省

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１中文指代示例??

端到端實(shí)體指代消解及相關(guān)技術(shù)研宄?第二章相關(guān)理論及方法??表述對(duì)表示??〇〇〇〇〇〇〇〇ｐ〇〇〇〇〇〇〇??—隱藏層卜?｜?ＲｅＬＵ〇？ｙ？；＋ｆｔ３）??〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇??．隱藏層Ａ，?｜?ＲｅＬＵ＾／ｔ．＋ｆｔ，）??〇〇〇〇〇〇〇０＞〇〇〇〇〇〇〇〇??－輸入層心?Ｉ?ＲｅＬＵｔ＾ｉ／ｉｕ＋ｆｔ！）??［ｉｍ?…ｍｉ?ｔ〇ａ．?！〇ａ?［＾ｏ?ｉｎ＾?１??候選先行詞嵌入候選先行詞表述嵌入表述特征表述對(duì)特征??特征?及文檔特征??圖２－３表述對(duì)編碼器??實(shí)體對(duì)表示ｄｅ；：）?〇〇〇〇?????＾?Ｉ??“池化??ｌＯＯＯＯ＾＾ＲＩ??表述對(duì)表示／Ｍｅ：；）?［ｏｏｏｏｊｃｃ＾述對(duì)ｃ，??丨〇〇〇〇Ｋ￣＾＾??圖２－４實(shí)體對(duì)編碼器??同樣也需要汁算－個(gè)及述不存在先行詞的吋能性：??ｓｎａＯ＾）?＝?ＷＮＡｒｍ（ＮＡ，ｍ）?＋?ｂＮＡ?（２．３５）??基于＆與＾作者定義了兩種操作：“合并”（合并兩個(gè)部分實(shí)體）與“無(wú)操作”。推??理時(shí)，取得分最高的操作執(zhí)行。??４．?Ｃｌａｒｋ?ａｎｄ?Ｍａｎｎｉｎｇ?（２０１６ｂ）??上文提到的表述排序模型通常使用啟發(fā)式的損失函數(shù)進(jìn)行訓(xùn)練。假設(shè)對(duì)ｆ－及??述ｍ，，Ｃ（ｍ，）表示ｍ，？的候選先行詞集合，ｇ卩ｍ，之前的表述與ＮＡ構(gòu)成的集合；７￣（ｍ，）表??示ｍ，？正確的先行詞集合，當(dāng)ｍ，■不存在任何先行詞時(shí)，Ｔ（ｍ，．）?＝?｜Ｍ４｝。類(lèi)似？公式??ｉｓ??

法樹(shù)的結(jié)構(gòu)嵌入?端到端實(shí)體指代消解及相關(guān)技術(shù)研宄??第四章基于壓縮成分句法樹(shù)的結(jié)構(gòu)嵌入??本文首先給出了結(jié)構(gòu)嵌入用于指代消解任務(wù)的研宄動(dòng)機(jī)，然后介紹了成分句法??樹(shù)壓縮算法的定義及流程。最終將基于壓縮成分句法樹(shù)的結(jié)構(gòu)嵌入加入到模型中，??并通過(guò)實(shí)驗(yàn)驗(yàn)證算法的有效性。??４．１研究動(dòng)機(jī)??大量的研宄表明結(jié)構(gòu)信息對(duì)于指代消解任務(wù)來(lái)說(shuō)至關(guān)重要ｍ５６１。同時(shí)語(yǔ)料中存??在的大量的表述間嵌套情況也能側(cè)面反映結(jié)構(gòu)信息的普遍性與研究意義。因此，如??何加入合適的結(jié)構(gòu)信息便成為了本章的目標(biāo)。圖４－１展示了ＣｏＮＬＬ?２０１２語(yǔ)料集中出??現(xiàn)的一段表述間嵌套的情況。??｜香港｜，一肓以來(lái)被Ｍ以好萊塢的稱號(hào)。｜香港｜電影在過(guò)去百年的電影史上，??孕育出了不少國(guó)際知名的導(dǎo)演，演員和編劇，他們拉近了｜香港丨和世界的距離，??｜香港｜電影更成為讓世界了解的一扇窗戶，令｜香港ｊ的大都會(huì)形象在國(guó)京間更為??彰顯。因此，二零零四年旅游發(fā)展局在這個(gè)本來(lái)只為觀賞香港島和維多利亞灣貴??色而建的海濱長(zhǎng)廊卜．，又建造了這條印記著百年電影史的｜星光大道｜。游客??們可以在Ｉ這里Ｉ?了解Ｉ香港丨的電影史，也可以在Ｉ這里Ｉ近距離地接觸自己心目中的明??星。??圖４－１語(yǔ)料中出現(xiàn)的表述嵌套情況??加入結(jié)構(gòu)信息最直接的方式便是使用成分句法樹(shù)。但是原始的成分句法樹(shù)的結(jié)??點(diǎn)眾多，結(jié)構(gòu)復(fù)雜，對(duì)于指代消解任務(wù)來(lái)說(shuō)可能過(guò)于冗余，我們或許只需要關(guān)鍵表??述間的結(jié)構(gòu)信息或者層次關(guān)系，亦如圖４－１所示�；谶@個(gè)假設(shè)，我們使用深度作為??結(jié)構(gòu)信息的一種反映，對(duì)ＣｏＮＬＬ?２０１２中英文訓(xùn)練集的成分句法樹(shù)進(jìn)行了統(tǒng)計(jì)，如表??４－１所示。??從表４－丨可知，葉結(jié)點(diǎn)的平均深度約

【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的維吾爾語(yǔ)名詞短語(yǔ)指代消解[J]. 李敏,禹龍,田生偉,吐?tīng)柛ひ啦祭?趙建國(guó).  自動(dòng)化學(xué)報(bào). 2017(11)
[2]基于深度學(xué)習(xí)的維吾爾語(yǔ)人稱代詞指代消解[J]. 李冬白,田生偉,禹龍,吐?tīng)柛ひ啦祭?馮冠軍.  中文信息學(xué)報(bào). 2017(04)
[3]基于Deep Learning的代詞指代消解[J]. 奚雪峰,周?chē)?guó)棟.  北京大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(01)
[4]基于樹(shù)核函數(shù)的中英文代詞消解[J]. 孔芳,周?chē)?guó)棟.  軟件學(xué)報(bào). 2012(05)
[5]指代消解綜述[J]. 孔芳,周?chē)?guó)棟,朱巧明,錢(qián)培德.  計(jì)算機(jī)工程. 2010(08)



本文編號(hào)：3249433