隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)上的信息越來(lái)越豐富,也意味著在海量數(shù)據(jù)中快速有效地找到可用信息越來(lái)越困難,人們迫切地需要從海量的非結(jié)構(gòu)化文本數(shù)據(jù)中提取有用的結(jié)構(gòu)化數(shù)據(jù)。為此,信息抽取技術(shù)應(yīng)運(yùn)而生。命名實(shí)體識(shí)別作為信息抽取技術(shù)的重要任務(wù)之一,一直是國(guó)內(nèi)外研究者的工作重點(diǎn)之一。基于此現(xiàn)狀,本文對(duì)于命名實(shí)體識(shí)別進(jìn)行兩方面的研究,其一是英文領(lǐng)域命名實(shí)體識(shí)別的研究,其二是中文法律領(lǐng)域命名實(shí)體識(shí)別的研究。本文的主要研究工作如下:1.在英文命名實(shí)體識(shí)別領(lǐng)域,研究了命名實(shí)體與標(biāo)簽之間的語(yǔ)義關(guān)系,提出了命名實(shí)體與標(biāo)簽語(yǔ)義對(duì)齊模型。首先,引入了標(biāo)簽自身含有的語(yǔ)義,利用注意力機(jī)制捕捉命名實(shí)體與標(biāo)簽之間的語(yǔ)義關(guān)系,通過(guò)強(qiáng)化命名實(shí)體與標(biāo)簽的語(yǔ)義關(guān)系,提升命名實(shí)體識(shí)別的效果;其次設(shè)計(jì)了監(jiān)督式注意力機(jī)制,實(shí)現(xiàn)命名實(shí)體與標(biāo)簽的語(yǔ)義對(duì)齊。最后通過(guò)實(shí)驗(yàn)結(jié)果與分析,本文提出的模型可以實(shí)現(xiàn)更好的效果。2.在英文命名實(shí)體識(shí)別領(lǐng)域,研究了語(yǔ)言模型對(duì)命名實(shí)體識(shí)別任務(wù)的影響,提出了聯(lián)合語(yǔ)言模型的語(yǔ)義增強(qiáng)模型。首先,通過(guò)聯(lián)合語(yǔ)言模型,可以實(shí)現(xiàn)文本序列的語(yǔ)義表示增強(qiáng)。其次,設(shè)計(jì)并搭建了聯(lián)合語(yǔ)言模型的命名實(shí)體識(shí)別模型,對(duì)命名實(shí)體識(shí)別與語(yǔ)言模型進(jìn)... 

【文章來(lái)源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１線性鏈條件隨機(jī)場(chǎng)模型圖??２３

２．２長(zhǎng)短期記憶網(wǎng)絡(luò)??在命名實(shí)體識(shí)別任務(wù)中，循環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）是最??常用的建模模型，其結(jié)構(gòu)圖如圖２－２所示。而長(zhǎng)短期記憶網(wǎng)絡(luò)ＬＳＴＭ［１６］（?Ｌｏｎｇ??Ｓｈｏｒｔ－Ｔｅｒｍ?Ｍｅｍｏｒｙ?Ｎｅｔｗｏｒｋ）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，在一定程度上解決了??循環(huán)神經(jīng)網(wǎng)絡(luò)常見(jiàn)的訓(xùn)練梯度消失和爆炸的問(wèn)題。首先介紹＿模型。??０?０?０??Ｖ?Ｖ?Ｖ??ｓｔ?｝?ｓｔ?ｓｒ＾??ｕ?ｕ?ｕ??ｘ，?ｘ；＋１??圖２－２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??本文根據(jù)圖２－２對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分講解。循環(huán)神經(jīng)網(wǎng)絡(luò)在ｔ時(shí)刻的輸??入為ｘ，，經(jīng)過(guò)神經(jīng)元的處理，計(jì)算得到神經(jīng)元隱藏層的輸出隱藏層的輸出＆??得再經(jīng)由神經(jīng)元的處理輸出得到最終輸出層的輸出〇，。其中，在輸入階段，神經(jīng)??元不僅接收網(wǎng)絡(luò)的輸入，還接收前一時(shí)刻神經(jīng)元的隱藏層輸出Ｉ，。注意，在圖??９??

ＬＳＴＭ模型的單個(gè)神經(jīng)元的門結(jié)構(gòu)設(shè)計(jì)如下圖２－３所示，ｘ，表示當(dāng)前時(shí)刻ｔ??的模型輸入，表示前一時(shí)刻神經(jīng)元的隱藏層輸出，表示前一時(shí)刻神經(jīng)元的??記憶狀態(tài)。ＬＳＴＭ單元的前向計(jì)算過(guò)程描述如下公式所示：??卜?ＣＴ（Ｒ［／２卜丨，Ｘ，］?＋?６，）??ｆｌ＝ａ（Ｗ／［ｈｌ＿］，ｘｌ］＋ｂｆ）??ｃ－ｔ?＝?ｔａｎｌｉ?（）＾．?［ｈ，＾，?ｘ，?］?＋?６Ｃ）?（２－５）??ｃ，＝ｆｔ．ｃ卜?＼＋ｉｔ．ｃｉ??在更新得到當(dāng)前時(shí)刻神經(jīng)元的記憶狀態(tài)之后，利用輸出門對(duì)記憶狀態(tài)進(jìn)行??擇，得到隱藏層輸出，公式如下所示：??〇，＝咖卜Ｍ，ｘ，］＋九）?（２．６）??ｈ，－ｏｒ－?ｔａｎｌｉ?（ｃ，）??■

【參考文獻(xiàn)】：
期刊論文
[1]中文微博命名實(shí)體識(shí)別[J]. 邱泉清,苗奪謙,張志飛.  計(jì)算機(jī)科學(xué). 2013(06)
[2]命名實(shí)體識(shí)別研究進(jìn)展綜述[J]. 孫鎮(zhèn),王惠臨.  現(xiàn)代圖書(shū)情報(bào)技術(shù). 2010(06)
[3]《知網(wǎng)》在命名實(shí)體識(shí)別中的應(yīng)用研究[J]. 鄭逢強(qiáng),林磊,劉秉權(quán),孫承杰.  中文信息學(xué)報(bào). 2008(05)
[4]基于單字提示特征的中文命名實(shí)體識(shí)別快速算法[J]. 馮元勇,孫樂(lè),李文波,張大鯤.  中文信息學(xué)報(bào). 2008(01)
[5]中文機(jī)構(gòu)名稱的識(shí)別與分析[J]. 張小衡,王玲玲.  中文信息學(xué)報(bào). 1997(04)



本文編號(hào)：3417114