隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)上的信息越來越豐富,也意味著在海量數(shù)據(jù)中快速有效地找到可用信息越來越困難,人們迫切地需要從海量的非結(jié)構(gòu)化文本數(shù)據(jù)中提取有用的結(jié)構(gòu)化數(shù)據(jù)。為此,信息抽取技術(shù)應(yīng)運而生。命名實體識別作為信息抽取技術(shù)的重要任務(wù)之一,一直是國內(nèi)外研究者的工作重點之一。基于此現(xiàn)狀,本文對于命名實體識別進(jìn)行兩方面的研究,其一是英文領(lǐng)域命名實體識別的研究,其二是中文法律領(lǐng)域命名實體識別的研究。本文的主要研究工作如下:1.在英文命名實體識別領(lǐng)域,研究了命名實體與標(biāo)簽之間的語義關(guān)系,提出了命名實體與標(biāo)簽語義對齊模型。首先,引入了標(biāo)簽自身含有的語義,利用注意力機(jī)制捕捉命名實體與標(biāo)簽之間的語義關(guān)系,通過強(qiáng)化命名實體與標(biāo)簽的語義關(guān)系,提升命名實體識別的效果;其次設(shè)計了監(jiān)督式注意力機(jī)制,實現(xiàn)命名實體與標(biāo)簽的語義對齊。最后通過實驗結(jié)果與分析,本文提出的模型可以實現(xiàn)更好的效果。2.在英文命名實體識別領(lǐng)域,研究了語言模型對命名實體識別任務(wù)的影響,提出了聯(lián)合語言模型的語義增強(qiáng)模型。首先,通過聯(lián)合語言模型,可以實現(xiàn)文本序列的語義表示增強(qiáng)。其次,設(shè)計并搭建了聯(lián)合語言模型的命名實體識別模型,對命名實體識別與語言模型進(jìn)... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１線性鏈條件隨機(jī)場模型圖??２３

２．２長短期記憶網(wǎng)絡(luò)??在命名實體識別任務(wù)中，循環(huán)神經(jīng)網(wǎng)絡(luò)ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ）是最??常用的建模模型，其結(jié)構(gòu)圖如圖２－２所示。而長短期記憶網(wǎng)絡(luò)ＬＳＴＭ［１６］（?Ｌｏｎｇ??Ｓｈｏｒｔ－Ｔｅｒｍ?Ｍｅｍｏｒｙ?Ｎｅｔｗｏｒｋ）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，在一定程度上解決了??循環(huán)神經(jīng)網(wǎng)絡(luò)常見的訓(xùn)練梯度消失和爆炸的問題。首先介紹＿模型。??０?０?０??Ｖ?Ｖ?Ｖ??ｓｔ?｝?ｓｔ?ｓｒ＾??ｕ?ｕ?ｕ??ｘ，?ｘ；＋１??圖２－２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??本文根據(jù)圖２－２對循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分講解。循環(huán)神經(jīng)網(wǎng)絡(luò)在ｔ時刻的輸??入為ｘ，，經(jīng)過神經(jīng)元的處理，計算得到神經(jīng)元隱藏層的輸出隱藏層的輸出＆??得再經(jīng)由神經(jīng)元的處理輸出得到最終輸出層的輸出〇，。其中，在輸入階段，神經(jīng)??元不僅接收網(wǎng)絡(luò)的輸入，還接收前一時刻神經(jīng)元的隱藏層輸出Ｉ，。注意，在圖??９??

ＬＳＴＭ模型的單個神經(jīng)元的門結(jié)構(gòu)設(shè)計如下圖２－３所示，ｘ，表示當(dāng)前時刻ｔ??的模型輸入，表示前一時刻神經(jīng)元的隱藏層輸出，表示前一時刻神經(jīng)元的??記憶狀態(tài)。ＬＳＴＭ單元的前向計算過程描述如下公式所示：??卜?ＣＴ（Ｒ［／２卜丨，Ｘ，］?＋?６，）??ｆｌ＝ａ（Ｗ／［ｈｌ＿］，ｘｌ］＋ｂｆ）??ｃ－ｔ?＝?ｔａｎｌｉ?（）＾．?［ｈ，＾，?ｘ，?］?＋?６Ｃ）?（２－５）??ｃ，＝ｆｔ．ｃ卜?＼＋ｉｔ．ｃｉ??在更新得到當(dāng)前時刻神經(jīng)元的記憶狀態(tài)之后，利用輸出門對記憶狀態(tài)進(jìn)行??擇，得到隱藏層輸出，公式如下所示：??〇，＝咖卜Ｍ，ｘ，］＋九）?（２．６）??ｈ，－ｏｒ－?ｔａｎｌｉ?（ｃ，）??■

【參考文獻(xiàn)】：
期刊論文
[1]中文微博命名實體識別[J]. 邱泉清,苗奪謙,張志飛.  計算機(jī)科學(xué). 2013(06)
[2]命名實體識別研究進(jìn)展綜述[J]. 孫鎮(zhèn),王惠臨.  現(xiàn)代圖書情報技術(shù). 2010(06)
[3]《知網(wǎng)》在命名實體識別中的應(yīng)用研究[J]. 鄭逢強(qiáng),林磊,劉秉權(quán),孫承杰.  中文信息學(xué)報. 2008(05)
[4]基于單字提示特征的中文命名實體識別快速算法[J]. 馮元勇,孫樂,李文波,張大鯤.  中文信息學(xué)報. 2008(01)
[5]中文機(jī)構(gòu)名稱的識別與分析[J]. 張小衡,王玲玲.  中文信息學(xué)報. 1997(04)



本文編號：3417114