命名實(shí)體識(shí)別是信息抽取、機(jī)器翻譯、知識(shí)圖譜等應(yīng)用領(lǐng)域的重要基礎(chǔ)工具,在自然語(yǔ)言處理技術(shù)走向?qū)嵱没^(guò)程中有著重要地位。在中文命名實(shí)體識(shí)別研究落后于英文命名實(shí)體識(shí)別研究以及深度學(xué)習(xí)興起的背景下,本文面向企業(yè)圖譜的構(gòu)建這一目標(biāo),基于深度神經(jīng)網(wǎng)絡(luò)模型,深入研究了圖譜構(gòu)建過(guò)程中涉及的中文命名實(shí)體識(shí)別技術(shù)。論文的主要工作如下:在經(jīng)典的BiLSTM-CRF命名實(shí)體識(shí)別模型的基礎(chǔ)上融入Self-Attention,提出了SA-BiLSTM-CRF模型。實(shí)驗(yàn)證明該模型能夠有效提取遠(yuǎn)距離依賴信息,有著更好的識(shí)別效果。并且發(fā)現(xiàn)BiLSTM與Self-Attention結(jié)合時(shí)使用雙向結(jié)合的方式比單一結(jié)合的方式效果更好。驗(yàn)證了SA-BiLSTM-CRF模型中能夠較好地通過(guò)LSTM學(xué)習(xí)到單詞位置信息而不需要Positin Embedding。發(fā)現(xiàn)Multi-Head機(jī)制則能夠提升模型效果,但是抽頭過(guò)多容易過(guò)擬合。為了將SA-BiLSTM-CRF模型應(yīng)用于標(biāo)注語(yǔ)料較少的企業(yè)領(lǐng)域,針對(duì)標(biāo)注語(yǔ)料少、深度網(wǎng)絡(luò)模型難以訓(xùn)練的問(wèn)題,分別基于遷移學(xué)習(xí)、自學(xué)習(xí)、主動(dòng)學(xué)習(xí)、自學(xué)習(xí)與主動(dòng)學(xué)習(xí)相結(jié)合四種思路提出了四種優(yōu)化策略。實(shí)驗(yàn)驗(yàn)證... 

【文章來(lái)源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

企業(yè)圖譜展示

【參考文獻(xiàn)】：
期刊論文
[1]知識(shí)圖譜構(gòu)建技術(shù)綜述[J]. 劉嶠,李楊,段宏,劉瑤,秦志光.  計(jì)算機(jī)研究與發(fā)展. 2016(03)
[2]遷移學(xué)習(xí)研究進(jìn)展[J]. 莊福振,羅平,何清,史忠植.  軟件學(xué)報(bào). 2015(01)
[3]命名實(shí)體識(shí)別研究進(jìn)展綜述[J]. 孫鎮(zhèn),王惠臨.  現(xiàn)代圖書(shū)情報(bào)技術(shù). 2010(06)
[4]主動(dòng)學(xué)習(xí)研究綜述[J]. 龍軍,殷建平,祝恩,趙文濤.  計(jì)算機(jī)研究與發(fā)展. 2008(S1)



本文編號(hào)：3538424