命名實(shí)體識(shí)別是自然語(yǔ)言處理領(lǐng)域的核心基礎(chǔ)性任務(wù)之一,其任務(wù)是從文本中提取特定類型的實(shí)體。在信息檢索、問(wèn)答系統(tǒng)、信息抽取、文本挖掘、輿情分析等下游自然語(yǔ)言處理任務(wù)中具有重要的科學(xué)意義和廣泛的應(yīng)用價(jià)值。從目前已有的研究成果來(lái)看,命名實(shí)體識(shí)別研究在專有領(lǐng)域（社交媒體、醫(yī)療領(lǐng)域）識(shí)別的結(jié)果,受困于高質(zhì)量標(biāo)注語(yǔ)料規(guī)模小的現(xiàn)狀,對(duì)比傳統(tǒng)領(lǐng)域性能更差。使得專有領(lǐng)域命名實(shí)體識(shí)別成為一個(gè)有挑戰(zhàn)性的研究領(lǐng)域。如何進(jìn)行命名實(shí)體識(shí)別的領(lǐng)域適應(yīng)性遷移,提高專有領(lǐng)域模型的性能是本課題的主要研究?jī)?nèi)容。本文主要研究?jī)?nèi)容包括:（1）綜述命名實(shí)體識(shí)別的研究背景及發(fā)展歷程,分析比較常見(jiàn)命名實(shí)體模型的性能優(yōu)劣,并闡述了遷移學(xué)習(xí)在命名實(shí)體識(shí)別領(lǐng)域適應(yīng)性研究的可行性。（2）對(duì)基于深度學(xué)習(xí)的命名實(shí)體識(shí)別模型算法Bi LSTM-CRF模型進(jìn)行歸納并改進(jìn),通過(guò)Glove語(yǔ)言模型將字符文本轉(zhuǎn)化為低維稠密向量,同時(shí)利用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)提取字符級(jí)別的特征,將字詞結(jié)合的向量表示利用CRF層計(jì)算并輸出最優(yōu)標(biāo)記序列。構(gòu)建端到端的實(shí)體識(shí)別模型。（3）設(shè)計(jì)并實(shí)現(xiàn)了ERNIE-Bi GRU-CRF模型。針對(duì)深度學(xué)習(xí)方法處理命名實(shí)體識(shí)別任務(wù)時(shí),經(jīng)典的詞... 

【文章來(lái)源】：山東理工大學(xué)山東省

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
        1.1.1 課題來(lái)源及意義
        1.1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.2 主要研究?jī)?nèi)容
    1.3 論文組織結(jié)構(gòu)
    1.4 本章小結(jié)
第二章 問(wèn)題描述及相關(guān)技術(shù)
    2.1 命名實(shí)體識(shí)別
        2.1.1 形式化定義
        2.1.2 命名實(shí)體標(biāo)簽集合
        2.1.3 評(píng)估指標(biāo)
    2.2 神經(jīng)網(wǎng)絡(luò)
        2.2.1 神經(jīng)網(wǎng)絡(luò)概述
        2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.3 文本表示
        2.3.1 語(yǔ)言模型
        2.3.2 word2vec
        2.3.3 Glove語(yǔ)言模型
    2.4 遷移學(xué)習(xí)
        2.4.1 遷移學(xué)習(xí)基本概念
        2.4.2 遷移學(xué)習(xí)方法
    2.5 條件隨機(jī)場(chǎng)
    2.6 本章小結(jié)
第三章 結(jié)合預(yù)訓(xùn)練和深度學(xué)習(xí)的命名實(shí)體識(shí)別模型
    3.1 RNN-CRF命名實(shí)體識(shí)別框架
        3.1.1 框架結(jié)構(gòu)
        3.1.2 性能測(cè)試
    3.2 基于ERNIE-BIGRU-CRF的中文命名實(shí)體識(shí)別模型
        3.2.1 ERNIE-BiGRU-CRF模型
        3.2.2 ERNIE預(yù)訓(xùn)練語(yǔ)言模型
        3.2.3 門控循環(huán)單元網(wǎng)絡(luò)
        3.2.4 CRF層
    3.3 模型訓(xùn)練及參數(shù)配置
        3.3.1 實(shí)驗(yàn)環(huán)境
        3.3.2 模型優(yōu)化算法及參數(shù)配置
    3.4 實(shí)驗(yàn)結(jié)果與分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        3.4.2 不同模型的對(duì)比實(shí)驗(yàn)
    3.5 本章小結(jié)
第四章 TL-BILSTM-CRF遷移學(xué)習(xí)模型命名實(shí)體識(shí)別框架
    4.1 TL-BILSTM-CRF遷移學(xué)習(xí)模型
        4.1.1 字詞結(jié)合的表示層
        4.1.2 詞適應(yīng)層
        4.1.3 CRF層
    4.2 模型訓(xùn)練與實(shí)驗(yàn)環(huán)境配置
        4.2.1 參數(shù)初始化
        4.2.2 實(shí)驗(yàn)環(huán)境配置
    4.3 結(jié)果分析
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.3.2 模型性能分析
        4.3.3 對(duì)比實(shí)驗(yàn)
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 展望未來(lái)
參考文獻(xiàn)
在讀期間公開(kāi)發(fā)表的論文
致謝



本文編號(hào)：3158697