命名實(shí)體識別任務(wù)是生物醫(yī)學(xué)文本挖掘中基礎(chǔ)且重要的任務(wù)之一,其對于實(shí)體識別的準(zhǔn)確率會影響后續(xù)利用相關(guān)醫(yī)學(xué)領(lǐng)域信息的效率,如關(guān)系抽取和事件抽取等相關(guān)任務(wù)的效率會受到影響。在現(xiàn)在的命名實(shí)體識別任務(wù)中,大多數(shù)使用的方法是神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場結(jié)合的方法,神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)機(jī)器學(xué)習(xí)方法的好處在于不需要大量人工參與避免了特征構(gòu)造的資源浪費(fèi)。但是,目前大多數(shù)模型存在幾個問題:一、時序特征獲取不充分,深層隱含信息獲取不全面。忽略了文本的局部特征,生物醫(yī)學(xué)文獻(xiàn)普遍句式較長,存在大量冗余虛詞,重要的詞匯混在大量虛詞中,使得識別變得更加困難。二、空間局部特征使用不完全,以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為代表的空間局部特征提取模型為例,模型速度快,但信息獲取不全,容易丟失重要信息,識別效果不佳。故本文從改進(jìn)模型結(jié)構(gòu)入手,我們提出了一個基于雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（BiLSTM）和卷積神經(jīng)網(wǎng)絡(luò)的集成模型,并使用了注意力機(jī)制（Attention）和擴(kuò)張卷積核對這兩個模型分別進(jìn)行了改進(jìn),以增加關(guān)鍵信息的權(quán)重并獲得更廣泛的信息。集成模型BiLSTM-ATT-HDC中的兩個模型,一個是BiLSTM-ATT-CRF模型,是基于BiLST... 

【文章來源】：大連海事大學(xué)遼寧省 211工程院校

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 基于詞典和規(guī)則的方法
        1.2.2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法
        1.2.3 基于深度學(xué)習(xí)的方法
    1.3 本文研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論概述
    2.1 詞表示
        2.1.1 one-hot向量表示
        2.1.2 分布式詞向量表示
    2.2 條件隨機(jī)場
        2.2.1 條件隨機(jī)場算法原理
        2.2.2 條件隨機(jī)場算法的優(yōu)缺點(diǎn)
    2.3 神經(jīng)網(wǎng)絡(luò)
        2.3.1 前饋神經(jīng)網(wǎng)絡(luò)
        2.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.3.3 卷積神經(jīng)網(wǎng)絡(luò)
        2.3.4 Dropout和優(yōu)化方法
    2.4 本章小結(jié)
3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的命名實(shí)體識別
    3.1 引言
    3.2 特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)
        3.2.1 長短時記憶神經(jīng)網(wǎng)絡(luò)
        3.2.2 雙向長短時記憶神經(jīng)網(wǎng)絡(luò)
    3.3 基于BiLSTM-ATT-CRF的生物醫(yī)學(xué)命名實(shí)體識別
        3.3.1 BiLSTM-CRF框架
        3.3.2 Attention思想
        3.3.3 Attention機(jī)制公式
    3.4 結(jié)果分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)與評價指標(biāo)
        3.4.2 實(shí)驗(yàn)設(shè)計(jì)
        3.4.3 BiLSTM-ATT-CRF模型結(jié)果分析
    3.5 本章小結(jié)
4 基于集成模型的命名實(shí)體識別
    4.1 引言
    4.2 BiLSTM-ATT-HDC集成模型
        4.2.1 總體模型架構(gòu)
        4.2.2 HDCNN-CRF模型
    4.3 結(jié)果分析
        4.3.1 HDCNN-CRF模型結(jié)果分析
        4.3.2 BiLSTM-ATT-HDC集成模型結(jié)果分析
    4.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝
作者簡歷及攻讀碩士學(xué)位期間的科研成果


【參考文獻(xiàn)】：
期刊論文
[1]生物醫(yī)學(xué)命名實(shí)體識別的研究與進(jìn)展[J]. 鄭強(qiáng),劉齊軍,王正華,朱云平.  計(jì)算機(jī)應(yīng)用研究. 2010(03)



本文編號：3461707