隨著生物醫(yī)學(xué)應(yīng)用文獻(xiàn)量的快速增長(zhǎng)以及自然語言處理(NLP)研究的迅速進(jìn)展,生物醫(yī)學(xué)文獻(xiàn)挖掘所承擔(dān)的作用變得日益關(guān)鍵。更多的科研工作者把目光轉(zhuǎn)向到了從生物醫(yī)學(xué)資料中獲得更有意義的知識(shí),與此同時(shí),深度學(xué)習(xí)技術(shù)的進(jìn)步有力推動(dòng)著生物醫(yī)學(xué)領(lǐng)域新文獻(xiàn)挖掘模型的開發(fā)。但是,由于一般領(lǐng)域文獻(xiàn)語料庫(kù)的單詞分布和生物醫(yī)學(xué)特定領(lǐng)域技術(shù)文獻(xiàn)語料庫(kù)的單詞分布不同,若直接將自然語言處理技術(shù)的進(jìn)步應(yīng)用于生物醫(yī)學(xué)文本挖掘往往會(huì)造成識(shí)別精度不高,而且不同句子之間的相關(guān)標(biāo)記可能存在不一致等問題。因此,針對(duì)上述問題,本文研究了使用深度學(xué)習(xí)的方法對(duì)生物醫(yī)學(xué)命名實(shí)體的識(shí)別,主要研究?jī)?nèi)容如下:(1)本文提出了一種基于RTD改進(jìn)的預(yù)訓(xùn)練數(shù)據(jù)增強(qiáng)的方法。傳統(tǒng)的預(yù)訓(xùn)練方法通常采用屏蔽語言模型(MLM)的預(yù)訓(xùn)練方法(如BERT)通過用[MASK]替換一些標(biāo)記來破壞輸入,然后訓(xùn)練一個(gè)模型來重建原始標(biāo)記。雖然將它們轉(zhuǎn)移到下游NLP任務(wù)時(shí)會(huì)產(chǎn)生良好的結(jié)果,但它們通常需要大量的計(jì)算才能有效。作為一種替代方案,本文提出了一種更有效的預(yù)訓(xùn)練任務(wù),稱為替換令牌檢測(cè)(RTD),并構(gòu)造了針對(duì)生物醫(yī)學(xué)領(lǐng)域的預(yù)訓(xùn)練語言模型Bio ELECTRA。經(jīng)過實(shí)驗(yàn)證明...

【文章頁數(shù)】：60 頁

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文主要研究?jī)?nèi)容
    1.4 本文的組織結(jié)構(gòu)
第2章 相關(guān)研究綜述
    2.1 深度學(xué)習(xí)相關(guān)理論
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)
        2.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)
        2.1.3 雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Bi-LSTM)
        2.1.4 Transformer
        2.1.5 生成對(duì)抗網(wǎng)絡(luò)(GAN)
    2.2 命名實(shí)體識(shí)別相關(guān)算法
        2.2.1 BERT及其衍生模型
        2.2.2 條件隨機(jī)場(chǎng)(CRF)及 BiLSTM-CRF
    2.3 數(shù)據(jù)與評(píng)價(jià)指標(biāo)
        2.3.1 數(shù)據(jù)集與標(biāo)注方法
        2.3.2 評(píng)價(jià)指標(biāo)
    2.4 本章小結(jié)
第3章 基于RTD改進(jìn)的預(yù)訓(xùn)練數(shù)據(jù)增強(qiáng)方法
    3.1 引言
    3.2 傳統(tǒng)的預(yù)訓(xùn)練數(shù)據(jù)增強(qiáng)方法
    3.3 改進(jìn)的預(yù)訓(xùn)練數(shù)據(jù)增強(qiáng)方法
    3.4 基于 BioELECTRA 的生物醫(yī)學(xué)實(shí)體識(shí)別預(yù)訓(xùn)練模型
    3.5 實(shí)驗(yàn)及結(jié)果分析
        3.5.1 數(shù)據(jù)集介紹
        3.5.2 輸入/輸出表示
        3.5.3 環(huán)境配置
        3.5.4 實(shí)驗(yàn)結(jié)果分析
    3.6 本章小結(jié)
第4章 基于注意力機(jī)制改進(jìn)的 BiLSTM-CRF 生物醫(yī)學(xué)命名實(shí)體識(shí)別框架
    4.1 引言
    4.2 LSTM-CRF 和 BiLSTM-CRF 模型相關(guān)理論
    4.3 傳統(tǒng)的 BiLSTM-CRF 生物醫(yī)學(xué)命名實(shí)體識(shí)別框架
    4.4 改進(jìn)的 BiLSTM-CRF 生物醫(yī)學(xué)命名實(shí)體識(shí)別框架
        4.4.1 詞性與組塊分析
        4.4.2 Att-BiLSTM-CRF 生物醫(yī)學(xué)命名實(shí)體識(shí)別框架
    4.5 實(shí)驗(yàn)及結(jié)果分析
        4.5.1 對(duì)齊函數(shù)對(duì) Att-BiLSTM-CRF 模型的影響
        4.5.2 文檔級(jí)和句子級(jí)方法的性能比較
        4.5.3 附加特征對(duì)性能的影響
    4.6 生物醫(yī)學(xué)命名實(shí)體識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    4.7 本章小結(jié)
第5章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 未來展望
參考文獻(xiàn)



本文編號(hào)：3877781