面向醫(yī)學(xué)命名實體識別的深度學(xué)習(xí)方法研究
發(fā)布時間:2021-02-09 09:52
醫(yī)學(xué)命名實體識別在生物醫(yī)學(xué)研究中起著重要作用,近年來圍繞醫(yī)學(xué)命名實體識別有大量的研究工作,目前的研究中存在3個問題需要解決。識別精度不夠高,新的醫(yī)學(xué)實體數(shù)量在快速增加,傳統(tǒng)識別方法的精度不夠高。計算效率較低,基于深度學(xué)習(xí)的識別方法在結(jié)構(gòu)上無法實現(xiàn)高效的計算。多類別醫(yī)學(xué)實體識別問題,欠缺識別多類別醫(yī)學(xué)領(lǐng)域命名實體的方法。針對提高醫(yī)學(xué)命名實體識別的精度的問題,提出基于語義的深度學(xué)習(xí)方法。提出基于字符的BiLSTM-CRF(CBLC)方法,通過字符級別的詞嵌入方法捕獲單詞的內(nèi)部結(jié)構(gòu)信息。提出語義BiLSTM-CRF(SBLC)方法,使用大量包含語義信息的醫(yī)學(xué)資源訓(xùn)練詞嵌入,結(jié)合BiLSTM-CRF獲取語義結(jié)構(gòu)的上下文和標(biāo)簽之間的關(guān)系,結(jié)合Ab3P更有效識別縮寫。結(jié)果表明,CBLC優(yōu)于廣泛使用的條件隨機(jī)場和詞典匹配等基線方法,SBLC方法優(yōu)于DNorm和TaggerOne在內(nèi)的先進(jìn)方法。在語義的基礎(chǔ)上,為了解決罕見醫(yī)學(xué)實體識別以及實體標(biāo)記不一致的問題,首先設(shè)計了一種基于Trie樹的醫(yī)學(xué)詞典查找方法,然后提出兩種融合詞典注意力的深度學(xué)習(xí)方法。提出Dic-Att-BiLSTM-CRF(DABLC)...
【文章來源】:廣東工業(yè)大學(xué)廣東省
【文章頁數(shù)】:119 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景和意義
1.2 相關(guān)研究工作
1.2.1 基于詞典的方法
1.2.2 基于機(jī)器學(xué)習(xí)的方法
1.2.3 基于深度學(xué)習(xí)的方法
1.3 醫(yī)學(xué)NER存在的問題和難點總結(jié)
1.4 本研究的創(chuàng)新點
1.5 深度學(xué)習(xí)相關(guān)概念
1.5.1 神經(jīng)網(wǎng)絡(luò)
1.5.2 深度學(xué)習(xí)
1.5.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法
1.6 本文工作和章節(jié)安排
第二章 面向醫(yī)學(xué)NER的基于語義的深度學(xué)習(xí)方法
2.1 引言
2.2 基于字符的雙向LSTM-CRF方法
2.2.1 字符層學(xué)習(xí)
2.2.2 單詞層學(xué)習(xí)
2.2.3 CRF層
2.3 基于語義的雙向LSTM方法
2.3.1 詞嵌入訓(xùn)練
2.3.2 雙向LSTM-CRF
2.3.3 語義雙向LSTM方法
2.4 實驗和分析
2.4.1 字符雙向LSTM實驗結(jié)果
2.4.2 語義雙向LSTM實驗結(jié)果
2.5 本章小結(jié)
第三章 面向醫(yī)學(xué)NER的融合詞典注意力的深度學(xué)習(xí)方法
3.1 引言
3.2 詞典查找方法
3.2.1 Trie樹結(jié)構(gòu)
3.2.2 詞典查找方法
3.3 基于詞典文檔注意力的方法
3.3.1 文檔注意力機(jī)制
3.3.2 Dic-Att-BiLSTM-CRF方法
3.4 基于詞典自注意的方法
3.4.1 門控循環(huán)單元
3.4.2 DABGC方法
3.5 實驗和分析
3.5.1 詞典查找性能實驗
3.5.2 詞典文檔注意力實驗
3.5.3 詞典自注意力實驗
3.6 本章小結(jié)
第四章 面向醫(yī)學(xué)NER的加速深度學(xué)習(xí)方法
4.1 引言
4.2 基于切片門控循環(huán)單元的文檔級注意力方法
4.2.1 切片GRU網(wǎng)絡(luò)
4.2.2 Att-SGRU-CRF方法
4.3 基于迭代擴(kuò)張卷積網(wǎng)絡(luò)的方法
4.3.1 迭代擴(kuò)張卷積網(wǎng)絡(luò)
4.3.2 多頭注意力機(jī)制
4.3.3 注意力迭代擴(kuò)張卷積網(wǎng)絡(luò)
4.4 實驗和分析
4.4.1 Att-SGRU-CRF方法實驗
4.4.2 迭代擴(kuò)張卷積網(wǎng)絡(luò)實驗
4.5 本章小結(jié)
第五章 面向醫(yī)學(xué)NER的基于文本分類和加權(quán)投票的深度學(xué)習(xí)方法
5.1 引言
5.2 加權(quán)投票法
5.2.1 模型集成
5.2.2 投票法
5.2.3 加權(quán)投票
5.3 醫(yī)學(xué)文本分類
5.3.1 帶秩約束的線性文本分類模型
5.3.2 醫(yī)學(xué)文本的分類和詞嵌入訓(xùn)練
5.4 基于加權(quán)投票的多模型融合方案
5.4.1 多模型NER方法
5.4.2 多模型加權(quán)投票集成方法
5.5 實驗和分析
5.6 本章小結(jié)
總結(jié)和展望
參考文獻(xiàn)
攻讀博士學(xué)位期間發(fā)表論文
致謝
本文編號:3025454
【文章來源】:廣東工業(yè)大學(xué)廣東省
【文章頁數(shù)】:119 頁
【學(xué)位級別】:博士
【文章目錄】:
摘要
ABSTRACT
第一章 緒論
1.1 研究背景和意義
1.2 相關(guān)研究工作
1.2.1 基于詞典的方法
1.2.2 基于機(jī)器學(xué)習(xí)的方法
1.2.3 基于深度學(xué)習(xí)的方法
1.3 醫(yī)學(xué)NER存在的問題和難點總結(jié)
1.4 本研究的創(chuàng)新點
1.5 深度學(xué)習(xí)相關(guān)概念
1.5.1 神經(jīng)網(wǎng)絡(luò)
1.5.2 深度學(xué)習(xí)
1.5.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法
1.6 本文工作和章節(jié)安排
第二章 面向醫(yī)學(xué)NER的基于語義的深度學(xué)習(xí)方法
2.1 引言
2.2 基于字符的雙向LSTM-CRF方法
2.2.1 字符層學(xué)習(xí)
2.2.2 單詞層學(xué)習(xí)
2.2.3 CRF層
2.3 基于語義的雙向LSTM方法
2.3.1 詞嵌入訓(xùn)練
2.3.2 雙向LSTM-CRF
2.3.3 語義雙向LSTM方法
2.4 實驗和分析
2.4.1 字符雙向LSTM實驗結(jié)果
2.4.2 語義雙向LSTM實驗結(jié)果
2.5 本章小結(jié)
第三章 面向醫(yī)學(xué)NER的融合詞典注意力的深度學(xué)習(xí)方法
3.1 引言
3.2 詞典查找方法
3.2.1 Trie樹結(jié)構(gòu)
3.2.2 詞典查找方法
3.3 基于詞典文檔注意力的方法
3.3.1 文檔注意力機(jī)制
3.3.2 Dic-Att-BiLSTM-CRF方法
3.4 基于詞典自注意的方法
3.4.1 門控循環(huán)單元
3.4.2 DABGC方法
3.5 實驗和分析
3.5.1 詞典查找性能實驗
3.5.2 詞典文檔注意力實驗
3.5.3 詞典自注意力實驗
3.6 本章小結(jié)
第四章 面向醫(yī)學(xué)NER的加速深度學(xué)習(xí)方法
4.1 引言
4.2 基于切片門控循環(huán)單元的文檔級注意力方法
4.2.1 切片GRU網(wǎng)絡(luò)
4.2.2 Att-SGRU-CRF方法
4.3 基于迭代擴(kuò)張卷積網(wǎng)絡(luò)的方法
4.3.1 迭代擴(kuò)張卷積網(wǎng)絡(luò)
4.3.2 多頭注意力機(jī)制
4.3.3 注意力迭代擴(kuò)張卷積網(wǎng)絡(luò)
4.4 實驗和分析
4.4.1 Att-SGRU-CRF方法實驗
4.4.2 迭代擴(kuò)張卷積網(wǎng)絡(luò)實驗
4.5 本章小結(jié)
第五章 面向醫(yī)學(xué)NER的基于文本分類和加權(quán)投票的深度學(xué)習(xí)方法
5.1 引言
5.2 加權(quán)投票法
5.2.1 模型集成
5.2.2 投票法
5.2.3 加權(quán)投票
5.3 醫(yī)學(xué)文本分類
5.3.1 帶秩約束的線性文本分類模型
5.3.2 醫(yī)學(xué)文本的分類和詞嵌入訓(xùn)練
5.4 基于加權(quán)投票的多模型融合方案
5.4.1 多模型NER方法
5.4.2 多模型加權(quán)投票集成方法
5.5 實驗和分析
5.6 本章小結(jié)
總結(jié)和展望
參考文獻(xiàn)
攻讀博士學(xué)位期間發(fā)表論文
致謝
本文編號:3025454
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3025454.html
最近更新
教材專著