【摘要】：關(guān)系抽取是自然語(yǔ)言處理(Nature Language Processing,NLP)任務(wù)的一個(gè)重要分支,關(guān)系抽取任務(wù)的主要內(nèi)容是獲取語(yǔ)料中目標(biāo)實(shí)體間的關(guān)系信息,其實(shí)是一個(gè)多分類的過(guò)程。關(guān)系抽取在“知識(shí)圖譜構(gòu)建”、“問(wèn)答系統(tǒng)”等任務(wù)中都有很廣泛的應(yīng)用。關(guān)系抽取任務(wù)早期使用“條件隨機(jī)場(chǎng)”等傳統(tǒng)方法比較多,但面對(duì)日益復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和海量的待處理數(shù)據(jù),傳統(tǒng)方法逐漸無(wú)法達(dá)到期望的效果。近年來(lái),隨著深度學(xué)習(xí)技術(shù)的發(fā)展,使用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等進(jìn)行關(guān)系抽取任務(wù)可以獲取更多的語(yǔ)料信息,抽取結(jié)果也更加準(zhǔn)確。與此同時(shí),關(guān)系抽取在生物醫(yī)學(xué)實(shí)體中的應(yīng)用也越來(lái)越廣泛。生物知識(shí)庫(kù)的構(gòu)建、醫(yī)學(xué)數(shù)據(jù)的整理都離不開(kāi)關(guān)系抽取。在關(guān)系抽取任務(wù)中,存在著處理的過(guò)程中對(duì)目標(biāo)詞的集中度不夠,對(duì)詞的語(yǔ)義信息缺乏利用等問(wèn)題。同時(shí)鑒于生物醫(yī)學(xué)實(shí)體的特殊性,需要對(duì)網(wǎng)絡(luò)模型進(jìn)行針對(duì)性的調(diào)整。本文設(shè)計(jì)了兩個(gè)關(guān)系抽取模型:(1)針對(duì)長(zhǎng)文本上下文信息容易丟失的問(wèn)題和語(yǔ)料中不同句子以及句中不同詞對(duì)實(shí)體關(guān)系抽取結(jié)果影響不同的情況,提出了多重注意機(jī)制門控循環(huán)單元模型(Multiple Attention GRU,MAGRU)。模型以雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的變型門控循環(huán)單元(Gated Recurrent Unit,GRU)為基礎(chǔ),并在此基礎(chǔ)上分別在對(duì)詞和句子進(jìn)行處理的時(shí)候增加注意機(jī)制,形成多重注意機(jī)制GRU模型。同時(shí)考慮到生物醫(yī)學(xué)文本的特殊性,通過(guò)調(diào)整模型的注意機(jī)制來(lái)適應(yīng)生物醫(yī)學(xué)實(shí)體關(guān)系抽取的要求。使用模型分別在傳統(tǒng)數(shù)據(jù)集和生物醫(yī)學(xué)數(shù)據(jù)集上與現(xiàn)有效果較好的方法進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,MAGRU模型比現(xiàn)有模型F值有至少1%的優(yōu)勢(shì)。(2)針對(duì)關(guān)系抽取任務(wù)對(duì)語(yǔ)料中的語(yǔ)義信息利用不足,尤其是生物醫(yī)學(xué)文本中語(yǔ)義信息對(duì)關(guān)系抽取效果影響更大的情況,本文在多重注意機(jī)制模型(MAGRU)的基礎(chǔ)上引入詞的命名體信息和詞性信息等其他語(yǔ)義信息作為輸入數(shù)據(jù)的補(bǔ)充,同時(shí)在生物醫(yī)學(xué)文本關(guān)系抽取實(shí)驗(yàn)中增加具有生物醫(yī)學(xué)背景的語(yǔ)義信息,并結(jié)合注意機(jī)制進(jìn)行調(diào)整。本文使用模型分別在傳統(tǒng)數(shù)據(jù)集和生物醫(yī)學(xué)數(shù)據(jù)集上進(jìn)行與現(xiàn)有效果較好的方法以及無(wú)語(yǔ)義信息的MAGRU模型進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,引入語(yǔ)義信息的MAGRU模型比其他模型在F值上有3%左右的提升。
【圖文】：

２．１生物醫(yī)學(xué)實(shí)體關(guān)系抽取逡逑生物醫(yī)學(xué)實(shí)體關(guān)系抽取與普通文本關(guān)系抽取在任務(wù)本質(zhì)上是相似的，都是通逡逑過(guò)對(duì)語(yǔ)料句子進(jìn)行處理，，以獲取句中某些特定實(shí)體之間的語(yǔ)義關(guān)系。關(guān)系抽取任務(wù)逡逑也可以看作是一個(gè)多分類的過(guò)程，即通過(guò)分析句子信息，判斷目標(biāo)詞對(duì)之間的關(guān)系逡逑是否屬于己知的某種關(guān)系類別。根據(jù)任務(wù)要求的不同，關(guān)系抽取可以被看作二分類逡逑和多分類兩種。生物醫(yī)學(xué)實(shí)體關(guān)系抽取中常見(jiàn)的任務(wù)有蛋白質(zhì)間關(guān)系抽取，藥物間逡逑關(guān)系抽取和基因間關(guān)系抽取等。其中蛋白質(zhì)關(guān)系抽取任務(wù)中ＡＩＭｅｄ［４１］數(shù)據(jù)集就是逡逑僅含有二元關(guān)系的數(shù)據(jù)集，目標(biāo)類別僅有“有關(guān)”和“無(wú)關(guān)”兩種，其對(duì)應(yīng)的任務(wù)逡逑可以看作是二分類任務(wù)。而藥物關(guān)系抽取使用的ＤＤＩＥｘｔｍｃｔｉ0ｎ２０１３數(shù)據(jù)集則含有逡逑多種關(guān)系分類，包括“ｅｆｆｅｃｔ”、“ａｄｖｉｃｅ”、“ｍｅｃｈａｎｉｓｍ”等，則在該數(shù)據(jù)集上進(jìn)行逡逑的關(guān)系抽取任務(wù)可以看作是多分類任務(wù)。ＤＤＩＥｘｔｒａｃｔｉｏｎ邋２０１３＃！數(shù)據(jù)集及標(biāo)注示例逡逑如圖２－１所示：逡逑－〈ｓｅｎｔｅｎｃｅ邋ｉｄ＝＂ＤＤＩ－ＤｒｕｇＢａｎｋ．ｄＯ，ｓ６”邋ｔｅｘｔ＝＂Ｐａｔｉｅｎｔｓ邋ｔａｋｉｎｇ邋Ａｃａｍｐｒｏｓａｔｅ邋ｃｏｎｃｏｍｉｔａｎｔｌｙ邋ｗｉｔｈ逡逑

邐ｐｒｅ／ｕＷ邐＝邐ｇ＾＞°0邐（２－１３）逡逑四種激活函數(shù)的函數(shù)圖像如圖２－３所示：逡逑０．８邋／邋ｎ邋ｃ邋／逡逑７邐＿＿＿邐／逡逑ａ）邋Ｓｉｇｍｏｉｄ函數(shù)圖像邐ｂ）邋Ｔａｎｈ函數(shù)圖像逡逑ａ）邋Ｓｉｇｍｏｉｄ邋ｆｕｎｃｔｉｏｎ邋ｉｍａｇｅ邐ｂ）邋Ｔａｎｈ邋ｆｕｎｃｔｉｏｎ邋ｉｍａｇｅ逡逑１０］邐ｙ邐ｌ0ｉ邐ｙ逡逑：／邋ｊＺ逡逑邐＾逡逑－１０邐－５邐０邐５邐１０邐Ｚ邐－４Ｊ逡逑ｃ）邋Ｒｅｌｕ函數(shù)圖像邐ｄ）邋ＰＲｅｌｕ函數(shù)圖像逡逑ｃ）邋Ｒｅｌｕ邋ｆｕｎｃｔｉｏｎ邋ｉｍａｇｅ邐ｄ）邋ＰＲｅｌｕ邋ｆｕｎｃｔｉｏｎ邋ｉｍａｇｅ逡逑圖２－３激活函數(shù)圖像逡逑Ｆｉｇｕｒｅ邋２－３邋Ａｃｔｉｖａｔｉｏｎ邋ｆｕｎｃｔｉｏｎ邋ｉｍａｇｅ邋ｉｍａｇｅ逡逑循環(huán)神經(jīng)網(wǎng)絡(luò)中，在隱藏層中一般使用Ｔａｎｈ作為激活函數(shù)。之所以不選逡逑Ｓｉｇｍｏｉｄ函數(shù)，是因?yàn)椋樱椋纾恚铮椋浜瘮?shù)導(dǎo)數(shù)取值范圍小于１，在循環(huán)神經(jīng)網(wǎng)絡(luò)中有很逡逑多乘法計(jì)算，導(dǎo)數(shù)小于１的損失函數(shù)在計(jì)算中梯度會(huì)逐漸趨近于０，造成梯度消失逡逑１３逡逑
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 李麗雙;劉洋;黃德根;;基于組合核的蛋白質(zhì)交互關(guān)系抽取[J];中文信息學(xué)報(bào);2013年01期

本文編號(hào)：2687893