發(fā)布時間：2024-06-01 17:32

　　傳統(tǒng)的實(shí)體關(guān)系識別方法多數(shù)是以單個句子作為處理單元,難以解決訓(xùn)練語料中實(shí)體關(guān)系標(biāo)簽標(biāo)注錯誤的問題,且沒有充分利用包含實(shí)體信息的多個句子在分類實(shí)體關(guān)系時的相互增強(qiáng)作用。為此,提出一種雙向門控循環(huán)單元(GRU)和雙重注意力機(jī)制結(jié)合的中文電子病歷醫(yī)療實(shí)體關(guān)系識別方法。構(gòu)建BiGRU-Dual Attention模型,采用雙向GRU學(xué)習(xí)字的上下文信息,以獲取更細(xì)粒度的特征,通過引入字級注意力機(jī)制提高對關(guān)系識別起決定作用的字權(quán)重,同時利用句子級注意力機(jī)制從多個句子中獲取可增強(qiáng)識別性能的特征,降低標(biāo)注錯誤的句子對分類的影響。實(shí)驗結(jié)果表明,與BiLSTM-Attention模型相比,該模型的F1值提高了3.97%,達(dá)到了82.17%。

【文章頁數(shù)】：7 頁

【部分圖文】：

圖1句子編碼模型

句子編碼模型如圖1所示,將任意給定的一個句子xi={c1,c2,…,cn}通過雙向GRU編碼處理,字級注意力機(jī)制計算產(chǎn)生每個字的權(quán)值,并把雙向GRU的輸出向量表示成一個句子向量。2.1.1向量表示

圖2當(dāng)前字與醫(yī)療實(shí)體的相對位置

2)位置向量表示:在關(guān)系抽取任務(wù)中,位置嵌入用相對位置的低維向量表示,最早被文獻(xiàn)[12]引入實(shí)體關(guān)系抽取任務(wù)中。在圖2所示標(biāo)注的句子中,當(dāng)前字“引”與醫(yī)療實(shí)體“感冒”“發(fā)燒”之間的相對位置分別為2和-2,每個相對位置分別對應(yīng)一個位置向量,維度為dp。最后,實(shí)驗將字向量和位置向量連....

圖3GRU結(jié)構(gòu)

GRU是循環(huán)神經(jīng)網(wǎng)絡(luò)的分支,也是LSTM的變體,GRU在保持LSTM效果的同時使其結(jié)構(gòu)簡單,且計算簡便,由于其在序列處理上的出色表現(xiàn)而被廣泛應(yīng)用于自然語言處理任務(wù)中。GRU結(jié)構(gòu)如圖3所示。zt=σ(Wzxt+Uzht-1+bz)(1)

圖4句子級注意力機(jī)制模型

目前,很多用來構(gòu)建知識庫的方法均需要標(biāo)注好的訓(xùn)練語料,人工標(biāo)注的語料因為標(biāo)注人員不同而導(dǎo)致語料噪聲。在實(shí)驗標(biāo)注的語料庫中,相同的實(shí)體對和實(shí)體類型在不同的語料中被標(biāo)注為不同的關(guān)系標(biāo)簽,影響模型效果。常見的關(guān)系抽取方法是以句子作為單獨(dú)的處理單元,若僅使用字級注意力機(jī)制時,則只考慮到當(dāng)....

本文編號：3986234