生物醫(yī)學(xué)事件抽取技術(shù),能夠幫助研究人員快速地從大量生物醫(yī)學(xué)文獻(xiàn)中準(zhǔn)確定位事件,并以結(jié)構(gòu)化的形式表示,在藥物研制、臨床輔助診療、構(gòu)建生物醫(yī)學(xué)本體庫等方面具有重要的研究意義和應(yīng)用價值。生物醫(yī)學(xué)事件描述了生物醫(yī)學(xué)實體狀態(tài)變化的過程,主要由觸發(fā)詞和事件元素組成。本文圍繞生物醫(yī)學(xué)事件抽取關(guān)鍵技術(shù)展開研究,重點探索了基于深度學(xué)習(xí)方法的觸發(fā)詞識別和事件元素識別技術(shù)。本文的主要研究內(nèi)容如下:(1)融入自注意力機制的生物醫(yī)學(xué)事件觸發(fā)詞識別。觸發(fā)詞代表了事件發(fā)生的動作(比如:抑制、發(fā)展和形成等)及事件的類型。本文針對觸發(fā)詞識別任務(wù)中由于文本中存在大量復(fù)雜事件,從而造成了對文本內(nèi)部包含的特征挖掘不充分的問題,提出了一種融入自注意力機制的事件觸發(fā)詞識別方法。該方法重點關(guān)注于文本自身,在引入單詞分布式語義特征的基礎(chǔ)上,采用雙向門控循環(huán)單元網(wǎng)絡(luò)捕獲相關(guān)上下文特征,并在雙向門控循環(huán)單元網(wǎng)絡(luò)中融入了自注意力機制從多層面充分的挖掘文本自身包含的特征,來更好地理解和表示句子所表達(dá)的語義信息。最后融合詞級特征通過分類層對觸發(fā)詞進行分類。(2)基于卷積神經(jīng)網(wǎng)絡(luò)、雙向門控循環(huán)單元網(wǎng)絡(luò)和注意力機制的事件元素識別。事件元素是事件發(fā)... 

【文章來源】：西北師范大學(xué)甘肅省

【文章頁數(shù)】：50 頁

【學(xué)位級別】：碩士

【部分圖文】：

生物醫(yī)學(xué)事件抽取實例及相關(guān)標(biāo)注

第2章相關(guān)理論及技術(shù)介紹11結(jié)構(gòu)如圖2-2所示。從模型的結(jié)構(gòu)以及名稱都可以看出，CBOW模型是根據(jù)單詞的上下文相關(guān)內(nèi)容即當(dāng)前詞的前n個單詞以及后n個單詞或者前后連續(xù)的單詞的詞向量，來預(yù)測這個單詞對應(yīng)的詞向量，CBOW模型較適用與小型數(shù)據(jù)庫。Skip-Gram模型則和CBOW模型相反，Skip-Gram模型是根據(jù)當(dāng)前單詞的詞向量，來預(yù)測這個單詞的上下文即前后出現(xiàn)的n個單詞分別對應(yīng)的詞向量，Skip-Gram模型比較適用于大型數(shù)據(jù)庫。（a）CBOW模型（b）Skip-gram模型圖2-2CBOW和Skip-gram模型2.2.2FastTextFastText是由Mikolov[40]等人于2016年提出的算法，將單詞字符級別的N-gram信息并作為單詞額外的特征來訓(xùn)練模型，并且采用層級Softmax進行輸出，降低了模型訓(xùn)練時間。FastText模型在結(jié)構(gòu)上與Word2Vec里的CBOW模型的結(jié)構(gòu)很相似，但在輸出上存在差異，即CBOW模型是根據(jù)上下文的單詞來預(yù)測中間詞，而FastText模型則是根據(jù)一個上下文序列來預(yù)測標(biāo)簽，F(xiàn)astText模型結(jié)構(gòu)如圖2-3所示。針對詞向量表示，F(xiàn)astText考慮了單詞的組成，其中1x，2x，…，N1x，Nx表示一個文本中的N-gram向量，每個特征是詞向量的平均值。例如，給定一個單詞“system”，當(dāng)N為3時，這個單詞可以表示為“sys，yst，ste，temet”，當(dāng)N為5時，它將表示為“syste，ystem”。與Word2Vec工具相比，F(xiàn)astText訓(xùn)練速度更快，且Word2Vec忽略了單詞內(nèi)部的形態(tài)特征，而FastText添加了額外的N-gram信息，

西北師范大學(xué)碩士學(xué)位論文12對數(shù)據(jù)集中低頻詞的詞向量生成效果更好，且由于N-gram可以共享，對于訓(xùn)練詞庫以外的單詞也可以構(gòu)建相關(guān)詞向量。本文使用FastText對詞向量進行預(yù)訓(xùn)練。圖2-3FastText模型2.3深度學(xué)習(xí)算法深度學(xué)習(xí)[38]（DeepLearning）技術(shù)近幾年來在各個領(lǐng)域都得到了廣泛普及，在自然語言處理[3]、圖像處理[41]、語音識別[42]和機器翻譯[43]等任務(wù)上都取得了不錯的效果。深度學(xué)習(xí)能夠在大規(guī)模的訓(xùn)練數(shù)據(jù)上，構(gòu)建包含了大量隱層的機器學(xué)習(xí)模型進行快速地學(xué)習(xí)有價值的特征，能夠非常有效地提升分類或預(yù)測的能力。深度學(xué)習(xí)能夠自適應(yīng)的自動且快速地學(xué)習(xí)特征，這使得深度學(xué)習(xí)在各大領(lǐng)域大規(guī)模數(shù)據(jù)集上的表現(xiàn)尤為突出，而隨著技術(shù)的不斷發(fā)展，運行速度更快的設(shè)備以及更多核的CPU和GPU對深度學(xué)習(xí)的普及也起到了非常大的推動作用。因此，基于深度學(xué)習(xí)的方法得到了越來越多的關(guān)注與應(yīng)用。2.3.1卷積神經(jīng)網(wǎng)絡(luò)作為目前深度學(xué)習(xí)中具有代表性的算法之一，卷積神經(jīng)網(wǎng)絡(luò)[44]（ConvolutionalNeuralNetwork，CNN）相比于多層前饋神經(jīng)網(wǎng)絡(luò)模型，CNN模型的參數(shù)較少，且具有并行性，特征學(xué)習(xí)和分類任務(wù)能夠同時的進行，并且能夠進行全局優(yōu)化，CNN模型還具有很好的泛化能力，因此CNN已成為計算神經(jīng)科學(xué)領(lǐng)域的研究熱點之一。CNN模型通過仿造生物的視覺神經(jīng)機制（VisualPerception）的結(jié)構(gòu)進行構(gòu)建，能夠進行監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，由于CNN具有隱含層內(nèi)的卷積核參數(shù)共享，層間連接稀疏的特點，CNN對格點化特征（像素或音頻等）進行學(xué)習(xí)時的計算量較小，效果較為穩(wěn)定，且不需要對數(shù)據(jù)有額外的特征工程。CNN模型通過將多個基

【參考文獻(xiàn)】：
碩士論文
[1]基于語義空間和神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)事件抽取[D]. 李虹磊.大連理工大學(xué) 2017
[2]基于深度學(xué)習(xí)的生物醫(yī)學(xué)事件抽取研究[D]. 張建海.大連理工大學(xué) 2016



本文編號：2895842