基于深度神經(jīng)網(wǎng)絡(luò)的中文醫(yī)療社區(qū)問答匹配技術(shù)研究
發(fā)布時間：2021-01-17 11:18
隨著移動通信技術(shù)的發(fā)展,越來越多的人在面對健康問題時會通過手機、電腦等電子設(shè)備在互聯(lián)網(wǎng)上搜索相關(guān)問題。針對這一現(xiàn)象,各大醫(yī)療平臺紛紛開發(fā)了多個在線醫(yī)療問答社區(qū)平臺,但是面對著越來越多的健康問題,醫(yī)生的資源是有限的,因此如何通過分析現(xiàn)有的醫(yī)療健康問答數(shù)據(jù)來快速自動回答患者所提出的問題是一個關(guān)鍵的問題。針對這個問題,醫(yī)療問題答案如何正確選擇是構(gòu)建自動醫(yī)療問答系統(tǒng)的關(guān)鍵內(nèi)容,因此我們研究了一系列方法嘗試從眾多候選答案中找出與問題相對應(yīng)的準確答案。本文主要研究了中文醫(yī)療健康領(lǐng)域的問答匹配問題,主要包括兩個關(guān)鍵問題:1.如何將文本信息準確的表示為計算機可以處理的向量形式。2.如何構(gòu)建神經(jīng)網(wǎng)絡(luò)模型可以在文本的向量表示中準確捕捉其中的語義信息。針對第一個問題,我們嘗試了“分詞”與“分字”兩種文本表示方法,發(fā)現(xiàn)針對中文醫(yī)療領(lǐng)域由于目前的分詞工具分詞的不準確性,直接表示為字向量的方式既可以減少表示矩陣的維度,減少內(nèi)存和計算需求,還可以提高最終模型的準確率。針對第二個問題,首先我們驗證了傳統(tǒng)的CNN、RNN以及其變種LSTM與BiGRU神經(jīng)網(wǎng)絡(luò)模型在cMedQA、cMedQA2數(shù)據(jù)集上的問答匹配性能,分析...
【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學(xué)位級別】：碩士
【部分圖文】：
卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
電子科技大學(xué)碩士學(xué)位論文10圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如上圖2-2所示，是循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖[29]。RNN允許信息的持久化，對當前的狀態(tài)保留記憶。對于同一個RNN來說，其“A結(jié)構(gòu)”共享了一套參數(shù)。上圖為傳統(tǒng)RNN結(jié)構(gòu)的一部分，其中表示t時刻的輸入，表示t時刻的輸出，tanh表示激活函數(shù)。在單個結(jié)構(gòu)里面t時刻的輸入和上一時刻的隱藏狀態(tài)1經(jīng)過激活函數(shù)tanh激活，輸出此時的結(jié)果，并把結(jié)果作為記憶信息輸入到下一時刻。=(+1+)(2-14)()=()=+(2-15)傳統(tǒng)的RNN在處理長文本的情況時，可以有效捕捉到序列信息，它采取線性序列結(jié)構(gòu)不斷從前往后捕捉輸入的信息，但這種線性序列結(jié)構(gòu)在反向傳播的時候存在優(yōu)化困難的問題，因為如果反向傳播路徑太長，會導(dǎo)致嚴重的梯度消失或梯度爆炸問題。為了解決這個問題，引入了LSTM和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GatedRecurrentUnit,GRU)模型，通過增加中間狀態(tài)信息直接向后傳播，以此緩解梯度消失或梯度爆炸的問題。圖2-3LSTM結(jié)構(gòu)示意圖上圖2-3為LSTM結(jié)構(gòu)示意圖[29]，LSTM有稱作為“門”的結(jié)構(gòu)來去除或者
電子科技大學(xué)碩士學(xué)位論文10圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如上圖2-2所示，是循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖[29]。RNN允許信息的持久化，對當前的狀態(tài)保留記憶。對于同一個RNN來說，其“A結(jié)構(gòu)”共享了一套參數(shù)。上圖為傳統(tǒng)RNN結(jié)構(gòu)的一部分，其中表示t時刻的輸入，表示t時刻的輸出，tanh表示激活函數(shù)。在單個結(jié)構(gòu)里面t時刻的輸入和上一時刻的隱藏狀態(tài)1經(jīng)過激活函數(shù)tanh激活，輸出此時的結(jié)果，并把結(jié)果作為記憶信息輸入到下一時刻。=(+1+)(2-14)()=()=+(2-15)傳統(tǒng)的RNN在處理長文本的情況時，可以有效捕捉到序列信息，它采取線性序列結(jié)構(gòu)不斷從前往后捕捉輸入的信息，但這種線性序列結(jié)構(gòu)在反向傳播的時候存在優(yōu)化困難的問題，因為如果反向傳播路徑太長，會導(dǎo)致嚴重的梯度消失或梯度爆炸問題。為了解決這個問題，引入了LSTM和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GatedRecurrentUnit,GRU)模型，通過增加中間狀態(tài)信息直接向后傳播，以此緩解梯度消失或梯度爆炸的問題。圖2-3LSTM結(jié)構(gòu)示意圖上圖2-3為LSTM結(jié)構(gòu)示意圖[29]，LSTM有稱作為“門”的結(jié)構(gòu)來去除或者
【參考文獻】：
期刊論文
[1]基于注意力長短時記憶網(wǎng)絡(luò)的中文詞性標注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學(xué). 2018(04)
[2]基于注意力機制的雙向LSTM模型在中文商品評論情感分類中的研究[J]. 成璐. 軟件工程. 2017(11)
本文編號：2982777
【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學(xué)位級別】：碩士
【部分圖文】：
卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
電子科技大學(xué)碩士學(xué)位論文10圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如上圖2-2所示，是循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖[29]。RNN允許信息的持久化，對當前的狀態(tài)保留記憶。對于同一個RNN來說，其“A結(jié)構(gòu)”共享了一套參數(shù)。上圖為傳統(tǒng)RNN結(jié)構(gòu)的一部分，其中表示t時刻的輸入，表示t時刻的輸出，tanh表示激活函數(shù)。在單個結(jié)構(gòu)里面t時刻的輸入和上一時刻的隱藏狀態(tài)1經(jīng)過激活函數(shù)tanh激活，輸出此時的結(jié)果，并把結(jié)果作為記憶信息輸入到下一時刻。=(+1+)(2-14)()=()=+(2-15)傳統(tǒng)的RNN在處理長文本的情況時，可以有效捕捉到序列信息，它采取線性序列結(jié)構(gòu)不斷從前往后捕捉輸入的信息，但這種線性序列結(jié)構(gòu)在反向傳播的時候存在優(yōu)化困難的問題，因為如果反向傳播路徑太長，會導(dǎo)致嚴重的梯度消失或梯度爆炸問題。為了解決這個問題，引入了LSTM和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GatedRecurrentUnit,GRU)模型，通過增加中間狀態(tài)信息直接向后傳播，以此緩解梯度消失或梯度爆炸的問題。圖2-3LSTM結(jié)構(gòu)示意圖上圖2-3為LSTM結(jié)構(gòu)示意圖[29]，LSTM有稱作為“門”的結(jié)構(gòu)來去除或者
電子科技大學(xué)碩士學(xué)位論文10圖2-2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如上圖2-2所示，是循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖[29]。RNN允許信息的持久化，對當前的狀態(tài)保留記憶。對于同一個RNN來說，其“A結(jié)構(gòu)”共享了一套參數(shù)。上圖為傳統(tǒng)RNN結(jié)構(gòu)的一部分，其中表示t時刻的輸入，表示t時刻的輸出，tanh表示激活函數(shù)。在單個結(jié)構(gòu)里面t時刻的輸入和上一時刻的隱藏狀態(tài)1經(jīng)過激活函數(shù)tanh激活，輸出此時的結(jié)果，并把結(jié)果作為記憶信息輸入到下一時刻。=(+1+)(2-14)()=()=+(2-15)傳統(tǒng)的RNN在處理長文本的情況時，可以有效捕捉到序列信息，它采取線性序列結(jié)構(gòu)不斷從前往后捕捉輸入的信息，但這種線性序列結(jié)構(gòu)在反向傳播的時候存在優(yōu)化困難的問題，因為如果反向傳播路徑太長，會導(dǎo)致嚴重的梯度消失或梯度爆炸問題。為了解決這個問題，引入了LSTM和門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GatedRecurrentUnit,GRU)模型，通過增加中間狀態(tài)信息直接向后傳播，以此緩解梯度消失或梯度爆炸的問題。圖2-3LSTM結(jié)構(gòu)示意圖上圖2-3為LSTM結(jié)構(gòu)示意圖[29]，LSTM有稱作為“門”的結(jié)構(gòu)來去除或者
【參考文獻】：
期刊論文
[1]基于注意力長短時記憶網(wǎng)絡(luò)的中文詞性標注模型[J]. 司念文,王衡軍,李偉,單義棟,謝鵬程. 計算機科學(xué). 2018(04)
[2]基于注意力機制的雙向LSTM模型在中文商品評論情感分類中的研究[J]. 成璐. 軟件工程. 2017(11)
本文編號：2982777
本文鏈接：http://sikaile.net/shoufeilunwen/mpalunwen/2982777.html
最近更新
教材專著
