【摘要】：隨著醫(yī)療問答社區(qū)逐漸興起,越來越多的用戶通過這些醫(yī)療服務(wù)平臺(tái)進(jìn)行在線查詢和問診。目前醫(yī)療問答社區(qū)主要通過搜索引擎提供問題檢索服務(wù),基于精確匹配的檢索方法不能充分地理解用戶查詢的語(yǔ)義,同時(shí)難以應(yīng)對(duì)多樣的醫(yī)學(xué)實(shí)體表述。有監(jiān)督學(xué)習(xí)方法是解決語(yǔ)義匹配任務(wù)的常用方法,由于中文醫(yī)療領(lǐng)域缺乏語(yǔ)義匹配標(biāo)注數(shù)據(jù),難以很好地利用有監(jiān)督的語(yǔ)義匹配模型提升醫(yī)療社區(qū)的問題檢索效果。因此,本文重點(diǎn)研究了面向醫(yī)療問題檢索的語(yǔ)義匹配方法,通過數(shù)據(jù)集構(gòu)建、模型改進(jìn)和遷移學(xué)習(xí)等方法緩解醫(yī)療領(lǐng)域缺乏問句匹配標(biāo)注數(shù)據(jù)的問題。本文主要工作包括如下幾個(gè)方面:·中文醫(yī)療領(lǐng)域語(yǔ)義匹配數(shù)據(jù)集的構(gòu)建為了解決中文醫(yī)療領(lǐng)域缺乏問句匹配標(biāo)注數(shù)據(jù)的問題,本文提出了一種半自動(dòng)化的語(yǔ)料挖掘和數(shù)據(jù)集構(gòu)建方法。基于醫(yī)療社區(qū)的公開問答數(shù)據(jù),構(gòu)建了大規(guī)模的中文醫(yī)療相似問句對(duì)數(shù)據(jù)集(CMSQP數(shù)據(jù)集)。為了正確理解和區(qū)分醫(yī)學(xué)實(shí)體多樣化的表述,本文利用開源知識(shí)庫(kù)和醫(yī)療垂直網(wǎng)站的百科知識(shí),獲取醫(yī)學(xué)實(shí)體及其多種表述,構(gòu)建大規(guī)模的中文醫(yī)療實(shí)體表述詞典�！せ赥ransformer改進(jìn)的語(yǔ)義匹配模型由于大多數(shù)基于LSTM的深度語(yǔ)義匹配模型存在復(fù)雜度高、計(jì)算速度慢等問題,本文在Transformer模型基礎(chǔ)上進(jìn)行改進(jìn),提出了一種面向語(yǔ)義匹配任務(wù)的TMTransformer模型。該模型利用Multi-Head Attention機(jī)制同時(shí)學(xué)習(xí)語(yǔ)義表示和語(yǔ)義交互特征。在本文構(gòu)建的CMSQP數(shù)據(jù)集和公開數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),TMTransformer模型比現(xiàn)有工作實(shí)驗(yàn)效果更好、復(fù)雜度更低,驗(yàn)證了該模型在語(yǔ)義匹配任務(wù)上的有效性�！せ谶w移學(xué)習(xí)的語(yǔ)義匹配方法本文設(shè)計(jì)了兩種遷移學(xué)習(xí)方法提升醫(yī)療領(lǐng)域語(yǔ)義匹配任務(wù)的效果:跨領(lǐng)域的遷移學(xué)習(xí)和跨任務(wù)的遷移學(xué)習(xí)�？珙I(lǐng)域遷移學(xué)習(xí)方法實(shí)現(xiàn)了不同數(shù)據(jù)源之間的知識(shí)遷移過程;跨任務(wù)遷移學(xué)習(xí)方法通過預(yù)訓(xùn)練多分類任務(wù)提升語(yǔ)義匹配模型的性能。通過實(shí)驗(yàn)驗(yàn)證了兩種遷移策略對(duì)醫(yī)療領(lǐng)域語(yǔ)義匹配任務(wù)的提升作用,對(duì)比分析了兩種遷移策略的效果、收斂速度及適用場(chǎng)景。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;R-05
【圖文】：

個(gè)醫(yī)生的回復(fù)。相關(guān)問答信息包含網(wǎng)站提供的意圖相近或相關(guān)的問題及其答案列表，從中抽取醫(yī)療問句及其相關(guān)的問題。以抽取“中風(fēng)”類別下的問題為例，說明尋醫(yī)問藥網(wǎng)的數(shù)據(jù)抽取流程。如圖3.6所示，尋醫(yī)問藥網(wǎng)按照一級(jí)科室（內(nèi)科）、二級(jí)科室（心血管內(nèi)科）和疾�。ㄖ酗L(fēng)）的類別對(duì)問答數(shù)據(jù)進(jìn)行分類，從問題列表頁(yè)可以得到該分類下所有問題的詳情頁(yè)面。在問題“到哪里看中風(fēng)”的詳情頁(yè)面，在問題信息板塊抽取標(biāo)題、病情描述和部分相似問題列表。答案信息板塊僅有一名醫(yī)生提供答案，但未能提供用戶需要的信息。相關(guān)問答板塊有多個(gè)網(wǎng)站編輯的候選相似問題及其答案。抽取問題詳情頁(yè)的所有相似問題構(gòu)成候選問題列表 q C = Q1, Q2, ..., Qm。23

說明只采用其中一種注意力編碼層的建模作用是有限的。通過結(jié)合兩種注意力編碼層才能使得 TMTransformer 模型整體效果達(dá)到較高水平。對(duì)比各模型在公開數(shù)據(jù)集上的性能 圖4.4展示了各個(gè)模型在 Financial2018 數(shù)據(jù)集上的 F1 指標(biāo)。從圖中分析可知，TMTransformer 模型比 ESIM 和 BiMPM 的性能更高，說明了本文提出的模型具有良好的泛化能力，在語(yǔ)義匹配任務(wù)上比大多數(shù)模型表現(xiàn)更好。綜合來看，在該數(shù)據(jù)集上表現(xiàn)最好的是 SSE 模型，主要原因是該模型使用了三層 BiLSTM 作為句特征編碼器，極大程度上保留了更多文本語(yǔ)義特征。47

Loss的影響 為了進(jìn)一步驗(yàn)證跨任務(wù)遷移學(xué)習(xí)方法的效果，本文對(duì)比了該遷移策略對(duì) TMTransformer 模型訓(xùn)練 Loss 的影響，如圖5.6所示。從圖中結(jié)果分析，該遷移策略可以有效降低 Loss，使得模型收斂到更優(yōu)。圖 5.6: TMTransformer 模型訓(xùn)練階段 Loss 變化情況對(duì)比圖從上述分析結(jié)果可知，本文設(shè)計(jì)的跨任務(wù)遷移學(xué)習(xí)方法可以在一定程度上緩解63

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張佩云;黃波;孫亞民;;面向服務(wù)組合的服務(wù)語(yǔ)義匹配機(jī)制[J];電子科技大學(xué)學(xué)報(bào);2008年06期

2 郝玫;馬建峰;;基于特征觀點(diǎn)對(duì)語(yǔ)義匹配的產(chǎn)品評(píng)論可信度研究[J];現(xiàn)代情報(bào);2019年06期

3 賈君枝;毛海飛;;基于法律框架網(wǎng)絡(luò)本體的語(yǔ)義匹配技術(shù)研究[J];情報(bào)理論與實(shí)踐;2008年01期

4 糜德吉;周良;丁秋林;;一種基于命名空間過濾的服務(wù)語(yǔ)義匹配算法[J];中國(guó)制造業(yè)信息化;2009年23期

5 邢華橋;武昊;侯妙樂;侯東陽(yáng);;顧及語(yǔ)義匹配類別的遙感處理服務(wù)組合方法[J];地理與地理信息科學(xué);2015年05期

6 羅安;王艷東;龔健雅;;顧及上下文的空間信息服務(wù)組合語(yǔ)義匹配方法[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2011年03期

7 姚俊良;樂小虬;;科技查新查新點(diǎn)語(yǔ)義匹配方法研究[J];數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn);2019年06期

8 吳少洪;彭敦陸;苑威威;陳章;劉叢;;MGSC:一種多粒度語(yǔ)義交叉的短文本語(yǔ)義匹配模型[J];小型微型計(jì)算機(jī)系統(tǒng);2019年06期

9 梁汝鵬;鄧克波;毛澤湘;徐沛;;基于軍事知識(shí)圖譜的作戰(zhàn)預(yù)案語(yǔ)義匹配方法研究[J];指揮與控制學(xué)報(bào);2019年02期

10 張燕;王鋒;張睿;;基于本體的網(wǎng)格服務(wù)語(yǔ)義匹配方法[J];計(jì)算機(jī)工程;2007年07期

相關(guān)會(huì)議論文 前6條

1 李耀春;徐羽瓊;李石堅(jiān);潘綱;;面向任務(wù)遷移的組件語(yǔ)義匹配機(jī)制[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

2 李貴;張兆鑫;李征宇;韓子洋;;WEB環(huán)境下基于領(lǐng)域本體的語(yǔ)義匹配技術(shù)研究[A];科學(xué)發(fā)展與社會(huì)責(zé)任（A卷）——第五屆沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì)文集[C];2008年

3 臧立麗;王卓;馮曉寧;;一種基于語(yǔ)義的軟構(gòu)件檢索方法[A];黑龍江省計(jì)算機(jī)學(xué)會(huì)2007年學(xué)術(shù)交流年會(huì)論文集[C];2007年

4 吳桂芳;劉俊;張倩倩;谷雨;;基于本體的語(yǔ)義匹配技術(shù)研究[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（上）[C];2014年

5 林小青;李畢琴;;刺激屬性的不一致對(duì)工作記憶內(nèi)容捕獲注意的影響[A];第二十一屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議摘要集[C];2018年

6 白東偉;彭泳;陳俊亮;;一種語(yǔ)義支持的綜合業(yè)務(wù)發(fā)現(xiàn)框架[A];2006年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2006年

相關(guān)博士學(xué)位論文 前8條

1 黃濤;知識(shí)服務(wù)的語(yǔ)義匹配機(jī)制研究[D];華中師范大學(xué);2007年

2 許楠;基于本體的上下文感知計(jì)算關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2015年

3 錢劍鋒;分布式語(yǔ)義發(fā)布/訂閱系統(tǒng)的若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

4 藺旭東;基于語(yǔ)義的XML查詢及規(guī)范化研究[D];北京交通大學(xué);2010年

5 高建波;本體模型及其在信息安全評(píng)估領(lǐng)域的應(yīng)用研究[D];上海交通大學(xué);2015年

6 楊柳;模糊本體建模方法及語(yǔ)義信息處理策略研究[D];中南大學(xué);2011年

7 陳科;語(yǔ)義支持的空間信息服務(wù)組合關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2012年

8 江志雄;基于動(dòng)態(tài)語(yǔ)義的Web服務(wù)描述[D];復(fù)旦大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 金麗嬌;基于深度學(xué)習(xí)的答案選擇方法研究[D];華東師范大學(xué);2019年

2 王坤;面向中文醫(yī)療問題檢索的語(yǔ)義匹配技術(shù)研究[D];華東師范大學(xué);2019年

3 吳承澤;面向社區(qū)論壇多輪對(duì)話線索的連貫性評(píng)估方法研究[D];哈爾濱工業(yè)大學(xué);2018年

4 胡宇;面向數(shù)據(jù)融合的文本語(yǔ)義匹配的研究與實(shí)現(xiàn)[D];東北大學(xué);2015年

5 張杰;基于地理語(yǔ)義匹配的信息一體化檢索[D];中南大學(xué);2013年

6 邢昆明;基于語(yǔ)義匹配的Web服務(wù)發(fā)現(xiàn)和選擇問題的研究[D];中國(guó)石油大學(xué)（華東）;2013年

7 李玲;工作記憶內(nèi)容的語(yǔ)義匹配對(duì)注意捕獲效應(yīng)的影響[D];江西師范大學(xué);2017年

8 鄧憧;基于CNN語(yǔ)義匹配的自動(dòng)問答系統(tǒng)構(gòu)建方法研究[D];哈爾濱工業(yè)大學(xué);2017年

9 陳志俊;語(yǔ)義Web服務(wù)發(fā)現(xiàn)機(jī)制研究[D];合肥工業(yè)大學(xué);2011年

10 江萍;基于領(lǐng)域本體的云制造服務(wù)語(yǔ)義匹配模型的研究[D];合肥工業(yè)大學(xué);2013年

本文編號(hào)：2748635