【摘要】：隨著醫(yī)療問答社區(qū)逐漸興起,越來越多的用戶通過這些醫(yī)療服務(wù)平臺進(jìn)行在線查詢和問診。目前醫(yī)療問答社區(qū)主要通過搜索引擎提供問題檢索服務(wù),基于精確匹配的檢索方法不能充分地理解用戶查詢的語義,同時難以應(yīng)對多樣的醫(yī)學(xué)實(shí)體表述。有監(jiān)督學(xué)習(xí)方法是解決語義匹配任務(wù)的常用方法,由于中文醫(yī)療領(lǐng)域缺乏語義匹配標(biāo)注數(shù)據(jù),難以很好地利用有監(jiān)督的語義匹配模型提升醫(yī)療社區(qū)的問題檢索效果。因此,本文重點(diǎn)研究了面向醫(yī)療問題檢索的語義匹配方法,通過數(shù)據(jù)集構(gòu)建、模型改進(jìn)和遷移學(xué)習(xí)等方法緩解醫(yī)療領(lǐng)域缺乏問句匹配標(biāo)注數(shù)據(jù)的問題。本文主要工作包括如下幾個方面:·中文醫(yī)療領(lǐng)域語義匹配數(shù)據(jù)集的構(gòu)建為了解決中文醫(yī)療領(lǐng)域缺乏問句匹配標(biāo)注數(shù)據(jù)的問題,本文提出了一種半自動化的語料挖掘和數(shù)據(jù)集構(gòu)建方法。基于醫(yī)療社區(qū)的公開問答數(shù)據(jù),構(gòu)建了大規(guī)模的中文醫(yī)療相似問句對數(shù)據(jù)集(CMSQP數(shù)據(jù)集)。為了正確理解和區(qū)分醫(yī)學(xué)實(shí)體多樣化的表述,本文利用開源知識庫和醫(yī)療垂直網(wǎng)站的百科知識,獲取醫(yī)學(xué)實(shí)體及其多種表述,構(gòu)建大規(guī)模的中文醫(yī)療實(shí)體表述詞典�！せ赥ransformer改進(jìn)的語義匹配模型由于大多數(shù)基于LSTM的深度語義匹配模型存在復(fù)雜度高、計算速度慢等問題,本文在Transformer模型基礎(chǔ)上進(jìn)行改進(jìn),提出了一種面向語義匹配任務(wù)的TMTransformer模型。該模型利用Multi-Head Attention機(jī)制同時學(xué)習(xí)語義表示和語義交互特征。在本文構(gòu)建的CMSQP數(shù)據(jù)集和公開數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),TMTransformer模型比現(xiàn)有工作實(shí)驗(yàn)效果更好、復(fù)雜度更低,驗(yàn)證了該模型在語義匹配任務(wù)上的有效性�！せ谶w移學(xué)習(xí)的語義匹配方法本文設(shè)計了兩種遷移學(xué)習(xí)方法提升醫(yī)療領(lǐng)域語義匹配任務(wù)的效果:跨領(lǐng)域的遷移學(xué)習(xí)和跨任務(wù)的遷移學(xué)習(xí)�？珙I(lǐng)域遷移學(xué)習(xí)方法實(shí)現(xiàn)了不同數(shù)據(jù)源之間的知識遷移過程;跨任務(wù)遷移學(xué)習(xí)方法通過預(yù)訓(xùn)練多分類任務(wù)提升語義匹配模型的性能。通過實(shí)驗(yàn)驗(yàn)證了兩種遷移策略對醫(yī)療領(lǐng)域語義匹配任務(wù)的提升作用,對比分析了兩種遷移策略的效果、收斂速度及適用場景。
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.1;R-05
【圖文】：

個醫(yī)生的回復(fù)。相關(guān)問答信息包含網(wǎng)站提供的意圖相近或相關(guān)的問題及其答案列表，從中抽取醫(yī)療問句及其相關(guān)的問題。以抽取“中風(fēng)”類別下的問題為例，說明尋醫(yī)問藥網(wǎng)的數(shù)據(jù)抽取流程。如圖3.6所示，尋醫(yī)問藥網(wǎng)按照一級科室（內(nèi)科）、二級科室（心血管內(nèi)科）和疾�。ㄖ酗L(fēng)）的類別對問答數(shù)據(jù)進(jìn)行分類，從問題列表頁可以得到該分類下所有問題的詳情頁面。在問題“到哪里看中風(fēng)”的詳情頁面，在問題信息板塊抽取標(biāo)題、病情描述和部分相似問題列表。答案信息板塊僅有一名醫(yī)生提供答案，但未能提供用戶需要的信息。相關(guān)問答板塊有多個網(wǎng)站編輯的候選相似問題及其答案。抽取問題詳情頁的所有相似問題構(gòu)成候選問題列表 q C = Q1, Q2, ..., Qm。23

說明只采用其中一種注意力編碼層的建模作用是有限的。通過結(jié)合兩種注意力編碼層才能使得 TMTransformer 模型整體效果達(dá)到較高水平。對比各模型在公開數(shù)據(jù)集上的性能 圖4.4展示了各個模型在 Financial2018 數(shù)據(jù)集上的 F1 指標(biāo)。從圖中分析可知，TMTransformer 模型比 ESIM 和 BiMPM 的性能更高，說明了本文提出的模型具有良好的泛化能力，在語義匹配任務(wù)上比大多數(shù)模型表現(xiàn)更好。綜合來看，在該數(shù)據(jù)集上表現(xiàn)最好的是 SSE 模型，主要原因是該模型使用了三層 BiLSTM 作為句特征編碼器，極大程度上保留了更多文本語義特征。47

Loss的影響 為了進(jìn)一步驗(yàn)證跨任務(wù)遷移學(xué)習(xí)方法的效果，本文對比了該遷移策略對 TMTransformer 模型訓(xùn)練 Loss 的影響，如圖5.6所示。從圖中結(jié)果分析，該遷移策略可以有效降低 Loss，使得模型收斂到更優(yōu)。圖 5.6: TMTransformer 模型訓(xùn)練階段 Loss 變化情況對比圖從上述分析結(jié)果可知，本文設(shè)計的跨任務(wù)遷移學(xué)習(xí)方法可以在一定程度上緩解63

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張佩云;黃波;孫亞民;;面向服務(wù)組合的服務(wù)語義匹配機(jī)制[J];電子科技大學(xué)學(xué)報;2008年06期

2 郝玫;馬建峰;;基于特征觀點(diǎn)對語義匹配的產(chǎn)品評論可信度研究[J];現(xiàn)代情報;2019年06期

3 賈君枝;毛海飛;;基于法律框架網(wǎng)絡(luò)本體的語義匹配技術(shù)研究[J];情報理論與實(shí)踐;2008年01期

4 糜德吉;周良;丁秋林;;一種基于命名空間過濾的服務(wù)語義匹配算法[J];中國制造業(yè)信息化;2009年23期

5 邢華橋;武昊;侯妙樂;侯東陽;;顧及語義匹配類別的遙感處理服務(wù)組合方法[J];地理與地理信息科學(xué);2015年05期

6 羅安;王艷東;龔健雅;;顧及上下文的空間信息服務(wù)組合語義匹配方法[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2011年03期

7 姚俊良;樂小虬;;科技查新查新點(diǎn)語義匹配方法研究[J];數(shù)據(jù)分析與知識發(fā)現(xiàn);2019年06期

8 吳少洪;彭敦陸;苑威威;陳章;劉叢;;MGSC:一種多粒度語義交叉的短文本語義匹配模型[J];小型微型計算機(jī)系統(tǒng);2019年06期

9 梁汝鵬;鄧克波;毛澤湘;徐沛;;基于軍事知識圖譜的作戰(zhàn)預(yù)案語義匹配方法研究[J];指揮與控制學(xué)報;2019年02期

10 張燕;王鋒;張睿;;基于本體的網(wǎng)格服務(wù)語義匹配方法[J];計算機(jī)工程;2007年07期

相關(guān)會議論文 前6條

1 李耀春;徐羽瓊;李石堅;潘綱;;面向任務(wù)遷移的組件語義匹配機(jī)制[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

2 李貴;張兆鑫;李征宇;韓子洋;;WEB環(huán)境下基于領(lǐng)域本體的語義匹配技術(shù)研究[A];科學(xué)發(fā)展與社會責(zé)任（A卷）——第五屆沈陽科學(xué)學(xué)術(shù)年會文集[C];2008年

3 臧立麗;王卓;馮曉寧;;一種基于語義的軟構(gòu)件檢索方法[A];黑龍江省計算機(jī)學(xué)會2007年學(xué)術(shù)交流年會論文集[C];2007年

4 吳桂芳;劉俊;張倩倩;谷雨;;基于本體的語義匹配技術(shù)研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

5 林小青;李畢琴;;刺激屬性的不一致對工作記憶內(nèi)容捕獲注意的影響[A];第二十一屆全國心理學(xué)學(xué)術(shù)會議摘要集[C];2018年

6 白東偉;彭泳;陳俊亮;;一種語義支持的綜合業(yè)務(wù)發(fā)現(xiàn)框架[A];2006年全國通信軟件學(xué)術(shù)會議論文集[C];2006年

相關(guān)博士學(xué)位論文 前8條

1 黃濤;知識服務(wù)的語義匹配機(jī)制研究[D];華中師范大學(xué);2007年

2 許楠;基于本體的上下文感知計算關(guān)鍵技術(shù)研究[D];大連海事大學(xué);2015年

3 錢劍鋒;分布式語義發(fā)布/訂閱系統(tǒng)的若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

4 藺旭東;基于語義的XML查詢及規(guī)范化研究[D];北京交通大學(xué);2010年

5 高建波;本體模型及其在信息安全評估領(lǐng)域的應(yīng)用研究[D];上海交通大學(xué);2015年

6 楊柳;模糊本體建模方法及語義信息處理策略研究[D];中南大學(xué);2011年

7 陳科;語義支持的空間信息服務(wù)組合關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2012年

8 江志雄;基于動態(tài)語義的Web服務(wù)描述[D];復(fù)旦大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 金麗嬌;基于深度學(xué)習(xí)的答案選擇方法研究[D];華東師范大學(xué);2019年

2 王坤;面向中文醫(yī)療問題檢索的語義匹配技術(shù)研究[D];華東師范大學(xué);2019年

3 吳承澤;面向社區(qū)論壇多輪對話線索的連貫性評估方法研究[D];哈爾濱工業(yè)大學(xué);2018年

4 胡宇;面向數(shù)據(jù)融合的文本語義匹配的研究與實(shí)現(xiàn)[D];東北大學(xué);2015年

5 張杰;基于地理語義匹配的信息一體化檢索[D];中南大學(xué);2013年

6 邢昆明;基于語義匹配的Web服務(wù)發(fā)現(xiàn)和選擇問題的研究[D];中國石油大學(xué)（華東）;2013年

7 李玲;工作記憶內(nèi)容的語義匹配對注意捕獲效應(yīng)的影響[D];江西師范大學(xué);2017年

8 鄧憧;基于CNN語義匹配的自動問答系統(tǒng)構(gòu)建方法研究[D];哈爾濱工業(yè)大學(xué);2017年

9 陳志俊;語義Web服務(wù)發(fā)現(xiàn)機(jī)制研究[D];合肥工業(yè)大學(xué);2011年

10 江萍;基于領(lǐng)域本體的云制造服務(wù)語義匹配模型的研究[D];合肥工業(yè)大學(xué);2013年

本文編號：2748635