超聲檢查是甲狀腺病變檢查中的常用手段,其檢查結果主要由甲狀腺超聲圖像和檢查所見文本報告組成。實現醫(yī)療圖像與文本報告的互相檢索(簡稱:互檢)可以為醫(yī)生及患者提供極大的便利,但目前尚未有將甲狀腺超聲圖像與文本報告相關聯的互檢方法。本文提出一種基于深度學習的跨模態(tài)甲狀腺圖文互檢方法,并在跨模態(tài)生成對抗網絡的基礎上提出改進方法:①將原網絡中用于構建公共表示空間的部分全連接層之間的權重共享約束改為余弦相似度約束,能使網絡更好地學習不同模態(tài)數據的公共表示;②在跨模態(tài)判別器前加入全連接層,將權重共享的原網絡中圖像和文本全連接層合并在一起,在繼承了原網絡權重共享的優(yōu)點基礎上實現語義正則化。實驗結果表明,本文方法的甲狀腺超聲圖像與文本報告互檢平均精度均值可以達到0.508,較傳統跨模態(tài)方法有較大提升,為甲狀腺超聲圖像和文本報告的跨模態(tài)檢索提供了新手段。

【文章頁數】：11 頁


本文編號：3799300