基于深度學習的跨模態(tài)醫(yī)學圖像轉換
發(fā)布時間:2021-08-24 16:45
運用深度學習的方法基于腦部CT掃描圖像合成相應的MRI。將28例患者進行顱腦CT和MRI掃描得到的CT和MRI的斷層圖像進行剛性配準,隨機選取20例患者的圖像輸入U-Net卷積神經(jīng)網(wǎng)絡進行訓練,利用訓練好的網(wǎng)絡對未參與訓練的8例患者的CT圖像進行預測,得到合成的MRI。研究結果顯示:通過對合成的MRI進行定量分析,利用基于L2損失函數(shù)構建的U-Net網(wǎng)絡合成MRI效果良好,平均絕對平均誤差(MAE)為47.81,平均結構相似性指數(shù)(SSIM)為0.91。本研究表明可以利用深度學習方法對CT圖像進行轉換,獲得合成MRI,現(xiàn)階段可以達到擴充MRI醫(yī)學圖像數(shù)據(jù)庫的目的,隨著合成圖像精度的提高,可以用于幫助診斷等臨床應用。
【文章來源】:中國醫(yī)學物理學雜志. 2020,37(10)CSCD
【文章頁數(shù)】:5 頁
【部分圖文】:
合成MRI流程圖
U-Net的設計結構如圖2所示。網(wǎng)絡總共包含9部分,其中前5部分用于特征提取,后4部分設計為上采樣。為了增加模型的非線性,提取數(shù)據(jù)更高維度的特征,在特征提取和上采樣過程中,每一部分U-Net結構中卷積設計均采用兩個卷積計算連用的形式。最后一部分設計略有不同,增加了一步卷積核長度為1卷積計算。具體卷積計算設計如下:在特征提取部分采用3×3卷積核,卷積步長為1,池化層步長為2進行特征提;上采樣部分為了恢復圖像尺寸采用2×2卷積核,卷積步長為1進行逆卷積計算。第一部分是兩個卷積連用提取特征,其他部分是步長為2的池化層后面連續(xù)進行兩個卷積計算。網(wǎng)絡均基于Py Torch[15]庫設計,采用內(nèi)存為12 GB的NVIDIA TITAN X進行訓練。在U-Net訓練過程中使用采用均方損失(MSE Loss)函數(shù)驗證準確率,使用ADAM梯度下降算法[16],隨著訓練周期降低學習率。為了加快訓練速度,通過4進程來導入數(shù)據(jù)。訓練批處理參數(shù)設置為16,測試批處理參數(shù)設置為1。
對測試結果與標準圖像成像分析如圖3所示,從左至右為輸入的標準CT圖像、標準MRI、合成MRI和標準MRI與合成MRI之間的差值。將合成MRI與標準CT圖像對比,觀察顱內(nèi)軟組織區(qū)域可以看出所設計的U-Net網(wǎng)絡能夠做到在CT圖像中區(qū)分具有相似像素強度的不同解剖結構,如骨骼、腦回和腦部軟組織。2.2 定量結果
【參考文獻】:
期刊論文
[1]多模態(tài)深度學習綜述[J]. 劉建偉,丁熙浩,羅雄麟. 計算機應用研究. 2020(06)
[2]跨模態(tài)醫(yī)學圖像預測綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆. 電子學報. 2019(01)
本文編號:3360356
【文章來源】:中國醫(yī)學物理學雜志. 2020,37(10)CSCD
【文章頁數(shù)】:5 頁
【部分圖文】:
合成MRI流程圖
U-Net的設計結構如圖2所示。網(wǎng)絡總共包含9部分,其中前5部分用于特征提取,后4部分設計為上采樣。為了增加模型的非線性,提取數(shù)據(jù)更高維度的特征,在特征提取和上采樣過程中,每一部分U-Net結構中卷積設計均采用兩個卷積計算連用的形式。最后一部分設計略有不同,增加了一步卷積核長度為1卷積計算。具體卷積計算設計如下:在特征提取部分采用3×3卷積核,卷積步長為1,池化層步長為2進行特征提;上采樣部分為了恢復圖像尺寸采用2×2卷積核,卷積步長為1進行逆卷積計算。第一部分是兩個卷積連用提取特征,其他部分是步長為2的池化層后面連續(xù)進行兩個卷積計算。網(wǎng)絡均基于Py Torch[15]庫設計,采用內(nèi)存為12 GB的NVIDIA TITAN X進行訓練。在U-Net訓練過程中使用采用均方損失(MSE Loss)函數(shù)驗證準確率,使用ADAM梯度下降算法[16],隨著訓練周期降低學習率。為了加快訓練速度,通過4進程來導入數(shù)據(jù)。訓練批處理參數(shù)設置為16,測試批處理參數(shù)設置為1。
對測試結果與標準圖像成像分析如圖3所示,從左至右為輸入的標準CT圖像、標準MRI、合成MRI和標準MRI與合成MRI之間的差值。將合成MRI與標準CT圖像對比,觀察顱內(nèi)軟組織區(qū)域可以看出所設計的U-Net網(wǎng)絡能夠做到在CT圖像中區(qū)分具有相似像素強度的不同解剖結構,如骨骼、腦回和腦部軟組織。2.2 定量結果
【參考文獻】:
期刊論文
[1]多模態(tài)深度學習綜述[J]. 劉建偉,丁熙浩,羅雄麟. 計算機應用研究. 2020(06)
[2]跨模態(tài)醫(yī)學圖像預測綜述[J]. 周沛,陳后金,于澤寬,彭亞輝,李艷鳳,楊帆. 電子學報. 2019(01)
本文編號:3360356
本文鏈接:http://sikaile.net/yixuelunwen/swyx/3360356.html
最近更新
教材專著