多模態(tài)醫(yī)學影像信息已經(jīng)在計算機輔助檢測和診斷中被廣泛地應用。在對Alzheimer�。ˋlzheimer’s disease, AD）的分類與診斷中,結合多個模態(tài)醫(yī)學影像的特征信息能夠更加準確且全面地對同一AD主題進行分類與診斷。該文提出了一種基于卷積神經(jīng)網(wǎng)絡的模型結構,分別對AD病患的磁共振圖像（MRI）和正電子發(fā)射型計算機斷層顯像（PET）圖像進行3D卷積操作來提取各自模態(tài)的特征信息,并應用模型融合方法對模態(tài)特征信息加以融合,從而得到包含更加豐富的多模態(tài)特征信息。最后用全連接神經(jīng)網(wǎng)絡將上述提取的多模態(tài)特征信息進行分類預測。通過在AD神經(jīng)影像學倡議（Alzheimer’s disease neuroimaging initiative, ADNI）公開數(shù)據(jù)集上的實驗結果表明:該文所提出的模型在準確率（accuracy, ACC）和曲線下面積（area under the curve, AUC）的性能評價中都取得了更加優(yōu)越的結果。 

【文章來源】：清華大學學報(自然科學版). 2020,60(08)北大核心EICSCD

【文章頁數(shù)】：9 頁

【部分圖文】：

整體流程示意圖

值得注意的是, 此模型塊的所有卷積操作中, 卷積核移動的步長均為1, 填充方式為SAME。 3D卷積操作中s表示卷積核尺寸, k表示卷積核個數(shù), 模型中激活函數(shù)都選用ReLU。 在3D池化層中, 池化方式選擇最大池化, s表示池化操作的步長。 3D VGGNet模型塊輸入為1×128×128×128的單模態(tài)圖像(預處理后的MRI圖像或預處理后的FDG-PET圖像)。 經(jīng)過圖1的14層卷積池化等操作和1層Flatten()操作后輸出為1×32 768的特征向量。 此特征向量為單模態(tài)圖像的特征向量, 同理可分別取得MRI圖像的特征向量和FDG-PET圖像的特征向量。 此模型塊的目的在于用來提取單個模態(tài)圖像特征信息, 且它既繼承VGGNet框架簡潔和訓練參數(shù)量低的模型優(yōu)點, 又能夠對三維圖像特征信息做到全面且準確地捕捉。通過3D VGGNet模型塊分別提取MRI圖像和FDG-PET圖像的特征后, 本文將2個模態(tài)的特征進行融合, 模型結構上的操作為將2個3D VGGNet模型塊進行模型融合進而組合成1個整體的模型架構, 如圖2所示為模型特征融合的整體流程示意圖。 從特征數(shù)量上分析, 是將2個特征數(shù)量為1×32 768特征向量同向拼接為1個融合向量, 融合后的特征向量為1×65 536, 此融合向量作為最終的多模態(tài)特征向量, 同時將其作為輸入, 隨后用2層傳統(tǒng)的深度全連接神經(jīng)網(wǎng)絡做最后的分類檢測。 將2個模型向量進行樸素地同軸拼接成1個單一向量的理由在于, 模型隨后進行的是全連接網(wǎng)絡, 即每個特征值都將與下層神經(jīng)元帶權重地進行連接, 因此不會忽視或減弱特征信息的關聯(lián)性。 本文采用模型整體反向傳播算法方式進行學習訓練, 即將2個模型部分融合成為單一整體的網(wǎng)絡模型架構, 所以采取整體構建網(wǎng)絡模型后統(tǒng)一訓練的方式進行訓練。 無論是在二分類任務還是三分類任務中,模型第一部分的特征提取所使用的3D VGGNet模型塊結構不變, 融合后的特征均為1×65 536, 之后緊接著1個隱層, 隱層的神經(jīng)元節(jié)點個數(shù)為256; 通過這個隱層的傳遞后最終連接節(jié)點個數(shù)為2的softmax層作為二分類任務, 或是節(jié)點個數(shù)為3的softmax層作為三分類任務。

AD∶NC的訓練ACC、 測試ACC和測試AUC


本文編號：3238628