多模態(tài)醫(yī)學(xué)影像信息已經(jīng)在計(jì)算機(jī)輔助檢測和診斷中被廣泛地應(yīng)用。在對Alzheimer�。ˋlzheimer’s disease, AD）的分類與診斷中,結(jié)合多個(gè)模態(tài)醫(yī)學(xué)影像的特征信息能夠更加準(zhǔn)確且全面地對同一AD主題進(jìn)行分類與診斷。該文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu),分別對AD病患的磁共振圖像（MRI）和正電子發(fā)射型計(jì)算機(jī)斷層顯像（PET）圖像進(jìn)行3D卷積操作來提取各自模態(tài)的特征信息,并應(yīng)用模型融合方法對模態(tài)特征信息加以融合,從而得到包含更加豐富的多模態(tài)特征信息。最后用全連接神經(jīng)網(wǎng)絡(luò)將上述提取的多模態(tài)特征信息進(jìn)行分類預(yù)測。通過在AD神經(jīng)影像學(xué)倡議（Alzheimer’s disease neuroimaging initiative, ADNI）公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:該文所提出的模型在準(zhǔn)確率（accuracy, ACC）和曲線下面積（area under the curve, AUC）的性能評價(jià)中都取得了更加優(yōu)越的結(jié)果。 

【文章來源】：清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020,60(08)北大核心EICSCD

【文章頁數(shù)】：9 頁

【部分圖文】：

整體流程示意圖

值得注意的是, 此模型塊的所有卷積操作中, 卷積核移動(dòng)的步長均為1, 填充方式為SAME。 3D卷積操作中s表示卷積核尺寸, k表示卷積核個(gè)數(shù), 模型中激活函數(shù)都選用ReLU。 在3D池化層中, 池化方式選擇最大池化, s表示池化操作的步長。 3D VGGNet模型塊輸入為1×128×128×128的單模態(tài)圖像(預(yù)處理后的MRI圖像或預(yù)處理后的FDG-PET圖像)。 經(jīng)過圖1的14層卷積池化等操作和1層Flatten()操作后輸出為1×32 768的特征向量。 此特征向量為單模態(tài)圖像的特征向量, 同理可分別取得MRI圖像的特征向量和FDG-PET圖像的特征向量。 此模型塊的目的在于用來提取單個(gè)模態(tài)圖像特征信息, 且它既繼承VGGNet框架簡潔和訓(xùn)練參數(shù)量低的模型優(yōu)點(diǎn), 又能夠?qū)θS圖像特征信息做到全面且準(zhǔn)確地捕捉。通過3D VGGNet模型塊分別提取MRI圖像和FDG-PET圖像的特征后, 本文將2個(gè)模態(tài)的特征進(jìn)行融合, 模型結(jié)構(gòu)上的操作為將2個(gè)3D VGGNet模型塊進(jìn)行模型融合進(jìn)而組合成1個(gè)整體的模型架構(gòu), 如圖2所示為模型特征融合的整體流程示意圖。 從特征數(shù)量上分析, 是將2個(gè)特征數(shù)量為1×32 768特征向量同向拼接為1個(gè)融合向量, 融合后的特征向量為1×65 536, 此融合向量作為最終的多模態(tài)特征向量, 同時(shí)將其作為輸入, 隨后用2層傳統(tǒng)的深度全連接神經(jīng)網(wǎng)絡(luò)做最后的分類檢測。 將2個(gè)模型向量進(jìn)行樸素地同軸拼接成1個(gè)單一向量的理由在于, 模型隨后進(jìn)行的是全連接網(wǎng)絡(luò), 即每個(gè)特征值都將與下層神經(jīng)元帶權(quán)重地進(jìn)行連接, 因此不會忽視或減弱特征信息的關(guān)聯(lián)性。 本文采用模型整體反向傳播算法方式進(jìn)行學(xué)習(xí)訓(xùn)練, 即將2個(gè)模型部分融合成為單一整體的網(wǎng)絡(luò)模型架構(gòu), 所以采取整體構(gòu)建網(wǎng)絡(luò)模型后統(tǒng)一訓(xùn)練的方式進(jìn)行訓(xùn)練。 無論是在二分類任務(wù)還是三分類任務(wù)中,模型第一部分的特征提取所使用的3D VGGNet模型塊結(jié)構(gòu)不變, 融合后的特征均為1×65 536, 之后緊接著1個(gè)隱層, 隱層的神經(jīng)元節(jié)點(diǎn)個(gè)數(shù)為256; 通過這個(gè)隱層的傳遞后最終連接節(jié)點(diǎn)個(gè)數(shù)為2的softmax層作為二分類任務(wù), 或是節(jié)點(diǎn)個(gè)數(shù)為3的softmax層作為三分類任務(wù)。

AD∶NC的訓(xùn)練ACC、 測試ACC和測試AUC


本文編號：3238628