皮膚鏡圖像中的皮膚病變自動識別是提高診斷性能和減少皮膚癌死亡的重要方法.針對訓(xùn)練數(shù)據(jù)不足的問題,提出一種基于pix2pixHD的高分辨率皮膚鏡圖像合成方法.首先,通過皮膚病灶的真實邊界,結(jié)合病變類別對皮膚病變知識進行建模,獲取包含病理意義的標簽映射;其次,以標簽映射作為病變合成的約束條件,利用構(gòu)建的生成對抗網(wǎng)絡(luò)模型實現(xiàn)標簽映射向皮膚鏡圖像的空間映射,同時將生成器的淺層和深層特征相結(jié)合以避免圖像細節(jié)信息的丟失;然后,引入標準差特征匹配損失以穩(wěn)定生成對抗網(wǎng)絡(luò)的訓(xùn)練.在ISIC-2017數(shù)據(jù)集上的實驗結(jié)果表明,相比不同合成方法生成圖像的質(zhì)量,該方法具有更好的視覺效果以及IS與FID定量化指標評價,并且可為監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)提供額外的信息增益,以提高皮膚病變分類的準確度. 

【文章來源】：計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2020,32(11)北大核心EICSCD

【文章頁數(shù)】：9 頁

【部分圖文】：

pix2pix HD框架流程

(2)實例映射.一個理想的圖像生成模型應(yīng)該能夠通過相同的語義映射來生成各種各樣的圖像,如果只使用語義映射,每個像素值代表一個不同的對象類,它可以區(qū)分不同類別的對象,但不能區(qū)分相同類別的對象.因此,需要使用一個實例映射來為每個單獨的對象分配一個唯一的像素值.為了構(gòu)建實例映射,本文使用了超像素(super-pixel)算法[17],它將像素組合成具有感知意義的子區(qū)域,這些子區(qū)域可以用來代替相同對象內(nèi)部結(jié)構(gòu).將超像素算法應(yīng)用于皮膚鏡圖像,超像素塊的數(shù)量設(shè)置為1 000,得到超像素圖像如圖2a所示.語義映射只能區(qū)分不同類別的區(qū)域,而實例映射可以在同一類別的多個相似區(qū)域相鄰時提供重要的鄰域信息.因此使用實例映射時,首先將超像素圖像中的1 000個超像素塊按從左到右、從上到下的升序編號.然后對超像素塊進行遍歷,如果超像素塊中超過一半的區(qū)域?qū)儆谡５钠つw區(qū)域,則像素值從1 000開始編號,每次遞增1;否則,對于痣病變皮膚區(qū)域,超像素塊的像素值從2 000開始編號,每次遞增1;對于黑色素瘤病變,超像素塊的像素值從3 000開始編號,每次遞增1;對于脂溢性角化病變,超像素塊的像素值從4 000開始編號,每次遞增1.通過編碼好的實例映射得到鄰域邊界映射后,將鄰域邊界映射與語義映射通過one-hot編碼連接起來,構(gòu)造一個復(fù)合標簽映射,并將其輸入生成器網(wǎng)絡(luò).而判別器的輸入是復(fù)合標簽映射和真實或合成圖像的按通道級聯(lián)拼接.

在pix2pix HD中,生成器由2個子網(wǎng)絡(luò)組成,全局生成器和局部增強器.全局生成器輸出的分辨率為1 024×512像素,局部增強器輸出的圖像分辨率為前一幅圖像輸出的2倍(2 048×1 024像素).由于全局生成器的輸出分辨率滿足數(shù)據(jù)的大小要求,為了減少計算量,本文只使用了pix2pix HD的全局生成器.然而全局生成器經(jīng)過一系列卷積之后,得到的高維特征圖丟失了目標位置等淺層細節(jié)信息,導(dǎo)致目標定位精度下降.因此,本文在上采樣階段,通過編碼器和解碼器之間的跳接,將編碼器和解碼器生成的大小相同的特征圖疊加在相應(yīng)的位置,并進行卷積運算,以有效地融合圖像的淺層和深層特征,生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.改進后的生成器由一系列下采樣(Downsample),一組殘差塊(Residual Block)和一系列連接-上采樣(Concatenate-Upsample)組成,具體網(wǎng)絡(luò)參數(shù)如圖3所示.網(wǎng)絡(luò)使用批量歸一化(batchnorm,BN)處理以提高網(wǎng)絡(luò)的泛化能力,在輸出層使用Tanh激活函數(shù),其余層使用Re LU激活函數(shù).在下采樣和上采樣中間包括一組殘差塊(由9個殘差塊組成),網(wǎng)絡(luò)根據(jù)殘差塊對標簽映射和生成圖像的差異進行學(xué)習(xí),而不是根據(jù)整個圖像的信息,從而提高網(wǎng)絡(luò)收斂性.

【參考文獻】：
期刊論文
[1]采用條件生成式對抗網(wǎng)絡(luò)的缺損牙全冠修復(fù)技術(shù)[J]. 袁福來,戴寧,田素坤,張貝,孫玉春,俞青,劉浩.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2019(12)
[2]醫(yī)學(xué)圖像分析深度學(xué)習(xí)方法研究與挑戰(zhàn)[J]. 田娟秀,劉國才,谷珊珊,鞠忠建,劉勁光,顧冬冬.  自動化學(xué)報. 2018(03)



本文編號：3484321