基于深度學(xué)習(xí)的圖像融合技術(shù)易丟失網(wǎng)絡(luò)淺層特征信息,難以實現(xiàn)圖像的精準識別。提出一種利用全卷積神經(jīng)網(wǎng)絡(luò)(FCN)提取特征的紅外與可見光圖像融合方法。采用非下采樣剪切波變換(NSST)對源圖像進行多尺度和多方向分解,生成高頻子帶和低頻子帶圖像,將高頻子帶輸入FCN模型提取多尺度特征,并生成高頻子帶特征映射圖,使用最大加權(quán)平均算法完成高頻子帶的融合,同時采用區(qū)域能量和融合策略融合低頻子帶,對融合后的高頻子帶和低頻子帶進行NSST逆變換,得到最終的融合圖像。實驗結(jié)果表明,與GFF、WLS和IFE等方法相比,該方法融合圖像的主觀視覺效果和客觀評價指標更好。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖1NSST圖像分解過程

NSST圖像分解包括多尺度分解和多方向分解。在采用非下采樣金字塔變換(NSP)實現(xiàn)圖像多尺度分解過程中,圖像經(jīng)過k級尺度分解后,得到k+1個與源圖像大小相等的子圖像,其中有m個高頻子帶圖像和1個低頻子帶圖像。在多方向分解過程中,采用剪切濾波器(SF)實現(xiàn)圖像多方向分解。NSST圖....

圖2圖像融合框架

4)進行NSST逆變換得到融合圖像。2.2FCN模型構(gòu)建與訓(xùn)練

圖3FCN模型結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)對卷積神經(jīng)網(wǎng)絡(luò)的功能發(fā)揮起著重要作用,本文在文獻[20-21]研究的基礎(chǔ)上,提出一種新的FCN模型,該模型包括卷積(conv)層、relu層、池化(pooling)層和反卷積(deconv)層,其結(jié)構(gòu)如圖3所示。FCN模型的特征提取部分共有7個模塊,在每個卷積層中,交替使....

圖4采用FCN模型提取的紅外與可見光圖像高頻子帶特征映射圖

圖4為采用FCN模型提取的紅外與可見光圖像高頻子帶特征映射圖�？梢钥闯�,圖像邊緣特征和紋理特征被保留,保證了高頻圖像信息完整性。通過最大加權(quán)平均算法將圖像邊緣特征和紋理特征進行有效融合,得到分辨率和清晰度較好的高質(zhì)量融合圖像。2.4圖像重構(gòu)

本文編號：3986335