紅外成像技術(shù)應(yīng)用廣泛,但圖像分辨率較低限制了其發(fā)展,因此對紅外圖像的超分辨率重建研究很有必要。為了解決上述問題,本文設(shè)計(jì)了一種單幀紅外圖像超分辨率重建算法ISRGAN。另外,由于基于單幀紅外圖像的算法無法利用視頻中相鄰幀之間的信息。因此本文在ISRGAN算法的基礎(chǔ)上,設(shè)計(jì)了一種多幀紅外圖像超分辨率重建算法,加入了相鄰幀對目標(biāo)幀的信息補(bǔ)充,獲取了多幀之間的信息相關(guān)性。本文的主要研究內(nèi)容及結(jié)果概括如下:（1）針對目前SRGAN算法在紅外圖像超分辨率重建中的問題,設(shè)計(jì)了一種新的算法ISRGAN,核心是改進(jìn)以SRGAN算法為基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu),分別改進(jìn)模型的生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)以及損失函數(shù)。其中生成網(wǎng)絡(luò)的改進(jìn)為,將SRGAN算法的生成網(wǎng)絡(luò)與雙三次插值算法進(jìn)行結(jié)合,保持圖像低頻區(qū)域的信息;判別網(wǎng)絡(luò)的改進(jìn)為,使用相對判別網(wǎng)絡(luò)來代替原來SRGAN算法的標(biāo)準(zhǔn)判別網(wǎng)絡(luò),使生成的圖像高頻紋理細(xì)節(jié)更細(xì)致;損失函數(shù)的改進(jìn)為,在SRGAN算法的感知損失函數(shù)中加入均方誤差損失,達(dá)到清晰的視覺效果與較高的PSNR及SSIM值之間的平衡。對每一個(gè)模塊的改進(jìn)都進(jìn)行分析及實(shí)驗(yàn)驗(yàn)證,最后對整體算法進(jìn)行主觀及客觀評價(jià)指標(biāo)上的實(shí)驗(yàn)和... 

【文章來源】： 周蘭蘭 電子科技大學(xué)

【文章頁數(shù)】：101 頁

【學(xué)位級別】：碩士

【部分圖文】：

SRGAN算法的重建效果圖

６運(yùn)?小后的圖像進(jìn)行光流估計(jì)得到位移值，接著按照規(guī)定的放大倍數(shù)放大得到的這個(gè)位移值，對放大后的圖像繼續(xù)進(jìn)行光流估計(jì)，直到達(dá)到原始圖像的像素大小就停止這個(gè)過程，得到最終的像素位移值。本章多幀圖像超分辨率重建算法中的運(yùn)動(dòng)估計(jì)模塊用的是FlowNet光流估計(jì)算法，其網(wǎng)絡(luò)模型如圖4-2所示，主要由編碼模塊和解碼模塊組成。編碼模塊由9個(gè)conv卷積層和一個(gè)ReLU激活函數(shù)層組成，圖中標(biāo)明了卷積層的尺寸及特征個(gè)數(shù)。將兩幀相鄰的圖像按通道維度進(jìn)行堆疊后輸入到該光流算法模型中，網(wǎng)絡(luò)會(huì)提取兩幀圖像之間的運(yùn)動(dòng)信息。圖4-2FlowNet算法網(wǎng)絡(luò)模型圖圖4-2中的refinement指的是解碼模塊，也稱為細(xì)化模塊。它的具體網(wǎng)絡(luò)結(jié)構(gòu)

電子科技大學(xué)碩士學(xué)位論文58如圖4-3所示，解碼模塊主要由4個(gè)反卷積層upconv和ReLU激活函數(shù)層構(gòu)成。具體工作流程如下：（1）首先，在解碼過程中，每層反卷積的激活函數(shù)層的輸入包括前一層的輸出、前一層預(yù)測到的光流以及相對應(yīng)的編碼模塊的特征層。這樣設(shè)計(jì)的目的是使每一層反卷積層在解碼時(shí)，既能夠得到低分辨率圖像特征中的最新信息，又能夠保留較低尺度圖像特征中的局部信息，以此來彌補(bǔ)因?yàn)閳D像尺寸縮小變化而損失的信息。（2）每執(zhí)行一個(gè)反卷積層，圖像的分辨率就會(huì)放大二倍，執(zhí)行了四個(gè)反卷積層之后得到的光流信息的分辨率依然比輸入的低分辨率圖像小四倍。（3）最后，解碼模型使用了一個(gè)雙線性插值將光流信息采樣到與輸入的低分辨率圖像同樣的大小尺寸。（4）最終得到的光流文件包含了兩幀相鄰圖像之間的運(yùn)動(dòng)物體的x坐標(biāo)和y坐標(biāo)的位移矢量。圖4-3FlowNet網(wǎng)絡(luò)模型中的refinement部分結(jié)構(gòu)圖FlowNet光流運(yùn)動(dòng)估計(jì)算法在多幀圖像超分辨率重建中的作用如圖4-4所示。1LRtILRtIFlowNet光流運(yùn)動(dòng)估計(jì)逐像素相加1,LRtflowI"1LRtI圖4-4FlowNet光流運(yùn)動(dòng)估計(jì)算法的功能框圖

【參考文獻(xiàn)】：
期刊論文
[1]基于單幅圖像的保邊插值超分辨率優(yōu)化算法[J]. 戴瑾,武欣儀.  計(jì)算機(jī)應(yīng)用. 2018(S1)
[2]基于條件深度卷積生成對抗網(wǎng)絡(luò)的圖像識(shí)別方法[J]. 唐賢倫,杜一銘,劉雨微,李佳歆,馬藝瑋.  自動(dòng)化學(xué)報(bào). 2018(05)
[3]基于深度學(xué)習(xí)的圖像超分辨率復(fù)原研究進(jìn)展[J]. 孫旭,李曉光,李嘉鋒,卓力.  自動(dòng)化學(xué)報(bào). 2017(05)
[4]高性能探測成像與識(shí)別的研究進(jìn)展及展望[J]. 王雪松,戴瓊海,焦李成,洪文,徐立軍,邢孟道,馮德軍,陳思偉,代大海.  中國科學(xué):信息科學(xué). 2016(09)
[5]改進(jìn)的自適應(yīng)沖擊濾波圖像超分辨率插值算法[J]. 肖進(jìn)勝,饒?zhí)煊?賈茜,唐路敏,岳顯昌.  計(jì)算機(jī)學(xué)報(bào). 2015(06)
[6]基于插值與剪切波融合的圖像超分辨率重建[J]. 殷明,水珺,欒靜,白瑞峰.  計(jì)算機(jī)工程. 2015(05)
[7]基于低秩矩陣恢復(fù)和聯(lián)合學(xué)習(xí)的圖像超分辨率重建[J]. 陳曉璇,齊春.  計(jì)算機(jī)學(xué)報(bào). 2014(06)
[8]基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J]. 潘宗序,禹晶,胡少興,孫衛(wèi)東.  自動(dòng)化學(xué)報(bào). 2014(04)
[9]使用改進(jìn)的POCS算法的超分辨率圖像復(fù)原[J]. 謝甜.  電子設(shè)計(jì)工程. 2013(18)
[10]超分辨率圖像重建方法綜述[J]. 蘇衡,周杰,張志浩.  自動(dòng)化學(xué)報(bào). 2013(08)



本文編號：2964183