圖像超分辨重建技術(shù)因其可以方便快速地將低分辨率圖像高效高質(zhì)地重建為高分辨率圖像而備受關(guān)注,在遙感成像、醫(yī)學(xué)影像處理、視頻監(jiān)控等領(lǐng)域有廣泛應(yīng)用。由于計(jì)算機(jī)硬件的發(fā)展和訓(xùn)練算法的進(jìn)步,深度學(xué)習(xí)具有強(qiáng)大的處理大量非結(jié)構(gòu)化數(shù)據(jù)的能力。近年來,基于深度學(xué)習(xí)的單幅圖像超分辨重建技術(shù)取得了較大進(jìn)展。但是,考慮到任務(wù)自身的難點(diǎn)以及主客觀評(píng)價(jià)指標(biāo)的差異,已有研究成果與實(shí)際應(yīng)用間還存在差距。因此,本文針對(duì)基于深度學(xué)習(xí)的單幅圖像超分辨重建算法進(jìn)行了深入研究,并提出了三種不同的解決方案。本文主要工作概括如下:首先,對(duì)單幅圖像超分辨重建相關(guān)文獻(xiàn)進(jìn)行了回顧,對(duì)基于學(xué)習(xí)的相關(guān)工作進(jìn)行了分類與總結(jié),按照神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化目標(biāo)函數(shù)兩個(gè)方向,介紹了其中代表性工作,并對(duì)解決思路與關(guān)鍵算法進(jìn)行梳理。其次,針對(duì)傳統(tǒng)的單幅圖像超分辨重建任務(wù),構(gòu)建了一種多尺度殘差模塊,在此基礎(chǔ)上提出了一種基于多尺度深度殘差網(wǎng)絡(luò)的單幅圖像超分辨重建算法MSCDR。多尺度殘差塊采用雙通道設(shè)置,分別包含1×1卷積核和3×3卷積核,既拓展網(wǎng)絡(luò)寬度又?jǐn)U大網(wǎng)絡(luò)感受野,可以增強(qiáng)網(wǎng)絡(luò)的非線性表達(dá)能力,并且有利于提取更多的細(xì)節(jié)特征。移除批規(guī)范化層,從而節(jié)約計(jì)算資源... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：98 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

ILSVRC歷年冠軍算法的分類誤差率比較

東南大學(xué)碩士學(xué)位論文可以發(fā)現(xiàn)這些梯度值會(huì)有一系列的連乘操作，當(dāng)網(wǎng)絡(luò)層數(shù)增加時(shí)，梯度會(huì)在傳播過程中逐漸消失，進(jìn)而無法避免地就沒法再對(duì)之前的各層網(wǎng)絡(luò)的權(quán)重進(jìn)行行之有效的調(diào)整了。圖2.2鏈?zhǔn)椒▌t示意圖采用這種殘差模塊的方案，還有一個(gè)優(yōu)勢(shì)就是可以從根本上避免了梯度消失現(xiàn)象的產(chǎn)生。同樣在圖2.1(a)當(dāng)中，設(shè)第l個(gè)殘差層的輸入特征為xl，F(xiàn)為殘差函數(shù)，Wl是與第l個(gè)殘差層相關(guān)的權(quán)重，f是捷徑連接相加之后的操作，此處采用的是Relu激活函數(shù)，I為恒等映射，I(xl)=xl，那么殘差模塊內(nèi)部具有如公式2.2和公式2.3所示的關(guān)系：yl=I(xl)+F(xl,ωl)(2.2)xl+1=f(yl)(2.3)當(dāng)f也是恒等映射時(shí)，即xl+1≡yl時(shí)，可以得到遞推公式2.4，繼而得到公式2.5。xl+1=xl+F(xl,ωl)xl+2=xl+1+F(xl+1,ωl+1)...xL=xL1+F(xL1,ωL1)(2.4)xL=xl+L1∑i=lF(xi,ωi)(2.5)從公式2.5中可以看出，對(duì)于第L個(gè)殘差塊的輸入可以用其中一個(gè)淺層的殘差塊l的輸入加上它們之間所有的殘差函數(shù)之和來表示；對(duì)于第L個(gè)殘差塊，其輸入就可以直接用初始?xì)埐顗K的輸入再加上之前一系列的殘差模塊輸出的總和，即xL=x0+∑L1i=0F(xi,ωi)。另外，假設(shè)損失函數(shù)為ε，通過上述的反向傳播的鏈?zhǔn)椒▌t可以計(jì)算出公式2.6：εxl=εxLxLxl=εxL(1+xlL1∑i=lF(xi,ωi))(2.6)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中，第L層的輸入特征xL是一系列各自權(quán)重與輸入特征的乘積，即∏L1i=0Wix0。由公式2.6可知，傳統(tǒng)網(wǎng)絡(luò)中反向傳播時(shí)產(chǎn)生的矩陣向量連乘被一系列殘差函數(shù)結(jié)果的累加所取代，這就意味著造成梯度消失的根本原因已經(jīng)被避免了。上述整個(gè)推導(dǎo)過程有一個(gè)前提條件，就是I(xl)=xl和xl+1=

第二章基于深度殘差網(wǎng)絡(luò)的單幅圖像超分辨重建2.3基于多尺度深度殘差網(wǎng)絡(luò)的單幅圖像超分辨重建2.3.1多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡(luò)本章提出的多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡(luò)(MultiscaleSubpixelConvolution-basedDeepResnet,MSCDR)，其具體架構(gòu)如圖2.5所示。首先在殘差塊部分級(jí)聯(lián)了32個(gè)如圖2.14所示的多尺度殘差模塊，接著通過捷徑連接，直接將低層次的輸入特征圖與當(dāng)前獲得的高層次特征圖相加。將多個(gè)層次信息融合，既可以防止網(wǎng)絡(luò)的梯度消失，也可以增強(qiáng)判別信息的能力。我們采用亞像素卷積的方式，將從低分辨率空間中產(chǎn)生的特征圖通過周期性篩選，重置得到預(yù)測(cè)高分辨率輸出圖像ISR。圖2.5多尺度聯(lián)合亞像素卷積深度殘差網(wǎng)絡(luò)與VDSR算法不同，其雖然使用多尺度圖像作為訓(xùn)練集，但網(wǎng)絡(luò)僅能提取輸入圖像在單一尺度上的特征，實(shí)際上無法充分挖掘輸入的多尺度圖像在不同尺度間隱藏的信息。MSCDR采用多通道的形式，利用多尺度殘差模塊，對(duì)于每個(gè)輸入圖像內(nèi)部多個(gè)尺度的特征，利用網(wǎng)絡(luò)以挖掘潛在的更加豐富的細(xì)節(jié)特征，可以為提高圖像的重建質(zhì)量做貢獻(xiàn)。在傳統(tǒng)方案和SRCNN算法中，對(duì)于圖像的上采樣主要有兩種方案。一種是Osendor-fer等人[71]采用的在網(wǎng)絡(luò)中間逐漸提高圖像分辨率。另一種方案，先采用雙三次插值對(duì)輸入的低分辨率圖像進(jìn)行上采樣，將其放大至與期望輸出圖像相同尺寸后作為網(wǎng)絡(luò)的輸入數(shù)據(jù)，因而整個(gè)訓(xùn)練過程始終是處于高分辨率空間中，這必然增加計(jì)算的復(fù)雜性。卷積網(wǎng)絡(luò)的處理速度直接取決于輸入圖像的分辨率，這必然會(huì)使網(wǎng)絡(luò)的訓(xùn)練時(shí)間增加。其次，插值方案不會(huì)帶來額外信息以彌補(bǔ)重建問題中的不足。本章提出的MSCDR算法采用亞像素卷積層，在低分辨率空間中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，具體將在2.3.2節(jié)和2.3.3節(jié)中介紹。多尺度殘差模塊主要有三個(gè)


本文編號(hào)：2955954