近十年來,計(jì)算機(jī)視覺在圖像分類、目標(biāo)檢測、圖像分割等圖像處理任務(wù)上取得了巨大的進(jìn)步,深度網(wǎng)絡(luò)的性能在這些任務(wù)中有了很大的提升,為新的圖像處理任務(wù)奠定了基礎(chǔ)。盡管基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network,GAN）的圖像修復(fù)方法近年來在準(zhǔn)確性和速度上取得了突破,但是由于內(nèi)存硬件條件限制和GAN網(wǎng)絡(luò)訓(xùn)練不平衡,對于高分辨率圖像,修復(fù)的區(qū)域會(huì)顯得模糊,存在清晰的邊界線,難以修復(fù)高頻細(xì)節(jié)。其次,研究發(fā)現(xiàn),這些基于卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)方法經(jīng)常生成的邊界偽影、變形結(jié)構(gòu)和不清晰的紋理,除了是網(wǎng)絡(luò)模型本身的影響,還可能是由于卷積神經(jīng)網(wǎng)絡(luò)無法將遠(yuǎn)距離的圖像信息和圖像補(bǔ)孔之間的長期相關(guān)性進(jìn)行建模引起的。同時(shí),圖像修復(fù)在實(shí)際生活中的應(yīng)用也十分廣泛,例如刪除圖像中不必要的行人并獲得背景恢復(fù)的真實(shí)感的問題。這個(gè)問題很有挑戰(zhàn)性,因?yàn)槿鄙僬鎸?shí)的輸出樣本去定義重構(gòu)損失。為解決上述問題。本文基于生成對抗網(wǎng)絡(luò),進(jìn)行如下圖像修復(fù)的研究:1)基于多尺度神經(jīng)網(wǎng)絡(luò)的高分辨率圖像修復(fù):為了修復(fù)高頻細(xì)節(jié),該網(wǎng)絡(luò)包含內(nèi)容重構(gòu)網(wǎng)絡(luò)和紋理細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)。內(nèi)容重構(gòu)網(wǎng)絡(luò)使用VGG-16對輸入圖像進(jìn)行多尺度特... 

【文章來源】：中國礦業(yè)大學(xué)江蘇省 211工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

基于變分PDE算法的圖像修復(fù)Figure1-1VariationalPDEalgorithmforimageinpainting在之后的研究中，許多研究學(xué)者改進(jìn)了基本的基于變分PDE的圖像修復(fù)算

1緒論5圖1-2基本的紋理修復(fù)Figure1-2Thebasictextureinpainting常用的基于紋理圖像修復(fù)方法是Criminisi算法，針對Criminisi算法中最匹配塊搜索和填充的缺點(diǎn)，Gaolong等人[35]提出了一種結(jié)合稀疏表示的Criminisi算法，采用稀疏表示方法代替Criminisi算法中的最佳匹配patch搜索，優(yōu)化了待繪制的標(biāo)記區(qū)域，提高了可信度的優(yōu)先級。為降低修復(fù)時(shí)間，Tijana等人[36]使用紋理描述符來指導(dǎo)和加速尋找良好匹配(候選)圖像塊，這種方法可以用來提高幾乎任何(基于圖像塊的)修復(fù)方法的速度和性能。Wei等[37]將PDE與紋理修復(fù)相結(jié)合，提出了一種新的圖像修復(fù)算法。對已知圖像進(jìn)行紋理分類，減少紋理搜索區(qū)域，降低修復(fù)時(shí)間。3）基于深度學(xué)習(xí)的圖像修復(fù)：生成對抗網(wǎng)絡(luò)的出現(xiàn)使得圖像修復(fù)技術(shù)的研究邁向一個(gè)高峰，vanillaGANs[11]在生成清晰、不模糊圖像方面表現(xiàn)出了良好的性能，但訓(xùn)練的不穩(wěn)定性使其難以擴(kuò)展到更高分辨率的圖像。目前已經(jīng)提出了幾種穩(wěn)定訓(xùn)練過程的技術(shù)，包括DCGAN[14]、基于能量的GAN[38]、WassersteinGAN(WGAN)[39,40]、WGAN-GP[41]、BEGAN[42]、LSGAN[43]。圖像修復(fù)的一個(gè)更相關(guān)的任務(wù)是條件圖像生成。例如，Pix2Pix[44]、Pix2PixHD[45]和CycleGAN[46]使用成對或非成對的數(shù)據(jù)在不同的域中轉(zhuǎn)換圖像。目前基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)比較常用的損失函數(shù)是對抗損失和L2損失的結(jié)合，L2損失計(jì)算方差能夠激勵(lì)生成網(wǎng)絡(luò)的輸出，但輸出結(jié)果無法捕捉高頻細(xì)節(jié)，無法修復(fù)出清晰的紋理結(jié)構(gòu)，因此引入對抗損失能夠有效解決上述問題。如圖1-3所示，將生成對抗網(wǎng)絡(luò)應(yīng)用于圖像修復(fù)的基礎(chǔ)模型是Deepak[6]等人結(jié)合encoder-decoder機(jī)制來實(shí)現(xiàn)人臉圖像的修復(fù)，L2損失與對抗損失相結(jié)合可以達(dá)到更好的修復(fù)效果，最新的、有效的

AN本身難以訓(xùn)練的缺陷，這些方法只能處理低分辨率的輸入。而對于現(xiàn)實(shí)修復(fù)需求更大的高分辨率圖像，修復(fù)的區(qū)域會(huì)顯得模糊，存在與周圍區(qū)域不一致的邊界，難以修復(fù)高頻細(xì)節(jié)。其次，這些基于卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)方法經(jīng)常生成與已知圖像區(qū)域不一致的邊界偽影、變形結(jié)構(gòu)和不清晰的紋理，除了是受到網(wǎng)絡(luò)模型本身的影響，還可能是由于卷積神經(jīng)網(wǎng)絡(luò)無法將遠(yuǎn)距離的圖像信息和圖像補(bǔ)孔之間的長期相關(guān)性進(jìn)行建模引起的。目前仍然沒有一種方法可以修復(fù)圖像中所有類型的失真，在未來，基于深度學(xué)習(xí)的圖像修復(fù)還有很長一段路要走。圖1-3基于生成對抗網(wǎng)絡(luò)的圖像修復(fù)Figure1-3Imageinpaintingmodelbasedongenerativeadversarialnetwork1.3本文主要工作（MajorWorksofThesis）本文針對現(xiàn)有圖像修復(fù)技術(shù)可能會(huì)存在與周圍區(qū)域不同的邊界偽影、扭曲的結(jié)構(gòu)和不清晰的紋理的問題提出：1）基于多尺度神經(jīng)網(wǎng)絡(luò)的高分辨率圖像修復(fù)：該網(wǎng)絡(luò)包含內(nèi)容重構(gòu)網(wǎng)絡(luò)和紋理細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)。內(nèi)容重構(gòu)網(wǎng)絡(luò)使用VGG-16對輸入圖像進(jìn)行多尺度特征提取，并利用四組不同速率的空洞卷積提取多尺度感受野的圖像特征，然后根據(jù)提取的特征重構(gòu)輸入圖像。紋理細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)在SRGAN[20]網(wǎng)絡(luò)的基礎(chǔ)上加入了空

【參考文獻(xiàn)】：
期刊論文
[1]生成對抗網(wǎng)絡(luò)GAN綜述[J]. 梁俊杰,韋艦晶,蔣正鋒.  計(jì)算機(jī)科學(xué)與探索. 2020(01)
[2]生成對抗網(wǎng)絡(luò)模型綜述[J]. 張營營.  電子設(shè)計(jì)工程. 2018(05)



本文編號：2911058