圖像修復(fù)是指根據(jù)圖像未破損區(qū)域的已知像素,推斷并重建圖像破損區(qū)域像素的過(guò)程,在圖像編輯、圖像渲染以及機(jī)器人定位方面有著重要的應(yīng)用。隨著深度學(xué)習(xí)的興起,圖像修復(fù)技術(shù)在修復(fù)性能方面得到了巨大的提升;但在具有挑戰(zhàn)性的圖像修復(fù)任務(wù)中,當(dāng)前方法仍然存在不足。本文深入分析并研究當(dāng)前代表性方案在圖像修復(fù)網(wǎng)絡(luò)框架設(shè)計(jì)上的缺陷,以及當(dāng)前代表性方案在圖像修復(fù)效果方面存在的細(xì)節(jié)模糊與結(jié)構(gòu)錯(cuò)誤問(wèn)題。進(jìn)而針對(duì)細(xì)節(jié)模糊與結(jié)構(gòu)錯(cuò)誤的問(wèn)題,提出兩個(gè)端對(duì)端網(wǎng)絡(luò)框架,實(shí)現(xiàn)圖像修復(fù)結(jié)果在結(jié)構(gòu)與細(xì)節(jié)上的共同提升。本文的主要工作包括:1.深入研究當(dāng)前三種代表性的圖像修復(fù)算法:CE（Context Encoders:Feature Learning by Inpainting）、CA（Generative Image Inpainting with Contextual Attention）和MC（Image Inpainting via Generative Multi-column Convolutional Neural Networks）。其中CE為基于深度學(xué)習(xí)的圖像修復(fù)算法中最為經(jīng)典的算法之一,首次成功實(shí)現(xiàn)采用自動(dòng)編碼... 

【文章來(lái)源】：蘭州理工大學(xué)甘肅省

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖像修復(fù)算法的通用范式

工程碩士學(xué)位論文5的網(wǎng)絡(luò)結(jié)構(gòu)與類(lèi)似傳統(tǒng)圖像塊替換（PatchSwap）方法的使用，造成該方法復(fù)雜度較高。在之后的（ConferenceandWorkshoponNeuralInformationProcessingSystems2018，NIPS2018）上，Wang等人[3]提出一種用于圖像修復(fù)的多列生成網(wǎng)絡(luò)（ImageInpaintingviaGenerativeMulticolumnConvolutionalNeuralNetworks，MC[3]），設(shè)計(jì)置信驅(qū)動(dòng)的重建損失，并采用一種隱含的多樣馬爾可夫隨機(jī)場(chǎng)(ImplicitDiversifiedMarkovRandomField，ID-MRF)正則化方案來(lái)增強(qiáng)局部細(xì)節(jié)。它在矩形和不規(guī)則掩碼上都取得了很好的效果。（InternationalConferenceonLearningRepresentations2018，ICLR2018）上Liu等人[38]在圖像修復(fù)中引入部分卷積，對(duì)(1)輸入(2)PM[1](3)CA[2](4)MC[3]圖1.2主流方的不足之處

工程碩士學(xué)位論文9第2章代表性圖像修復(fù)算法本章主要分析研究基于深度學(xué)習(xí)的三種具有代表性的圖像修復(fù)算法：CE[31]、CA[2]與MC[3]。本章通過(guò)對(duì)上述三種方法的深入研究與復(fù)現(xiàn)，驗(yàn)證其優(yōu)點(diǎn)，分析每種方法的優(yōu)點(diǎn)與不足并提出針對(duì)這些不足的改進(jìn)思路。2.1CE圖像修復(fù)算法CE為最早實(shí)現(xiàn)語(yǔ)義級(jí)別圖像修復(fù)的圖像修復(fù)算法，提出基于上下文像素預(yù)測(cè)破損區(qū)域像素的無(wú)監(jiān)督視覺(jué)特征學(xué)習(xí)算法。受自動(dòng)編碼器[30,39]與word2vec[40]的啟發(fā)，CE提出上下文編碼器（ContextEncoders）[31]，可以根據(jù)圖像缺失區(qū)域周?chē)h(huán)境生成任意破損圖像區(qū)域的內(nèi)容。為完成這一任務(wù)，上下文編碼器需要理解整個(gè)圖像的內(nèi)容，并對(duì)破損的缺失的部分提出合理的假設(shè)。破損區(qū)域在重建時(shí)有多種不同的合理解，即圖像修復(fù)是多模態(tài)的。單一的L1或L2重建損失無(wú)法很好的處理如圖像修復(fù)這樣的多模態(tài)問(wèn)題，致使修復(fù)結(jié)果過(guò)于模糊。為此CE在訓(xùn)練上下文編碼器時(shí)同時(shí)使用標(biāo)準(zhǔn)的L2像素級(jí)別重建損失以及生成對(duì)抗損失。相較于使用單一的像素級(jí)別重建損失，“重建損失+對(duì)抗損失”可產(chǎn)生更清晰的結(jié)果，更好地處理多模態(tài)圖像修復(fù)。2.1.1CE算法的網(wǎng)絡(luò)結(jié)構(gòu)圖2.1上下文編碼器（CE）算法網(wǎng)絡(luò)框架

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)研究綜述[J]. 張榮,李偉平,莫同.  信息與控制. 2018(04)

博士論文
[1]基于樣本的數(shù)字圖像修復(fù)技術(shù)研究[D]. 張晴.華東理工大學(xué) 2012

碩士論文
[1]數(shù)字圖像修復(fù)算法的研究[D]. 汪琦.南昌大學(xué) 2018
[2]基于彩色圖像聚類(lèi)分割的Kinect深度圖像修復(fù)算法[D]. 錢(qián)銳.鄭州大學(xué) 2018



本文編號(hào)：3301458