人臉圖像修復(fù)技術(shù)作為圖像復(fù)原領(lǐng)域的一個分支,在實(shí)際生活中的很多場景有著重要的應(yīng)用價值。如在安防視頻監(jiān)控系統(tǒng)中,若采集的人臉圖像存在部分遮擋,人臉關(guān)鍵特征將會被極大破壞,對遮擋區(qū)域進(jìn)行較為精確的修復(fù)是提高人臉識別技術(shù)的一大突破點(diǎn)。同時,人臉修復(fù)也是圖像編輯中的重要操作,要求生成內(nèi)容和諧、視覺逼真的圖像信息填充缺失區(qū)域。目前,人臉因特有的幾何結(jié)構(gòu)導(dǎo)致其遮擋修復(fù)技術(shù)存在一定的挑戰(zhàn),易產(chǎn)生邊界模糊、上下文感知不合理的內(nèi)容,本文針對此問題展開研究,構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的人臉修復(fù)模型�？紤]到現(xiàn)有方法未在修復(fù)過程中充分發(fā)掘人臉幾何結(jié)構(gòu)的先驗(yàn)作用,本文提出兩階段人臉修復(fù)框架:階段一,基于生成對抗網(wǎng)絡(luò),在修復(fù)前期提出人臉幾何結(jié)構(gòu)推理模型,通過對遮擋人臉的先驗(yàn)信息進(jìn)行預(yù)估,獲取表征各部位語義的解析圖;階段二,結(jié)合階段一得到的解析圖,提出三輸入生成式人臉修復(fù)模型完成遮擋區(qū)域紋理細(xì)節(jié)的重構(gòu),即基于部分卷積網(wǎng)絡(luò),對遮擋圖像（外觀）、解析圖、二值化掩碼圖分別建立編碼器,提取不同層級的深度特征,解碼時將外觀特征與解析特征以殘差的形式依次融于解碼的各個階段,發(fā)揮幾何先驗(yàn)的輔助修復(fù)功能。為進(jìn)一步提升模型的修復(fù)效果,本文... 

【文章來源】：西安理工大學(xué)陜西省

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

常見

常見的遮擋人臉

模，從而生成視覺逼真與整體內(nèi)容和諧的信息。對遮擋區(qū)域進(jìn)行有意義的修補(bǔ)，是圖像編輯任務(wù)中十分重要的步驟，在圖像渲染與計(jì)算攝影學(xué)[51,52,54]中有廣泛的應(yīng)用。目前，針對圖像修復(fù)的方法主要集中在傳統(tǒng)方法與基于深度學(xué)習(xí)的方法。基于擴(kuò)散[2,6]的方法通過將鄰域像素傳播到缺失區(qū)域合成紋理信息，這種方法只能處理背景中較小的遮擋區(qū)域，很難生成有意義的紋理結(jié)構(gòu)；不同于僅利用鄰域像素的擴(kuò)散法，基于塊[1,3,8,57,58]的方法可利用到長程信息重構(gòu)缺失區(qū)域，即從源圖像的有效區(qū)域搜索并粘貼相似的圖像塊完成目標(biāo)域的填充，如圖1-3所示，給定圖像區(qū)域A與B，在塊間距離的度量下，為A中的每個缺失塊在B中找到最近鄰的替代塊，這種方法可以在遮擋區(qū)域較大時生成相對真實(shí)的圖像信息。為了搜尋更合適的圖像塊，雙向相似度法[5]在計(jì)算塊相似性時捕捉更多的視覺信息并引入較少的視覺偽影，但計(jì)算復(fù)雜度也隨之增加。為了減少計(jì)算代價，塊匹配法[1]中以圖像領(lǐng)域的自然一致性為先驗(yàn)信息，提出了一種快速最近鄰搜索法。然而，總體來講，基于塊的修復(fù)方法整體假設(shè)遮擋區(qū)域與未遮擋區(qū)域擁有相似的語義分布信息，因此，在紋理簡單的任務(wù)中表現(xiàn)良好，但卻無法在包含特有結(jié)構(gòu)的圖像中生成合理結(jié)果。圖1-3基于塊匹配的圖像修復(fù)[1]Fig.1-3Imageinpaintingbasedonpatchmatching[1]


本文編號：3108842