人臉識別技術(shù)近年來得到了顯著的發(fā)展。但識別有部分遮擋的人臉對于現(xiàn)存的人臉識別技術(shù)依舊是一個挑戰(zhàn)。在實際應(yīng)用中,對于有遮擋的人臉圖像修復(fù)的需求越來越多,如監(jiān)控和公共安全領(lǐng)域。為了能更好的識別人臉圖像,提高識別效率,需要在識別前對有遮擋的人臉圖像進(jìn)行修復(fù)還原,因為被遮擋部分通常包含有影響整個面部變化的關(guān)鍵特征信息(例如鼻子、眼睛、嘴巴等)。人臉圖像的修復(fù)是圖像復(fù)原領(lǐng)域研究中的一個重要課題。圖像復(fù)原作為一種常見的圖像編輯操作,旨在用合理的內(nèi)容填充圖像中的缺失區(qū)域。生成的內(nèi)容既需要與原始內(nèi)容保持相似,也要完全符合整體圖像,使得復(fù)原的圖像看上去是真實的。在過去的幾十年里,由于其固有的模糊性和自然圖像的復(fù)雜性,圖像復(fù)原(圖像修復(fù))一直是計算機視覺和圖像圖形界具有挑戰(zhàn)性的研究熱點。本文結(jié)合傳統(tǒng)的基于結(jié)構(gòu)和紋理的圖像修復(fù)、基于深度學(xué)習(xí)的圖像修復(fù)和生成對抗網(wǎng)絡(luò)的相關(guān)知識,分析了人臉的關(guān)鍵點和結(jié)構(gòu)特征信息,提出了一種改進(jìn)的邊界均衡生成對抗網(wǎng)絡(luò)(BEGAN)模型對遮擋的人臉圖像進(jìn)行生成修復(fù),首先在CelebA數(shù)據(jù)集上訓(xùn)練BEGAN生成對抗網(wǎng)絡(luò),接著將遮擋的人臉圖像輸入BEGAN中,嘗試將遮擋部分進(jìn)行生成修復(fù);其次為了使得生成的圖像與原臉圖像更相似和更自然,算法中定義了兩個判別網(wǎng)絡(luò):全局的結(jié)構(gòu)判別網(wǎng)絡(luò)負(fù)責(zé)優(yōu)化人臉修復(fù)圖像全局的邊緣結(jié)構(gòu)信息和特征信息以保證修復(fù)的人臉圖像結(jié)果符合視覺認(rèn)知;而局部的紋理判別網(wǎng)絡(luò)則負(fù)責(zé)優(yōu)化所生成的遮擋區(qū)域與原臉圖像的其它面部內(nèi)容相似(例如皮膚紋理、色澤等),使生成的人臉圖像更加自然連貫。最后綜合全局和局部兩個判別網(wǎng)絡(luò)的損失函數(shù),利用反向傳播算法,把待修復(fù)的人臉圖像映射到較小的潛在空間,將映射后的矢量數(shù)據(jù)輸入到BEGAN中生成最佳的人臉修復(fù)圖像,從而實現(xiàn)人臉遮擋圖像的生成修復(fù)。本文在CelebA人臉圖像數(shù)據(jù)集中進(jìn)行了大量的實驗,并對實驗結(jié)果進(jìn)行了分析對比,主要分為主觀評價和客觀評價。在主觀評價上,主要是讓行內(nèi)和行外人員在視覺感官上對人臉圖像修復(fù)效果進(jìn)行評分;在客觀評價上,將本文模型與PatchMatch模型和Context Encoder模型做對比實驗,使用峰值信噪比和結(jié)構(gòu)相似性指數(shù)來比較模型修復(fù)效果的優(yōu)劣。結(jié)果表明,本模型能對遮擋的人臉圖像實現(xiàn)良好的修復(fù),并優(yōu)于進(jìn)行對比實驗的兩個模型。
【學(xué)位單位】：南寧師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TP183
【部分圖文】：

2.1.1 生成對抗原理多層感知機是對抗模型框架最直接的應(yīng)用。為了在數(shù)據(jù) 上學(xué)習(xí)生成器的分布 ，在入噪聲變量 ( )上定義了一個先驗，然后將數(shù)據(jù)空間的映射表示為 ( ; )，其中 表示是一個可微函數(shù)，由多層感知機來求解，參數(shù)為 。也定義了第二個多層感知器 ( ; )其輸出一個標(biāo)量。 ( )表示 來自數(shù)據(jù)而不是 的概率。通過不斷的訓(xùn)練 ，優(yōu)化訓(xùn)練樣本標(biāo)簽來自 的樣本和判別出來自訓(xùn)練樣本的概率。同時訓(xùn)練 來最小化log(1 ( ( )))換句話說， 和 使用值函數(shù)V( , )來進(jìn)行下面的二元極小極大博弈：minmax ( , ) = E~ ( )[ ( | )] +~ ( )[ (1  ( ( | )))]. (2-在實際訓(xùn)練中，公式(2-4)并沒有能為生成器 提供一個好的梯度。在訓(xùn)練的前期階段由于生成器 訓(xùn)練狀況是很糟糕的，判別器 能夠很容易判斷出 生成的偽造數(shù)據(jù)并以高信度拒絕樣本，因為它們和訓(xùn)練數(shù)據(jù)有明顯的不同。在這種情況下，log(1 ( ( )))是和的�？梢宰畲蠡痩og ( ( ))來訓(xùn)練 ，而不是最小化log(1 ( ( )))。這個目標(biāo)函數(shù)能夠使得生成器 和判別器 擁有一個相同固定點，在訓(xùn)練的前期就能夠提供健壯的梯度

即 ( ) = 。圖 2-4 GAN 網(wǎng)絡(luò)算法流程圖圖 2-4 展示了 GAN 訓(xùn)練的偽代碼，首先在迭代次數(shù)范圍內(nèi)，對隨機噪聲 和真實樣本進(jìn)行一個批次的采樣，分析它們之間的數(shù)據(jù)分布關(guān)系，然后通過隨機梯度下降(SGD)的方法先對判別器 做 k 次更新，之后才對生成器 做一次更新，這樣做的作用是使得訓(xùn)練前期判別器 就擁有一定的判別能力去分辨真假。但在實踐的網(wǎng)絡(luò)訓(xùn)練中，我們會做相反的事情，是要多更新幾次生成器 ，才更新一次判別器 ，這樣才能讓網(wǎng)絡(luò)訓(xùn)練下去，而不是一開始就崩潰了

這種似然估計法擁有偏高的方差，并且在高維空間性能不好，但是就我們所知它仍然是最好的方法�？梢圆蓸拥荒苤苯庸烙嬎迫坏纳赡Ｐ偷倪M(jìn)步直接激發(fā)了如何評估此類模型的進(jìn)一步研究。圖2-5展示了訓(xùn)練完成后，生成器G所產(chǎn)生的數(shù)據(jù)樣本。盡管從整體上看，這些數(shù)據(jù)樣本并沒有比現(xiàn)有的模型所生成的樣本更好，但是相信這些樣本也是和現(xiàn)有最好的生成模型的效果相當(dāng)?shù)�，并且對抗模型更具有潛力。圖2-5 模型中樣本的可視化a)MNIST b)CIFAR-10(全連接模型) c,d)CIFAR-10(卷積判別器和解卷積生成器)

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 任澍;唐向宏;康佳倫;;紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2013年11期

本文編號：2816520