發(fā)布時間：2022-02-12 08:04

　　近年來,人臉圖像補(bǔ)全技術(shù)成為了計算機(jī)視覺領(lǐng)域的研究重點之一,其中基于深度學(xué)習(xí),特別是基于生成式對抗網(wǎng)絡(luò)的人臉圖像補(bǔ)全技術(shù)更是重中之重。神經(jīng)網(wǎng)絡(luò)能通過數(shù)據(jù)集中學(xué)習(xí)人臉的特征,并且從缺損人臉圖像中未缺失的部分分析特征并且預(yù)測出缺失部分的內(nèi)容,這使得基于生成式對抗網(wǎng)絡(luò)的人臉補(bǔ)全模型能生成圖片中未必存在的內(nèi)容,讓修復(fù)的效果更加逼真。在現(xiàn)實中,人臉圖像缺失的內(nèi)容往往是未缺失部分中不存在的。因此,基于生成式對抗網(wǎng)絡(luò)的人臉圖像補(bǔ)全模型則具有實用價值。針對現(xiàn)有的基于生成式對抗網(wǎng)絡(luò)所存在的問題,本文從利用完整的圖像空間依賴性提取人臉特征和補(bǔ)全不同姿態(tài)的非對稱人臉這兩個方面做進(jìn)一步的研究工作,具體如下:生成網(wǎng)絡(luò)對人臉圖像的結(jié)構(gòu)特征提取的完整與否直接影響圖像補(bǔ)全模型的性能。然而,現(xiàn)有的大部分工作并沒有充分利用空間依賴性來提取特征,這使得提取到的特征不夠完整。在第三章中提出了一種利用雙向像素長短時記憶（Long Short-term Memory Network,LSTM）的網(wǎng)絡(luò)解決這一問題。具體來說,它由兩個LSTM子網(wǎng)絡(luò)組成,可以逐行或逐列同時掃描輸入圖像,因此提取的特征包含了行之間或列之間的依賴信息。通... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

判別網(wǎng)絡(luò)

重慶郵電大學(xué)碩士學(xué)位論文第3章基于雙向像素LSTM網(wǎng)絡(luò)的人臉補(bǔ)全35對比結(jié)果表明，雖然CE、GL、LPC和HDC可以很好地在缺失區(qū)域生成合適的人臉特征，但是所生成區(qū)域的語義與周圍區(qū)域不同。生成區(qū)域仍然是模糊的，(1)Orign(2)Mask(3)CE(4)GL(5)HDC(6)LPC(7)Ours圖3.6補(bǔ)全結(jié)果的展示生成區(qū)域的邊緣比本章節(jié)模型更明顯。原因是CE、GL、LPC和HDC沒有充分利用像素間的空間依賴性來學(xué)習(xí)人臉結(jié)構(gòu)，對每個人臉圖像的人臉結(jié)構(gòu)理解不夠好。生成區(qū)域像素與已知區(qū)域像素?zé)o關(guān)。然而，實驗的結(jié)果在空間上依賴于已知區(qū)域中的每個像素，并且實驗的結(jié)果像素與已知區(qū)域相關(guān)。因此，本章節(jié)模型可以在完成具有相似模式的對稱正臉的人臉圖像時取得更好的效果。此外，CE模型在訓(xùn)練過程中消耗的時間是本模型的兩倍。

重慶郵電大學(xué)碩士學(xué)位論文第3章基于雙向像素LSTM網(wǎng)絡(luò)的人臉補(bǔ)全36M1M2M3M4M5圖3.7遮罩實例表3.3不同模型分別在五種不同遮罩下的PSNR結(jié)果(M1-M5)。M1M2M3M4M5CE[17]21.4421.0319.5920.8219.51GL[18]21.3022.4621.0721.2919.90PartialConv[22]21.5421.3320.0921.0319.61HDConv[63]22.2023.2521.4621.8820.92LPConv[64]22.1323.1721.3821.7920.38PixelLSTM22.2922.2421.1421.6120.38Bi-directionalpixelLSTM22.7323.9122.0322.4421.37表3.4不同模型分別在五種不同遮罩下的SSIM結(jié)果(M1-M5)M1M2M3M4M5CE[17]0.8320.8200.7810.8140.804GL[18]0.8250.8480.8150.8220.802PartialConv[22]0.8450.8710.8370.8340.810HDConv[63]0.8570.8810.8450.8400.819LPConv[64]0.8550.8790.8420.8380.816PixelLSTM0.8460.8650.8140.8310.807Bi-directionalpixelLSTM0.8700.8930.8530.8500.824本章使用包含大部分對稱人臉圖像的測試集來測試CE網(wǎng)絡(luò)、GL網(wǎng)絡(luò)、PConv網(wǎng)絡(luò)、HDConv網(wǎng)絡(luò)、LPConv網(wǎng)絡(luò)、pixelLSTM網(wǎng)絡(luò)和雙向像素LSTM網(wǎng)絡(luò)，并使用PSNR和SSIM來評估各個模型的性能。為了更全面地測試本章節(jié)模型，實驗在5個不同的、隨機(jī)的和不規(guī)則的遮罩(M1-M5)中測試了模型。本模型刪除了冗余的背景信息。遮罩的形狀如圖3.7所示，以及對比結(jié)果如表3.3和表3.4所示。

【參考文獻(xiàn)】：
期刊論文
[1]基于圖像塊相似性和補(bǔ)全生成的人臉復(fù)原算法[J]. 蘇婷婷,王娜.  科學(xué)技術(shù)與工程. 2019(13)

碩士論文
[1]基于GAN的人臉圖像補(bǔ)全算法研究[D]. 張大偉.長安大學(xué) 2019



本文編號：3621350