人臉識別技術被視為當前人工智能領域的關鍵技術,由于其享有不同于傳統(tǒng)生物識別技術的優(yōu)勢,在安全防范領域中扮演著重要角色,并從單一場景使用迅速普及到各行各業(yè)中。當前人臉識別的應用場景多為用戶配合下的圖像采集,但實際更多的應用場景為被采集者非配合狀態(tài)。人臉圖像信息的采集常具有不確定性、隨機性,攝像機捕獲到的人臉信息會呈現(xiàn)出扭轉、傾斜等干擾。在這樣的狀態(tài)下人臉圖像直接放入人臉識別系統(tǒng)或相關應用中,無法順利進行識別和比對,常常會出現(xiàn)識別速度和識別率下降的情況。為了解決這一問題,人臉正面化算法,具有一定的研究價值和廣泛的應用前景。針對這個問題,本文提出了一種基于3D重建的人臉正面化算法,對輸入的非正向人臉圖像進行正面化。分別完成深度學習的方法訓練網(wǎng)絡模型完成人臉檢測、人臉關鍵點檢測等步驟,并使用圖形學的方法進行仿射變換,基本實現(xiàn)了一般條件下的非正向人臉圖像正面化。本文主要工作如下:1.總結了當前人臉識別和正面化研究現(xiàn)狀和應用場景面臨的挑戰(zhàn)。從人臉正面化的流程步驟上進行了梳理,分別闡述了人臉檢測、關鍵點檢測、人臉正向化、人臉重建的主要研究成果和方法,并對主流的算法及網(wǎng)絡模型進行了分析、對比。2.在詳細分析當前主要的人臉正面化算法的基礎上,本文提出了一種基于3D重建的人臉正面化方法。該算法首先對輸入的人臉圖像進行了預處理,使用深度學習方法訓練網(wǎng)絡模型,并且在不同階段中采用了不同的網(wǎng)絡模型,獲得人臉關鍵點信息。同時,將網(wǎng)絡模型與仿射變換相結合,運用獲得的二維人臉關鍵點信息,計算二維人臉圖像和實際人臉模型之間的旋轉矩陣,生成與輸入人臉圖像對應的正向的,利于進一步識別的人臉模型。實驗結果表明,通過該方法生成的人臉圖像與真實人臉具有身份一致性,有助于提升人臉識別對側面人臉的識別準確性。
【學位單位】：中國人民公安大學
【學位級別】：碩士
【學位年份】：2020
【中圖分類】：TP391.41
【部分圖文】：

在計算機中,為了簡便計算,采集的圖像是以數(shù)字形式存儲的。因此圖像處理過程中不會直接使用圖像圖層進行計算,通常是通過提取人臉的標志性器官,例如眉毛、嘴巴、眼睛、鼻子等器官的位置,然后完成對人臉輪廓和上述器官的刻畫。這一描述人臉器官信息的過程就是檢測人臉關鍵點的過程。人臉關鍵點檢測是指,在完成人臉檢測得到人臉區(qū)域的前提下,根據(jù)輸入的人臉圖像,自動定位出臉部輪廓以及眉毛、眼、鼻、嘴角等面部關鍵特征的點（landmark）。人臉關鍵點檢測效果示意圖,如圖1-1。人臉關鍵點檢測的主要有主觀形狀模型ASM(Active Shape Model)[21]和主動外觀模型AAM (Active Appearnce Model)[22]等傳統(tǒng)方法,基于級聯(lián)形狀回歸（Cascaded regression）[23]的方法,如3000fps[24]。以及基于深度學習的方法,如MTCNN[25]等。

（3）正面人臉的3D重建： 根據(jù)前面得到的人臉關鍵點坐標,根據(jù)PnP算法計算攝像機外參,對非正面人臉進行Delaunay三角剖分并映射到正面人臉,最終實現(xiàn)將輸入的人臉圖像轉換為正向人臉的目標。隨著人臉識別領域的發(fā)展,已經(jīng)可以明確人臉姿態(tài)、面部表情、拍攝時光照條件、背景復雜程度等因素會影響人臉識別。具體難點在于：

（1）P-Net(Proposal Network),網(wǎng)絡結構如圖3-1所示,是一個全卷積神經(jīng)網(wǎng)絡,得到一般精確度的人臉候選框與它的邊框回歸向量（bounding box regression）,隨后再由候選框依據(jù)邊框回歸向量來完成修正。此步驟是為了將實現(xiàn)圖像多尺寸的輸入,使用較少層數(shù),盡可能多的、較快的生成人臉目標候選框,寧愿出現(xiàn)一定錯誤也不漏掉一個。P-Net網(wǎng)絡將人臉特征輸入卷積層后,根據(jù)人臉分類器判別確定此區(qū)域是否出現(xiàn)人臉,同時利用邊框回歸和人臉關鍵點的定位器來實現(xiàn)人臉區(qū)域的粗定義,最后將會輸出多張有機會存在人臉的目標區(qū)域,并將以上區(qū)域送入R-Net網(wǎng)絡完成下一步操作。（2）R-Net（Refine Network）,網(wǎng)絡結構如圖3-2所示。使用一個相對P-Net更為復雜的網(wǎng)絡來對前面候選窗口進行再選擇和高度過濾,從而實現(xiàn)人臉區(qū)域優(yōu)化的效果。具體做法是：該網(wǎng)絡將前期的全部預測目標候選框候都送入R-Net(Refine Network)網(wǎng)絡,通過R-Net后可以篩除大部分效果較差的預測目標候選框,隨后對篩選后的精細化目標候選框進行目標候選框回歸向量（Bounding-Box Regression）矯正,并執(zhí)行非極大值抑制（NMS）操作進一步優(yōu)化預測結果。由于P-Net網(wǎng)絡僅是粗略的、效果較差的目標人臉區(qū)域,因此在第二層的這個網(wǎng)絡中,將二次細化候選框,過濾掉較差輸入,同時網(wǎng)絡分為三部分,分別完成三個任務：人臉目標分類、人臉目標候選邊框回歸矯正以及人臉關鍵點定位,最終獲得修正后的相對可靠的正方形人臉目標候選框送入O-Net網(wǎng)絡。
【參考文獻】

相關期刊論文 前4條

1 鄢瓊;;引入PnP問題的多姿態(tài)人臉旋轉角度計算方法研究[J];電腦知識與技術(學術交流);2007年13期

2 孫寧;冀貞海;鄒采榮;趙力;;基于2維偏最小二乘法的圖像局部特征提取及其在面部表情識別中的應用[J];中國圖象圖形學報;2007年05期

3 吳福朝,胡占義;PnP問題的線性求解算法[J];軟件學報;2003年03期

4 夏建云,邸元;基于散點及邊建立數(shù)字地面模型的研究及實現(xiàn)[J];貴州工業(yè)大學學報(自然科學版);1999年04期

相關碩士學位論文 前1條

1 李澤東;基于圖像序列的目標跟蹤及三維重建技術研究[D];沈陽理工大學;2011年

本文編號：2866974