【摘要】：人臉表情識別技術(shù)可以廣泛應(yīng)用于機器人、虛擬現(xiàn)實、數(shù)據(jù)挖掘等領(lǐng)域。是機器理解人類情感,進行更為有效的人機交互的前提條件;也是對大批次人臉圖像進行語義挖掘,乃至實現(xiàn)人類心理問題自動分析的重要技術(shù)手段。然而,目前的表情識別技術(shù)一般容易受到表情識別環(huán)境的約束,只能在對人臉光照與姿態(tài)進行一定約束的條件下進行有效識別,難以滿足應(yīng)用需求。因此,研究在非約束條件下,即在不對光照與姿變進行約束的條件下,進行人臉表情識別具有一定的必要性和應(yīng)用前景�？傮w而言,本文對非約束條件下表情識別技術(shù)的研究分別從兩個方面入手:首先,研究對人臉圖像進行光照與姿態(tài)進行標準化;其次,研究提高表情判別模型對人臉光照與姿態(tài)的魯棒性。具體而言,進行了以下幾個方面的研究工作:1、提出了一種基于高斯差分正則化方法的人臉光照標準化算法。為提高TV模型對于光照邊緣與大尺度紋理邊緣的區(qū)分能力,本文以L0高斯差分范數(shù)替代L2梯度范數(shù),提出使用L0高斯差分范數(shù)的TV改進模型實現(xiàn)人臉圖像的光照標準化。由于L0范數(shù)導(dǎo)致模型無法直接求解,引入代表圖像縱橫高斯差分響應(yīng)的影子變量,迭代地優(yōu)化影子變量的L0正則化子式與以影子變量作為高斯差分響應(yīng)的圖像平滑子式,從而實現(xiàn)了L0高斯差分范數(shù)TV模型的求解。該方法能夠有效地去除人臉圖像的大面積陰影與曝光局部,即使在黑白圖像中亦能有效地還原出人臉圖像的本色且保留人臉圖像的表情細節(jié)。2、提出了基于點集細分的快速人臉特征點檢測算法。本文在監(jiān)督梯度下降法的思想框架下,使用點集細分的方法對人臉特征點檢測模型進行了約簡。該方法首先提取各特征點之間的協(xié)相關(guān)系數(shù),然后使用譜聚類對人臉特征點進行劃分,并依劃分結(jié)果對分組的特征點標記進行PCA降維,極大地降低了人臉特征點檢測的模型規(guī)模。并在算法的運行過程中使用GPU加速同時提高了特征提取與模型運算的運行效率。3、提出了基于三維點集映射與稀疏恢復(fù)的人臉姿態(tài)標準化算法。本文根據(jù)檢測出的人臉特征點位置極小化3D模型頂點的投影誤差,使用3DMMs模型與E-PnP算法反復(fù)估算3D頂點增量與攝像機投影系數(shù),得到更加精確的投影系數(shù)與能夠生成圖像中人臉特征點的3D模型。從而使用最終確定的3D模型、投影系數(shù)與人臉圖像生成形變較少的姿態(tài)標準化人臉圖像。同時,使用稀疏恢復(fù)技術(shù)對所生成的標準姿態(tài)人臉圖像進行校正,恢復(fù)出失真的局部人臉。4、提出了基于改進Capsule構(gòu)型的表情識別模型。本文結(jié)合殘差卷積技術(shù)與動態(tài)路由機制,形成一種富中層視覺特征的改進型Capsule膠囊構(gòu)型。在模型的訓(xùn)練過程中,應(yīng)用結(jié)合光照與姿態(tài)標準化技術(shù)的人臉表情圖像稠密采樣,成功地提高了識別模型的魯棒性。實驗結(jié)果表明:基于高斯差分正則化方法的人臉光照標準化算法能夠?qū)崿F(xiàn)像素級別的人臉圖像光照標準化,較其它經(jīng)典人臉圖像光照預(yù)處理方法而言能夠從整體上提高卷積神經(jīng)網(wǎng)絡(luò)的表情識別準確率;基于點集細分的快速人臉特征點檢測算法在不明顯降低檢測精度的基礎(chǔ)上幀率可達50fps,足以滿足應(yīng)用需求;基于三維點集映射與稀疏恢復(fù)的人臉姿態(tài)標準化算法能夠生成輪廓曲線更為自然的人臉圖像,明顯提高輕微輕度下表情識別的準確率;松耦合的Capsule改進表情識別模型在小規(guī)模數(shù)據(jù)集的8分交叉驗證實驗效果接近于經(jīng)典的深度識別模型Vgg與Resnet,并在跨數(shù)據(jù)集的表情識別實驗中對于包含光照變化與姿態(tài)變化的人臉圖像能夠表現(xiàn)出更加優(yōu)秀的識別準確率。這表明該模型泛化能力較強,在真實的表情識別系統(tǒng)中更具有應(yīng)用價值。
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP391.41;TP183
【圖文】：

圖 1.1 LFPW 標記示意圖庫一般由面部圖像處理的領(lǐng)域?qū)＜夜せ虬胱詣拥貥擞洺鎏卣鼽c。不同集由于標注工作量十分巨大，因?qū)W提供的數(shù)據(jù)集 Helen[30]，采用成的數(shù)據(jù)集包含 2330 張標注好的現(xiàn)任美國云端服務(wù)供應(yīng)商 dropb為 LFW 數(shù)據(jù)集的特征點標記版本記了 49 個特征點。修訂版采用 M行為理解研究組提供的數(shù)據(jù)集 300的數(shù)據(jù)集過小、特征點標注不夠題。數(shù)據(jù)集提出一種半自動的特問題。因此具數(shù)據(jù)量大、標注準

圖 1.2 300W 中 68 個特征點與 51 個特征點的兩種標準格式1.2.1.5 3D 人臉數(shù)據(jù)集3D 人臉數(shù)據(jù)集需要專業(yè)的硬件對人臉 3D 表面進行掃描，因此成本高昂，數(shù)量較少。主要有：中科院生物識別與安全技術(shù)研究中心提供的 3D 人臉數(shù)據(jù)庫 CASIA-3D注 4。該數(shù)據(jù)庫對 123 個人的面部進行了 4624 次 3D 掃描。每個個體提供 37 或 38 次不同姿態(tài)、表情、光照、穿戴條件下的 3D 掃描，生成一個 2 維人臉圖像和一個 3D 人臉表面。美國紐約大學(xué)提供的數(shù)據(jù)集 UOY-3D注 5，該數(shù)據(jù)集捕捉 350 個人不同姿態(tài)、掃描儀遠近、表情、眼神的約 5000 個 3D 模型，主要用于 3D 模型人臉識別的 FERET 標準測試。美國紐約州立大學(xué)賓漢姆頓分校為完善表情識別專門建立 3D 人臉表情數(shù)據(jù)庫BU-3DFE[33]&BU-4DFE[34]。3D 版含有 2500 個 100 位來自全世界的志愿者的面部表情 3D 模型。志愿者的年齡跨度從 18 歲到 70 歲不等，種族分布包含白人、黑人、中東人、東亞人、印度人與拉丁裔。4D 版按時間維度每位志愿者添加 6 種基本表情 3 的

【參考文獻】

相關(guān)期刊論文 前3條

1 楊作寶;侯凌燕;楊大利;;人臉識別的光照預(yù)處理算法[J];北京信息科技大學(xué)學(xué)報(自然科學(xué)版);2015年06期

2 歐陽寧;鐘歡虹;袁華;莫建文;;針對光照變化的人臉識別算法研究[J];電子技術(shù)應(yīng)用;2015年05期

3 鄧健康;王燦田;劉青山;;基于層進模型的快速人臉配準方法及其在智能移動設(shè)備上的應(yīng)用[J];計算機科學(xué);2014年12期

本文編號：2721772