發(fā)布時間：2021-07-12 03:03

　　近些年來,人臉表情識別作為情感計算的分支吸引了國內(nèi)外研究者的目光。目前,傳統(tǒng)表情識別工作主要關(guān)注于特征提取,然而部分手工提取的特征由于魯棒性低、表征能力弱等缺點無法滿足表情識別準(zhǔn)確率的要求。本文致力于設(shè)計具有良好表征能力、魯棒性強的局部特征描述算子以提高表情識別的準(zhǔn)確率。值得一提的是,深度學(xué)習(xí)憑借其優(yōu)異的學(xué)習(xí)能力和良好的識別效果已獲得許多研究人員的青睞,因此,本文將手工提取的表情特征與深度學(xué)習(xí)進行結(jié)合用于人臉表情識別,主要工作如下:（1）綜述了表情識別研究的背景、意義和現(xiàn)狀,介紹了目前使用較為廣泛的人臉表情數(shù)據(jù)集,分析了課題研究中的難點。詳細描述了表情識別系統(tǒng)中的各個流程,主要包括表情圖像的預(yù)處理、特征提取、分類識別,此外還系統(tǒng)介紹了深度學(xué)習(xí)中有關(guān)表情識別的理論知識。（2）針對局部紋理描述符忽略了相鄰像素點在各個方向上的灰度值關(guān)聯(lián)關(guān)系問題,本文基于局部二值模式（Local Binary Pattern,LBP）和中心對稱局部二值模式（Center-Symmetric Local Binary Pattern,CS-LBP）特征描述算子,提出了中心對稱局部八值模式（Center-Symm... 

【文章來源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

JAFFE庫中部分人臉表情樣本

合肥工業(yè)大學(xué)碩士學(xué)位論文4圖1.2CK庫中部分人臉表情樣本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）該數(shù)據(jù)集來自于Kaggle挑戰(zhàn)賽，所有的表情樣本都是通過谷歌搜索API從網(wǎng)絡(luò)上自動收集的，樣本均是自然條件下的人臉圖像，其總量達到35000多張。由于自然條件下的人臉圖像差異性較大，且部分表情樣本存在遮擋、光照不均勻、旋轉(zhuǎn)等問題，因此該數(shù)據(jù)集上的人臉表情識別存在較大難度。（4）MMI（ManMachineInteraction）荷蘭代爾夫特理工大學(xué)的32個志愿者的六種基本表情共326個序列組成了MMI數(shù)據(jù)庫，這其中213個表情序列被標(biāo)注了類別。此數(shù)據(jù)庫的表情開始都是中性表情然后到表情峰值之后再恢復(fù)為中性表情。由于該數(shù)據(jù)庫中志愿者膚色和年齡差異較大，且部分志愿者佩戴裝飾品，如眼鏡等，此外還有部分視頻序列是側(cè)面拍攝，因此在MMI數(shù)據(jù)庫上進行表情識別存在挑戰(zhàn)性。圖1.3展示了MMI庫中的部分表情樣例。圖1.3MMI庫中部分人臉表情樣本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）該數(shù)據(jù)集是由電影片段中富含自發(fā)性表情的剪輯視頻組成的，其中包含了面部遮擋、頭部姿態(tài)偏轉(zhuǎn)等圖像，而且包含了視頻和音頻兩種模態(tài)。目前，AFEW還處于更新狀態(tài)，也不斷增加了電視節(jié)目中的剪輯數(shù)據(jù)。其中，SFEW（StaticFacialExpressionintheWild）數(shù)據(jù)集是由AFEW庫視頻序列中截取的靜態(tài)表情圖像組成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）該數(shù)據(jù)集是由Binghamton大學(xué)創(chuàng)建的，包含了100多名年齡范圍在18至70歲之間志愿者的六種表情類別的3D人臉圖像樣本。除中性表情外，每個個體每種

合肥工業(yè)大學(xué)碩士學(xué)位論文4圖1.2CK庫中部分人臉表情樣本Fig1.2SomeexpressionsamplesinCKdatabase（3）FER2013（FacialExpressionRecognitionDatabase）該數(shù)據(jù)集來自于Kaggle挑戰(zhàn)賽，所有的表情樣本都是通過谷歌搜索API從網(wǎng)絡(luò)上自動收集的，樣本均是自然條件下的人臉圖像，其總量達到35000多張。由于自然條件下的人臉圖像差異性較大，且部分表情樣本存在遮擋、光照不均勻、旋轉(zhuǎn)等問題，因此該數(shù)據(jù)集上的人臉表情識別存在較大難度。（4）MMI（ManMachineInteraction）荷蘭代爾夫特理工大學(xué)的32個志愿者的六種基本表情共326個序列組成了MMI數(shù)據(jù)庫，這其中213個表情序列被標(biāo)注了類別。此數(shù)據(jù)庫的表情開始都是中性表情然后到表情峰值之后再恢復(fù)為中性表情。由于該數(shù)據(jù)庫中志愿者膚色和年齡差異較大，且部分志愿者佩戴裝飾品，如眼鏡等，此外還有部分視頻序列是側(cè)面拍攝，因此在MMI數(shù)據(jù)庫上進行表情識別存在挑戰(zhàn)性。圖1.3展示了MMI庫中的部分表情樣例。圖1.3MMI庫中部分人臉表情樣本Fig1.3SomeexpressionsamplesinMMIdatabase（5）AFEW（ActedFacialExpressionintheWild）該數(shù)據(jù)集是由電影片段中富含自發(fā)性表情的剪輯視頻組成的，其中包含了面部遮擋、頭部姿態(tài)偏轉(zhuǎn)等圖像，而且包含了視頻和音頻兩種模態(tài)。目前，AFEW還處于更新狀態(tài)，也不斷增加了電視節(jié)目中的剪輯數(shù)據(jù)。其中，SFEW（StaticFacialExpressionintheWild）數(shù)據(jù)集是由AFEW庫視頻序列中截取的靜態(tài)表情圖像組成的。（6）BU-3DFE（BinghamtonUniversity3DFacialExpression）該數(shù)據(jù)集是由Binghamton大學(xué)創(chuàng)建的，包含了100多名年齡范圍在18至70歲之間志愿者的六種表情類別的3D人臉圖像樣本。除中性表情外，每個個體每種

【參考文獻】：
期刊論文
[1]基于光流特征與高斯LDA的面部表情識別算法[J]. 劉濤,周先春,嚴(yán)錫君.  計算機科學(xué). 2018(10)
[2]融合局部紋理和形狀特征的人臉表情識別[J]. 胡敏,滕文娣,王曉華,許良鳳,楊娟.  電子與信息學(xué)報. 2018(06)
[3]基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識別[J]. 李勇,林小竹,蔣夢瑩.  自動化學(xué)報. 2018(01)
[4]基于ROI-KNN卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別[J]. 孫曉,潘汀,任福繼.  自動化學(xué)報. 2016(06)
[5]基于梯度Gabor直方圖特征的表情識別方法[J]. 胡敏,朱弘,王曉華,許良鳳.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2013(12)
[6]基于背景圖像差分的運動人體檢測[J]. 曹丹華,鄒偉,吳裕斌.  光電工程. 2007(06)
[7]人臉檢測綜述[J]. 孫寧,鄒采榮,趙力.  電路與系統(tǒng)學(xué)報. 2006(06)
[8]人臉檢測研究綜述[J]. 梁路宏,艾海舟,徐光祐,張鈸.  計算機學(xué)報. 2002(05)

碩士論文
[1]基于深度學(xué)習(xí)的人臉識別技術(shù)研究[D]. 姜健濤.哈爾濱工業(yè)大學(xué) 2019
[2]基于生成對抗網(wǎng)絡(luò)的人臉表情識別方法研究[D]. 余勝男.合肥工業(yè)大學(xué) 2019
[3]人臉表情識別與自動標(biāo)注研究[D]. 滕文娣.合肥工業(yè)大學(xué) 2018
[4]基于視頻的人臉圖像年齡估計[D]. 陳麗.濟南大學(xué) 2015



本文編號：3279063