目前的面部表情識(shí)別任務(wù)中,卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）和局部二值模式（Local Binary Patterns,LBP）只能提取面部表情單一特征,難以提取與面部變化高度相關(guān)的精確特征,從而影響表情識(shí)別的效果。此外,傳統(tǒng)的損失函數(shù)難以較好地區(qū)分面部表情特征中的類(lèi)間距離和類(lèi)內(nèi)距離,從而無(wú)法對(duì)提取到的特征進(jìn)行有效判別。因此,本文以簡(jiǎn)化的VGG卷積神經(jīng)網(wǎng)絡(luò)為框架,搭配新型加性角度間隔損失函數(shù)進(jìn)行了深入研究,對(duì)提高面部表情識(shí)別的準(zhǔn)確度具有重要意義。本文提出了一種基于VGG網(wǎng)絡(luò)的特征融合的面部表情識(shí)別方法,該方法將LBP特征和CNN卷積層提取的特征通過(guò)加權(quán)的方式結(jié)合在改進(jìn)的VGG-16網(wǎng)絡(luò)連接層中,最后將融合特征送入Softmax分類(lèi)器獲取各類(lèi)特征的概率,完成基本的六種表情分類(lèi)。實(shí)驗(yàn)結(jié)果表明,所提方法在CK+和JAFFE數(shù)據(jù)集上的平均識(shí)別準(zhǔn)確度分別達(dá)到了97.5%和97.62%,融合特征得到的識(shí)別結(jié)果明顯優(yōu)于單一特征識(shí)別。與其他方法相比較,該方法能有效提高表情識(shí)別準(zhǔn)確度,對(duì)光照變化更加魯棒。本文還提出一種新型加性角度間隔損失函數(shù),對(duì)傳統(tǒng)的So... 

【文章來(lái)源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

表情識(shí)別流程步驟

?Gabor小波面部特征提取如圖2.2所示。BayezidIslam[16]等人使用2DGabor濾波器從表達(dá)區(qū)域中提取表情特征，然后使用主成分分析方法對(duì)特征降維。Soumaya[17]等人使用Gabor小波提取前額和眉間區(qū)域的皺紋特征信息，作者認(rèn)為Gabor小波對(duì)皺紋檢測(cè)非常魯棒且有效。Gabor小波可以用圖像紋理表示特征信息，它可以有效的提取面部目標(biāo)的局部空間信息和頻率域信息。此外，Gabor小波對(duì)于圖像灰度邊緣處敏感，對(duì)空間位置有較好地描述能力，并且對(duì)光照不敏感。但Gabor變換效率低下，且經(jīng)常使用全局特征，使得在計(jì)算時(shí)非常消耗內(nèi)存。圖2.2Gabor小波面部特征提取3.局部二值模式基于直方圖的LBP特征[18,19]提取法，即局部二值模式特征，通過(guò)對(duì)圖像紋理灰度進(jìn)行分析得到分類(lèi)能力良好的LBP特征。這類(lèi)特征具有灰度不變性和旋轉(zhuǎn)不變性，圖2.3為從面部圖像中提取LBP直方圖。YuechuanSun[20]等人結(jié)合了LBP和Gabor兩種面部描述符，應(yīng)用特征融合的方式將兩種特征向量融合，最后在表情數(shù)據(jù)集上

重慶郵電大學(xué)碩士學(xué)位論文第2章表情識(shí)別相關(guān)理論9取得了較好的識(shí)別率，實(shí)驗(yàn)還證明了與僅使用Gabor或LBP描述子相比，該方法可提高性能。YuanyuanDing[21]等人提出了雙局部二進(jìn)制模式（DLBP），從視頻中檢測(cè)出峰值表情鄭此外，為了處理LBP中的照度變化，進(jìn)一步提出了對(duì)數(shù)-拉普拉斯（LL）域，以獲得更加魯棒的面部特征進(jìn)行檢測(cè)。圖2.3LBP直方圖與Gabor小波相比，LBP算子需要更少的存儲(chǔ)空間并具有更高的計(jì)算效率。但是，LBP運(yùn)算符對(duì)帶有噪點(diǎn)的圖像的處理并不好，因?yàn)樗鼉H考慮圖片中心及其附近的像素特征，忽略了幅度差異，這就使得在表情的表達(dá)上容易產(chǎn)生較高的維數(shù)，影響識(shí)別速度。4.光流法為了研究動(dòng)態(tài)序列圖片的表情特征提取，Gibson提出了光流法，該方法通過(guò)抓取圖像序列中的不同灰度變化以及不同幀的變化找到物體運(yùn)動(dòng)狀態(tài)，光流將二維的速度場(chǎng)與圖像灰度相結(jié)合，提取連續(xù)的運(yùn)動(dòng)面部圖像序列的特征。圖2.4為光流法提取特征點(diǎn)示意圖。N.Zainudin[22]等人使用光流技術(shù)檢測(cè)面部表情的變化，還采用了Horn-Schunck技術(shù)方法來(lái)優(yōu)化結(jié)果。趙劍鋒[23]等人提出了一種3DCNN架構(gòu)，該架構(gòu)從光流序列中提取面部的動(dòng)態(tài)特征，根據(jù)成對(duì)的圖像計(jì)算面部肌肉運(yùn)動(dòng)狀況的光流信息，通過(guò)實(shí)驗(yàn)證明了該算法的優(yōu)越性，并表明光流的垂直分量在識(shí)別面部表情方面比其他分量更具優(yōu)勢(shì)。DeepakGhimire[24]等人利用魯棒的光流來(lái)獲取每個(gè)局部區(qū)域在不同方向上的平均光流，同時(shí)考慮局部統(tǒng)計(jì)運(yùn)動(dòng)信息及其空間位置。從關(guān)鍵幀中提取區(qū)域特定的LBP特征，并將其與平均光流特征相融合，該面部表情識(shí)別系統(tǒng)在CK+面部表情數(shù)據(jù)集上得到有效驗(yàn)證。

【參考文獻(xiàn)】：
期刊論文
[1]基于加權(quán)KNN與隨機(jī)森林的表情識(shí)別方法[J]. 馮開(kāi)平,賴(lài)思淵.  軟件導(dǎo)刊. 2018(11)
[2]基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識(shí)別[J]. 李勇,林小竹,蔣夢(mèng)瑩.  自動(dòng)化學(xué)報(bào). 2018(01)



本文編號(hào)：2951736