人臉表情識別是人臉識別的一個重要組成部分,該方向已經(jīng)成為人機交互領(lǐng)域的研究熱點,廣泛應(yīng)用于疲勞駕駛、在線教學、測謊、娛樂等行業(yè)。人臉表情識別涉及了心理學、生物學、統(tǒng)計學、計算機學等多個學科,是一個非常新穎且有研究價值的方向。當前人臉表情識別數(shù)據(jù)的采集逐漸從實驗室轉(zhuǎn)向真實場景（受光照、遮擋、姿態(tài)等多種因素混合干擾）,導(dǎo)致表情識別的難度大大增加,在此背景下,我們旨在搭建并訓練出適合真實人臉表情視頻數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型,用以提高人臉表情識別的準確性和實用性,具體工作內(nèi)容如下:（1）考慮卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）有助于提取數(shù)據(jù)平移不變特征,循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）有助于分析連續(xù)序列數(shù)據(jù)間的時間信息,受此啟發(fā),本文搭建了端到端的CNN-LSTM網(wǎng)絡(luò)模型,用于識別人臉表情視頻數(shù)據(jù)。首先,CNN部分使用經(jīng)典的VGG-16卷積網(wǎng)絡(luò)提取每幀人臉表情特征,RNN部分使用長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory,LSTM）分析幀間表情變化差異;其次,針對CNN和LSTM模塊分開訓練時反向傳... 

【文章頁數(shù)】：61 頁

【學位級別】：碩士

【部分圖文】：

圖２．?１神經(jīng)網(wǎng)絡(luò)視頻表情識別系統(tǒng)流程圖??

用中，包括人臉表情識別。２１世紀初，人臉表情??識別研宄中發(fā)現(xiàn)，ＣＮＮ對人臉位置變化和尺度變化具有很強的魯捧性，并旦在人臉面部位置??和尺度改變時性能優(yōu)于多層感知器（ＭＬＰ）。研究者們多使用ＣＮＮ來解決人臉表情識別中的??平移、旋轉(zhuǎn)和尺度不變性問題。??■凰。??卷積ｔｅ７ｘ７?輸出像素點??輸出像素點感受野為７ｘ７??Ｈ圓曲］囲圈??卷積核３ｘ３?卷積核３ｘ３?卷積核３ｘ３??輸出像累點感受野為３ｘ３?輸出；—點??輸出像素點感受野為５ｘ５??輸出像素點感受野為７ｘ７??圖２．?２不同卷積核下的感受野表示??ＣＮＮ模型，主要由卷積層、池化層、激活層、全連接層等＿礎(chǔ)層構(gòu)成。卷積層和池化鳥一??般會組合交替連接，激活層則跟隨在每一層線性連接層之后保證網(wǎng)絡(luò)非線性，全連接層通常??位于ｉ網(wǎng)絡(luò)未端用＇予回質(zhì)。卷積層＿的輸入輸出稱之為特征映射（Ｆｅａｔｕｒｅ?Ｍａｐ．）：，兩者特征映射的??像素點線性連接，輸入的特征映射像素點與卷積層的卷積核與加權(quán)求和加上偏置項得到輸出??特征映射像素點，偷置項保證了網(wǎng)絡(luò)的擬合能力，該過程卷積運算等價，所以稱之為卷積神??經(jīng)網(wǎng)絡(luò)。卷積核是一個權(quán)值矩陣（對于＇二錐圖像逋常為３Ｘ３、５Ｘ５或７Ｘ７矩陣，見圖２．２）。??卷積祌經(jīng)網(wǎng)絡(luò)逋過多層卷積層提取不兩程度的特征，低級特征（如邊緣、角、線條等）由淺??層卷積層提取，深層卷積層提取由低級特征組合而成的高級特征。隨著網(wǎng)絡(luò)層的不斷加深，??每個特征映射的像素點的感受野（ＲｅｃｅｐｔｉｖｅＨｅｌｄ）不斷地加大，感受野表東輸出特征映射上??的像素點在輸入特征映射上映射區(qū)域大校如圖２．２所示，衰集一長卷積層的卷積核是３Ｘ３??１０??

非線性激活函數(shù)Ｓｉｇｍｏｉｄ，根據(jù)公式２－１可知Ｓｉｇｍｏｉｄ輸??出為（０，１）區(qū)＿，可以表示有多少信息通過，當門限值趨近于〇時則信息幾乎無法通過該門，??當門限值趨近于１時則信息幾乎全部通過該門。ＬＳＴＭ單元中三個門的前向計算過程如公式??２－６?至?２－８。??ｈ?一??Ｇｇ—１?丨’＾￣??Ａ?Ｍ?▼??ｔａｎｈ??｜?ｆｔ?ｉ＾Ｘ）?〇ｆ｜￣￣??＜７ｆ?ｇｉ?ｔａｎｈ?（７〇??Ｖｉ！?ｈｔ??￣?：…—二廣??細?２＿?３?：ＬＳ．ＴＭ?單：元??如圖２．３，假定當前對應(yīng)輸入的第ｔ個特征則設(shè)ＬＳＴＭ單元的輸入特征向纛為ｘｔ，??輸出特征向最為ｈｔ，上一細胞狀態(tài)為ｃｍ。輸入門控制著細胞狀態(tài)第ｔ－１個ＬＳＴＭ單元的輸出??ｈｔ－ｉ和當前輸入ｘｔ進入輸入門，輸入門中的１控＿著多少信息哥以存入■前細胞狀態(tài)ｃｔ中，其??計．算．公式如下：．??＼?（２＿６）??遺忘ｎ決食上一個細胞狀態(tài)Ｃｔ－１需：乗遺忘多少信鳥，其通過Ｓｉｇｍｏｉｄ函數(shù)進行計算得到ｆｔ??與上一個細胞狀態(tài)相乘。更新上一細胞狀態(tài)ＣＷ需要遺忘門與輸入門相互配合，遺忘部分信息??后，通過輸入門加入新的信息后得到新的細胞狀態(tài)ｃｔ，更新過程如下：??ｆｔ?＝?＋?ｂ／）?（２＿７）??ｃ，?＝?ｆ．?ｅ?ｃ＾ｔ?＋?ｈ?ｅ?ｔａｎｈ＾．ｃｘ，?＋?＋?ｂ）??更新完細胞狀態(tài)Ｃｔ；ｇ，輸出門根據(jù)輸入ｈＱ和Ｘｔ來決定輸出細胞狀態(tài)中的哪璧狀態(tài)特征。??同櫸由．Ｓｉｇｍｏｉｄ轉(zhuǎn)到判ｉ斷條件，與細胞狀態(tài)；相乘餐到：■前ＬＳＴＭ單元的輸出ｈｔ。計算公式如??下＊??〇，?＝?ｃｒ（ｆｆ?ｘ?＋?ｆｆ，?ｈｆ?，?＋?ｂ?）??ｔ?ｘｏ?ｔ

【參考文獻】：
期刊論文
[1]基于遞歸神經(jīng)網(wǎng)絡(luò)的端到端語音識別[J]. 王子龍,李俊峰,張劭韡,王宏巖,王思杰.  計算機與數(shù)字工程. 2019(12)
[2]基于二維Gabor小波與AR-LGC的人臉特征提取算法研究[J]. 倪永婧,孫袆,岳瑩,郭志萍,高麗慧,劉微.  河北工業(yè)科技. 2019(04)
[3]基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的PM2.5預(yù)測[J]. 白盛楠,申曉留.  計算機應(yīng)用與軟件. 2019(01)
[4]基于生成式對抗網(wǎng)絡(luò)的魯棒人臉表情識別[J]. 姚乃明,郭清沛,喬逢春,陳輝,王宏安.  自動化學報. 2018(05)
[5]非對稱方向性局部二值模式人臉表情識別[J]. 黃麗雯,楊歡歡,王勃.  計算機工程與應(yīng)用. 2018(23)
[6]基于LBP-TOP特征的微表情識別[J]. 盧官明,楊成,楊文娟,閆靜杰,李海波.  南京郵電大學學報(自然科學版). 2017(06)

博士論文
[1]面向文本數(shù)據(jù)的情感計算研究[D]. 陳炳豐.廣東工業(yè)大學 2019



本文編號：3649830