人臉表情識別是人臉識別的一個(gè)重要組成部分,該方向已經(jīng)成為人機(jī)交互領(lǐng)域的研究熱點(diǎn),廣泛應(yīng)用于疲勞駕駛、在線教學(xué)、測謊、娛樂等行業(yè)。人臉表情識別涉及了心理學(xué)、生物學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)學(xué)等多個(gè)學(xué)科,是一個(gè)非常新穎且有研究價(jià)值的方向。當(dāng)前人臉表情識別數(shù)據(jù)的采集逐漸從實(shí)驗(yàn)室轉(zhuǎn)向真實(shí)場景（受光照、遮擋、姿態(tài)等多種因素混合干擾）,導(dǎo)致表情識別的難度大大增加,在此背景下,我們旨在搭建并訓(xùn)練出適合真實(shí)人臉表情視頻數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型,用以提高人臉表情識別的準(zhǔn)確性和實(shí)用性,具體工作內(nèi)容如下:（1）考慮卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）有助于提取數(shù)據(jù)平移不變特征,循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）有助于分析連續(xù)序列數(shù)據(jù)間的時(shí)間信息,受此啟發(fā),本文搭建了端到端的CNN-LSTM網(wǎng)絡(luò)模型,用于識別人臉表情視頻數(shù)據(jù)。首先,CNN部分使用經(jīng)典的VGG-16卷積網(wǎng)絡(luò)提取每幀人臉表情特征,RNN部分使用長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory,LSTM）分析幀間表情變化差異;其次,針對CNN和LSTM模塊分開訓(xùn)練時(shí)反向傳... 

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．?１神經(jīng)網(wǎng)絡(luò)視頻表情識別系統(tǒng)流程圖??

用中，包括人臉表情識別。２１世紀(jì)初，人臉表情??識別研宄中發(fā)現(xiàn)，ＣＮＮ對人臉位置變化和尺度變化具有很強(qiáng)的魯捧性，并旦在人臉面部位置??和尺度改變時(shí)性能優(yōu)于多層感知器（ＭＬＰ）。研究者們多使用ＣＮＮ來解決人臉表情識別中的??平移、旋轉(zhuǎn)和尺度不變性問題。??■凰。??卷積ｔｅ７ｘ７?輸出像素點(diǎn)??輸出像素點(diǎn)感受野為７ｘ７??Ｈ圓曲］囲圈??卷積核３ｘ３?卷積核３ｘ３?卷積核３ｘ３??輸出像累點(diǎn)感受野為３ｘ３?輸出；—點(diǎn)??輸出像素點(diǎn)感受野為５ｘ５??輸出像素點(diǎn)感受野為７ｘ７??圖２．?２不同卷積核下的感受野表示??ＣＮＮ模型，主要由卷積層、池化層、激活層、全連接層等＿礎(chǔ)層構(gòu)成。卷積層和池化鳥一??般會組合交替連接，激活層則跟隨在每一層線性連接層之后保證網(wǎng)絡(luò)非線性，全連接層通常??位于ｉ網(wǎng)絡(luò)未端用＇予回質(zhì)。卷積層＿的輸入輸出稱之為特征映射（Ｆｅａｔｕｒｅ?Ｍａｐ．）：，兩者特征映射的??像素點(diǎn)線性連接，輸入的特征映射像素點(diǎn)與卷積層的卷積核與加權(quán)求和加上偏置項(xiàng)得到輸出??特征映射像素點(diǎn)，偷置項(xiàng)保證了網(wǎng)絡(luò)的擬合能力，該過程卷積運(yùn)算等價(jià)，所以稱之為卷積神??經(jīng)網(wǎng)絡(luò)。卷積核是一個(gè)權(quán)值矩陣（對于＇二錐圖像逋常為３Ｘ３、５Ｘ５或７Ｘ７矩陣，見圖２．２）。??卷積祌經(jīng)網(wǎng)絡(luò)逋過多層卷積層提取不兩程度的特征，低級特征（如邊緣、角、線條等）由淺??層卷積層提取，深層卷積層提取由低級特征組合而成的高級特征。隨著網(wǎng)絡(luò)層的不斷加深，??每個(gè)特征映射的像素點(diǎn)的感受野（ＲｅｃｅｐｔｉｖｅＨｅｌｄ）不斷地加大，感受野表東輸出特征映射上??的像素點(diǎn)在輸入特征映射上映射區(qū)域大校如圖２．２所示，衰集一長卷積層的卷積核是３Ｘ３??１０??

非線性激活函數(shù)Ｓｉｇｍｏｉｄ，根據(jù)公式２－１可知Ｓｉｇｍｏｉｄ輸??出為（０，１）區(qū)＿，可以表示有多少信息通過，當(dāng)門限值趨近于〇時(shí)則信息幾乎無法通過該門，??當(dāng)門限值趨近于１時(shí)則信息幾乎全部通過該門。ＬＳＴＭ單元中三個(gè)門的前向計(jì)算過程如公式??２－６?至?２－８。??ｈ?一??Ｇｇ—１?丨’＾￣??Ａ?Ｍ?▼??ｔａｎｈ??｜?ｆｔ?ｉ＾Ｘ）?〇ｆ｜￣￣??＜７ｆ?ｇｉ?ｔａｎｈ?（７〇??Ｖｉ！?ｈｔ??￣?：…—二廣??細(xì)?２＿?３?：ＬＳ．ＴＭ?單：元??如圖２．３，假定當(dāng)前對應(yīng)輸入的第ｔ個(gè)特征則設(shè)ＬＳＴＭ單元的輸入特征向纛為ｘｔ，??輸出特征向最為ｈｔ，上一細(xì)胞狀態(tài)為ｃｍ。輸入門控制著細(xì)胞狀態(tài)第ｔ－１個(gè)ＬＳＴＭ單元的輸出??ｈｔ－ｉ和當(dāng)前輸入ｘｔ進(jìn)入輸入門，輸入門中的１控＿著多少信息哥以存入■前細(xì)胞狀態(tài)ｃｔ中，其??計(jì)．算．公式如下：．??＼?（２＿６）??遺忘ｎ決食上一個(gè)細(xì)胞狀態(tài)Ｃｔ－１需：乗遺忘多少信鳥，其通過Ｓｉｇｍｏｉｄ函數(shù)進(jìn)行計(jì)算得到ｆｔ??與上一個(gè)細(xì)胞狀態(tài)相乘。更新上一細(xì)胞狀態(tài)ＣＷ需要遺忘門與輸入門相互配合，遺忘部分信息??后，通過輸入門加入新的信息后得到新的細(xì)胞狀態(tài)ｃｔ，更新過程如下：??ｆｔ?＝?＋?ｂ／）?（２＿７）??ｃ，?＝?ｆ．?ｅ?ｃ＾ｔ?＋?ｈ?ｅ?ｔａｎｈ＾．ｃｘ，?＋?＋?ｂ）??更新完細(xì)胞狀態(tài)Ｃｔ；ｇ，輸出門根據(jù)輸入ｈＱ和Ｘｔ來決定輸出細(xì)胞狀態(tài)中的哪璧狀態(tài)特征。??同櫸由．Ｓｉｇｍｏｉｄ轉(zhuǎn)到判ｉ斷條件，與細(xì)胞狀態(tài)；相乘餐到：■前ＬＳＴＭ單元的輸出ｈｔ。計(jì)算公式如??下＊??〇，?＝?ｃｒ（ｆｆ?ｘ?＋?ｆｆ，?ｈｆ?，?＋?ｂ?）??ｔ?ｘｏ?ｔ

【參考文獻(xiàn)】：
期刊論文
[1]基于遞歸神經(jīng)網(wǎng)絡(luò)的端到端語音識別[J]. 王子龍,李俊峰,張劭韡,王宏巖,王思杰.  計(jì)算機(jī)與數(shù)字工程. 2019(12)
[2]基于二維Gabor小波與AR-LGC的人臉特征提取算法研究[J]. 倪永婧,孫袆,岳瑩,郭志萍,高麗慧,劉微.  河北工業(yè)科技. 2019(04)
[3]基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的PM2.5預(yù)測[J]. 白盛楠,申曉留.  計(jì)算機(jī)應(yīng)用與軟件. 2019(01)
[4]基于生成式對抗網(wǎng)絡(luò)的魯棒人臉表情識別[J]. 姚乃明,郭清沛,喬逢春,陳輝,王宏安.  自動化學(xué)報(bào). 2018(05)
[5]非對稱方向性局部二值模式人臉表情識別[J]. 黃麗雯,楊歡歡,王勃.  計(jì)算機(jī)工程與應(yīng)用. 2018(23)
[6]基于LBP-TOP特征的微表情識別[J]. 盧官明,楊成,楊文娟,閆靜杰,李海波.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(06)

博士論文
[1]面向文本數(shù)據(jù)的情感計(jì)算研究[D]. 陳炳豐.廣東工業(yè)大學(xué) 2019



本文編號：3649830