面部表情承載著人類的情感信息,被視為是超越了種族和文化多樣性的一種通用語言。深入研究人臉表情識別,有助于更好地理解人類的情感狀態(tài)和心理活動,在人機交互中實現(xiàn)更智能的互動。動態(tài)表情序列蘊含了豐富的時空域信息,能夠有效地反映面部表情的變化過程,因此基于視頻的表情識別研究成為新一代人機交互系統(tǒng)的重要研究方向。人臉表情識別分為離散和連續(xù)兩種表示模型,這兩種情感模型在社會生活的諸多領(lǐng)域都有著巨大的應(yīng)用價值。例如零售行業(yè)通過識別消費者購物時的基本表情,評估顧客對商品的喜好;在線教育行業(yè)應(yīng)用連續(xù)維度表情識別監(jiān)測學員狀態(tài),細化課程質(zhì)量分析。本文研究了視頻序列中的離散表情分類與連續(xù)表情回歸問題,主要工作包含以下兩個方面:（1）長短期記憶網(wǎng)絡(luò)（LSTM）廣泛應(yīng)用于視頻序列的人臉表情識別,針對單層LSTM表達能力有限,在解決復(fù)雜問題時其泛化能力易受制約的不足,提出一種層級注意力模型:使用堆疊LSTM學習時間序列數(shù)據(jù)的分層表示,利用自注意力機制構(gòu)建差異化的層級關(guān)系,并通過構(gòu)造懲罰項,進一步結(jié)合損失函數(shù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),提升網(wǎng)絡(luò)性能。在CK+以及MMI數(shù)據(jù)庫上的實驗結(jié)果表明,由于構(gòu)建了良好的層次級別特征,時間序列上... 

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
致謝
摘要
abstract
第一章 緒論
    1.1 課題研究背景與意義
    1.2 人臉表情識別研究現(xiàn)狀
    1.3 人臉表情數(shù)據(jù)集
    1.4 人臉表情識別的研究難點
    1.5 論文主要內(nèi)容及結(jié)構(gòu)安排
第二章 人臉表情識別理論基礎(chǔ)
    2.1 人臉表情識別流程
    2.2 人臉檢測與定位
    2.3 圖像預(yù)處理
        2.3.1 噪聲處理
        2.3.2 直方圖均衡化
        2.3.3 幾何變換
    2.4 特征提取
    2.5 表情的分類與回歸
    2.6 本章小結(jié)
第三章 基于層級注意力模型的視頻序列表情識別
    3.1 引言
    3.2 層級注意力模型的CNN-LSTM架構(gòu)設(shè)計
        3.2.1 LSTM
        3.2.2 注意力機制
        3.2.3 自注意力機制
        3.2.4 層級注意力模型
        3.2.5 懲罰項
    3.3 層級注意力模型的CNN-LSTM架構(gòu)實現(xiàn)
        3.3.1 視頻預(yù)處理
        3.3.2 預(yù)訓練CNN
        3.3.3 應(yīng)用層級注意力機制的LSTM
    3.4 實驗設(shè)計與結(jié)果分析
        3.4.1 環(huán)境配置及實驗數(shù)據(jù)庫
        3.4.2 實驗結(jié)果分析
    3.5 本章小結(jié)
第四章 基于自輔助學習的視頻維度情感識別
    4.1 引言
    4.2 自輔助學習模型的構(gòu)建
        4.2.1 多任務(wù)網(wǎng)絡(luò)
        4.2.2 標簽生成網(wǎng)絡(luò)
        4.2.3 網(wǎng)絡(luò)訓練策略
    4.3 實驗設(shè)計與結(jié)果分析
        4.3.1 評估度量
        4.3.2 環(huán)境配置及實驗數(shù)據(jù)庫
        4.3.3 實驗結(jié)果分析
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 未來展望
參考文獻
攻讀碩士期間的學術(shù)活動以及成果情況


【參考文獻】：
期刊論文
[1]融合局部紋理和形狀特征的人臉表情識別[J]. 胡敏,滕文娣,王曉華,許良鳳,楊娟.  電子與信息學報. 2018(06)
[2]融合時空特征的視頻序列表情識別[J]. 王曉華,夏晨,胡敏,任福繼.  電子與信息學報. 2018(03)
[3]基于ROI-KNN卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別[J]. 孫曉,潘汀,任福繼.  自動化學報. 2016(06)
[4]基于隱馬爾可夫模型（HMM）的人臉表情識別[J]. 王沖,李一民,楊霞.  通信技術(shù). 2007(11)
[5]基于多模板匹配的單人臉檢測[J]. 梁路宏,艾海舟,何克忠.  中國圖象圖形學報. 1999(10)



本文編號：3675772