情感交互在人機自然交互的研究中受到了很大的重視,而情感識別是情感交互中尤為重要的關鍵。情感可以通過很多種方式表達,現(xiàn)階段的情感識別研究中,主要是人臉表情情感識別、語音情感識別和身體姿態(tài)情感識別等單模態(tài)情感識別。心理學研究結果表明,當人們對人類的交際行為做出判斷時,相比其他任何通道更多地依賴面部和姿態(tài)組合成的視覺通道。所以研究基于面部表情和身體姿態(tài)的雙模態(tài)情感識別具有重要的現(xiàn)實意義。本文研究基于深度學習的面部表情和身體姿態(tài)兩種模態(tài)在情感識別方面的應用,主要工作內(nèi)容如下:（1）因為傳統(tǒng)方法存在復雜的人工設計特征以及提取特征的過程,所以采取了基于深度學習的面部表情情感識別方法。首先,對CaffeNet進行改進,提出了一種基于改進的CaffeNet的面部表情情感識別方法;然后,考慮到數(shù)量較小的數(shù)據(jù)樣本也能利用深層卷積神經(jīng)網(wǎng)絡獲得相對較好的識別效果,研究了一種基于VGG-16網(wǎng)絡微調(diào)模型的面部表情識別方法;最后,因為本文研究的數(shù)據(jù)是視頻樣本,其面部表情的變化具有時間相關性,所以研究了一種基于卷積神經(jīng)網(wǎng)絡和長短期記憶網(wǎng)絡的面部表情情感識別方法。（2）為了更準確地識別身體姿態(tài)單模態(tài)情感,本文研究了一... 

【文章來源】：南京郵電大學江蘇省

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【部分圖文】：

激活函數(shù)的樣例圖

圖 2.2 反向傳播的網(wǎng)絡拓撲結構用神經(jīng)網(wǎng)絡時，大多是使用 BP 算法進行訓練，包括深度經(jīng)網(wǎng)絡（CNN）。BP 算法的一般思想：由信號的正向傳差回傳）構成了整個學習過程。由 BP 算法的一般思想，播 FP（求損失）：在此過程中，根據(jù)輸入的數(shù)據(jù)樣本，項值 b，可以計算出最終的輸出值和實際值與輸出值間的圍，就進行反向傳播的過程，否則權重 W 和偏置 b 停止播 BP（回傳誤差）：輸出誤差以某一種方式通過隱層一單元都接收到了此誤差，因此也獲得到了各層單元的誤各單元權值。紹一下卷積神經(jīng)網(wǎng)絡的反向傳播算法，其基本過程為：播

南京郵電大學專業(yè)學位碩士研究生學位論文 第二章 深度學習的背景知識3D 池化也采用了類似的操作。具有更深體系結構的 3 3卷積內(nèi)核的小感受野在二維卷積神經(jīng)網(wǎng)絡中表現(xiàn)很好，我們在此保持空間域大小為 3 3不變，只調(diào)整 3D 卷積核的時間維度的長度。3D 卷積核僅僅能從立方體中提取出一種類型的特征，在整個立方體中卷積核的權值都是相同的，換句話說就是權值共享，即卷積核是相同的。我們?yōu)榱颂崛《喾N特征，可以采用多種卷積核。3D Convolution 最早應該是在一篇論文[37]中被提出并用于行為識別的，其中，3DCNN 網(wǎng)絡結構如下圖 2.5 所示。

【參考文獻】：
期刊論文
[1]情感識別綜述[J]. 潘瑩.  電腦知識與技術. 2018(08)
[2]表情和姿態(tài)的雙模態(tài)情感識別[J]. 閆靜杰,鄭文明,辛明海,邱偉.  中國圖象圖形學報. 2013(09)



本文編號：3244444