情感識別在人機交互中具有巨大應用價值,近年來受到越來越多的關注。在情感識別的研究過程中,研究者首先采集如面部表情序列、腦電(Electroencephalogram,EEG)以及語音等多種反映人類情感的信號,然后利用計算機進行自動識別。其中,EEG和面部表情序列是情感識別中研究較為廣泛的兩種信號。作為時變情感信號,EEG和面部表情序列具有相似的時空結構:它們不僅在某個時刻呈現(xiàn)特定的空間分布特性,也在時域上包含上下文信息。為實現(xiàn)準確可靠的情感識別,情感信號中所包含的較為關鍵的空域和時域相關性應該被很好地建模。出于上述動機,本文設計了多種具有時空結構的深度神經(jīng)網(wǎng)絡以實現(xiàn)基于EEG和面部表情的動態(tài)情感識別。此外,由于情感信號在空域上的相關性比時域上更加復雜,本文首先對如何建�？沼蛳嚓P性展開研究,并將它作為設計時空神經(jīng)網(wǎng)絡的基礎。具體而言,本文主要的創(chuàng)新性成果包括以下幾個方面:(1)提出一種受情感認知機制啟發(fā)的雙線性卷積網(wǎng)絡(Bilinear Convolutional Network,BCN),對靜態(tài)表情圖像進行高層特征提取以及情感識別。為模擬情感認知的早期感知過程,本文首先對面部關鍵點的周圍區(qū)域提取尺度不變特征變換(Scale Invariant Feature Transform,SIFT)描述子,并構建具有特定結構的特征矩陣。而為了模擬情感認知的深層感知階段,本文構建BCN以學習具有較高判別性的情感特征。其中,BCN包含雙線性映射層、一維卷積層和非線性激活層等多種網(wǎng)絡層。在情感識別過程中,BCN能夠很好地表征SIFT特征矩陣與其對應的高層語義信息之間的變換關系。同時,BCN對于不同視角下的面部表情也可以進行有效地分類。(2)提出一種新穎的時空遞歸神經(jīng)網(wǎng)絡(Spatial-Temporal Recurrent Neural Network,STRNN)用于學習情感信號中的空域和時域相關性,并將EEG和面部表情序列這兩種信號的時空特征學習過程集成到統(tǒng)一的深度模型中。STRNN首先采用一個多方向的空域遞歸神經(jīng)網(wǎng)絡層(Spatial Recurrent Neural Network,SRNN)來捕獲情感中的空域協(xié)同變化信息,特別是空域上各區(qū)域間的長距離上下文信息。在此過程中,SRNN沿著不同方向對情感信號中每個時間切片上的空間區(qū)域進行遍歷。然后,雙向時域遞歸神經(jīng)網(wǎng)絡(Temproal Recurrent Neural Network,TRNN)在SRNN輸出特征的基礎上進一步學習時域上的相關性。為選取對情感識別貢獻較大的區(qū)域,該網(wǎng)絡還對SRNN和TRNN的隱狀態(tài)進行稀疏投影。經(jīng)過上述過程,STRNN可以有效地學習情感信號中時域和空域上的相關信息,并實現(xiàn)情感識別。(3)提出基于一階和高階統(tǒng)計特征的深度神經(jīng)網(wǎng)絡框架,對EEG信號進行情感識別。其中,高階統(tǒng)計特征為具有時空結構的對稱正定(Symmetric Positive Definite,SPD)矩陣。理論上,SPD矩陣分布在黎曼流形上。為保持輸入矩陣的黎曼流形結構,本文提出一個端到端的深度流形到流形變換網(wǎng)絡(Deep Manifoldto-manifold Transforming Network,DMT-Net)將SPD矩陣從原始黎曼流形變換到另一個判別性更高的黎曼流形上。在此過程中,DMT-Net提出三個新穎的網(wǎng)絡層以學習具有較高判別性的SPD特征,分別為:(a)局部SPD卷積層,(b)非線性SPD激活層,和(c)黎曼流形上的遞歸層。它們均可以保持輸入特征的SPD特性并且在計算過程中無需使用運算復雜度較高的奇異值分解(Singular Value Decomposition,SVD)。而相比之下,現(xiàn)存方法幾乎均基于SVD。此外,DMT-Net還包含一個對角化層用于對SPD特征進行高效的度量計算。最后,DMT-Net進一步和基于一階統(tǒng)計特征的網(wǎng)絡層進行融合以提高識別性能。(4)提出一種新的張量圖卷積神經(jīng)網(wǎng)絡(Tensor Graph Convolutional Neural Network,TGCNN),對EEG信號進行情感識別。EEG特征首先被建模成包含多個節(jié)點的動態(tài)圖序列。在此過程中,EEG的每一個時間切片均被視作動態(tài)圖序列的一個子圖,并且子圖中的每個節(jié)點都與一個電極相對應。為全局地捕獲各子圖之間以及同一子圖上的各節(jié)點之間的相關信息,TGCNN提出圖保持層來遞歸地記憶各個子圖上對于情感識別較為顯著的節(jié)點。其中,圖保持層包含兩個關鍵的步驟,分別為跨圖卷積和圖池化。特別地,跨圖卷積中提出一種新穎的參數(shù)化克羅內克和(Kronecker Sum)來表征兩個子圖中每對節(jié)點之間的鄰接關系。通過利用克羅內克和的運算性質,原本針對高維矩陣的譜濾波運算可以分解為若干個低維矩陣之間的乘積,從而大幅減少內存和計算負擔。經(jīng)過對動態(tài)圖的遞歸學習,圖保持層可以捕獲動態(tài)圖序列的空域結構以及時域變化特性,并實現(xiàn)對EEG信號的有效情感識別。
【學位單位】：東南大學
【學位級別】：博士
【學位年份】：2018
【中圖分類】：TP183;TP391.41
【部分圖文】：

第 2 章 基于雙線性卷積網(wǎng)絡的人臉表情識別如圖 2-1 所示�？傮w上，該網(wǎng)絡主要由六個網(wǎng)絡層組成，分別為兩個投影層、一個一維卷積層、兩個全連接層和一個 Softmax 層。由圖 2-1 可知，BCN 與傳統(tǒng)的CNN 或 DBN 網(wǎng)絡存在較大的區(qū)別，主要表現(xiàn)在：（1）其網(wǎng)絡輸入為 SIFT 特征矩陣而非原始的圖片；（2）設計了新的投影層來尋找關鍵點之間的最優(yōu)組合以及最優(yōu)特征空間；（3）僅在特征方向上使用一維濾波器進行濾波來學習具有高判別性的特征。

圖 2-2 Multi-PIE 和 BU3D-FE 數(shù)據(jù)庫的樣本示例PIE 上的實驗結果IE 上的實驗遵循先前文獻[13]中的協(xié)議來對模型進行訓練取 Multi-PIE 數(shù)據(jù)庫中由 100 個被試在 7 個不同的視角o75 和o90 ）和一種特定的光照下所拍攝的共 4200 張表情圖圖片，本實驗采用交叉驗證的方式對 BCN 的性能進行評試集時，100 位被試中的 80 位會被選取出來并將其對應訓練，而剩余的 20 位被試的 840 張表情圖片用于測試。練的樣本數(shù)量相對較少，可能會影響深度網(wǎng)絡的性能。因的數(shù)量以及數(shù)據(jù)的多樣性，本實驗還對訓練圖片進行了翻張給定的表情圖像，首先對它分別以順時針和逆時針方

東南大學博士學位論文特別地，2D JFDNN 在o30 姿態(tài)下得到了最高的識別率而 BCN 則在o0 姿態(tài)下的識別率達到最優(yōu)。另外，由兩種方法之間的結果對比可知：除了o90 以外，BCN在其余的各個視角下都獲得了優(yōu)于 2D JFDNN 的性能，這表明 BCN 對于姿態(tài)變化的魯棒性也優(yōu)于 2D JFDNN。表 2.2 Multi-PIE 數(shù)據(jù)庫中各個面部姿態(tài)下的表情識別準確率對比方法識別率（%）0o15o30o45o60o75o90o平均2D JFDNN[76]85.1 83.3 85.8 84.2 80.8 80.8 80.0 82.9BCN（13440 訓練圖片）88.2 88.0 87.3 85.3 83.8 83.3 78.8 85.2
【相似文獻】

相關期刊論文 前10條

1 胡冬妮;王武軍;王青;;基于知網(wǎng)數(shù)據(jù)的情感識別國內研究情況綜述[J];網(wǎng)絡新媒體技術;2018年06期

2 韓志艷;王健;;基于模糊核聚類的多模式情感識別算法研究[J];電子設計工程;2016年20期

3 陳曉鷗;楊德順;;音樂情感識別研究進展[J];復旦學報(自然科學版);2017年02期

4 潘瑩;;情感識別綜述[J];電腦知識與技術;2018年08期

5 金磊;高梓瀚;馮琛;;情感識別算法應用現(xiàn)狀及發(fā)展趨勢研究[J];電子世界;2019年15期

6 李超;趙文萍;趙子平;;多視角判別分析的情感識別[J];信號處理;2018年08期

7 張力行;葉寧;黃海平;王汝傳;;基于皮膚電信號與文本信息的雙模態(tài)情感識別系統(tǒng)[J];計算機系統(tǒng)應用;2018年11期

8 吳琨;王漢友;;情感化設計與品牌情感識別[J];時代人物;2008年11期

9 余梓彤;李曉白;趙國英;;情感識別與教育[J];人工智能;2019年03期

10 劉曉東;王淼;李松陽;;一種基于行為上下文的視頻情感識別方法[J];微電子學與計算機;2019年05期

相關博士學位論文 前10條

1 張桐;基于時空神經(jīng)網(wǎng)絡的動態(tài)情感識別研究[D];東南大學;2018年

2 許峰;基于深度學習的網(wǎng)絡輿情識別研究[D];北京郵電大學;2019年

3 魏薇;基于加權融合策略的情感識別建模方法研究[D];北京郵電大學;2019年

4 李超;多模態(tài)生理信號情感識別研究[D];天津大學;2017年

5 林奕琳;基于語音信號的情感識別研究[D];華南理工大學;2006年

6 程靜;基本情感生理信號的非線性特征提取研究[D];西南大學;2015年

7 劉英杰;網(wǎng)絡輿情的信息情感維度空間構建和信息情感元識別研究[D];吉林大學;2017年

8 朱亞忱;基于特權信息的情感識別[D];中國科學技術大學;2015年

9 王金偉;基于表情時空特征的認知情感狀態(tài)識別研究[D];天津大學;2014年

10 張石清;基于語音和人臉的情感識別研究[D];電子科技大學;2012年

相關碩士學位論文 前10條

1 吳瑩;多生理信號的情感識別研究[D];哈爾濱工業(yè)大學;2019年

2 張京儒;基于深度學習和腦機接口的服務機器人情感識別方法研究[D];華南理工大學;2019年

3 郭迪;基于深度學習的表情和姿態(tài)雙模態(tài)情感識別[D];南京郵電大學;2019年

4 謝橋;基于多尺度分析和集成樹模型的腦電情感識別方法研究及系統(tǒng)設計[D];中國地質大學;2019年

5 張力行;基于皮膚電信號與文本信息的雙模態(tài)情感識別方法研究[D];南京郵電大學;2019年

6 張戈;多模態(tài)連續(xù)維度情感識別研究[D];西安電子科技大學;2019年

7 趙佳文;基于生理信號的情感識別融合技術研究與實現(xiàn)[D];南京郵電大學;2019年

8 楊子文;基于兩層遷移卷積神經(jīng)網(wǎng)絡的抽象圖像情感識別[D];南京郵電大學;2019年

9 郭金良;基于稀疏組lasso-granger因果關系特征的EEG情感識別[D];合肥工業(yè)大學;2019年

10 鞠思航;基于腦電和生理信號的多模態(tài)情感分類方法研究[D];合肥工業(yè)大學;2019年

本文編號：2840786