情感識(shí)別在人機(jī)交互中具有巨大應(yīng)用價(jià)值,近年來(lái)受到越來(lái)越多的關(guān)注。在情感識(shí)別的研究過(guò)程中,研究者首先采集如面部表情序列、腦電(Electroencephalogram,EEG)以及語(yǔ)音等多種反映人類情感的信號(hào),然后利用計(jì)算機(jī)進(jìn)行自動(dòng)識(shí)別。其中,EEG和面部表情序列是情感識(shí)別中研究較為廣泛的兩種信號(hào)。作為時(shí)變情感信號(hào),EEG和面部表情序列具有相似的時(shí)空結(jié)構(gòu):它們不僅在某個(gè)時(shí)刻呈現(xiàn)特定的空間分布特性,也在時(shí)域上包含上下文信息。為實(shí)現(xiàn)準(zhǔn)確可靠的情感識(shí)別,情感信號(hào)中所包含的較為關(guān)鍵的空域和時(shí)域相關(guān)性應(yīng)該被很好地建模。出于上述動(dòng)機(jī),本文設(shè)計(jì)了多種具有時(shí)空結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)基于EEG和面部表情的動(dòng)態(tài)情感識(shí)別。此外,由于情感信號(hào)在空域上的相關(guān)性比時(shí)域上更加復(fù)雜,本文首先對(duì)如何建�？沼蛳嚓P(guān)性展開(kāi)研究,并將它作為設(shè)計(jì)時(shí)空神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。具體而言,本文主要的創(chuàng)新性成果包括以下幾個(gè)方面:(1)提出一種受情感認(rèn)知機(jī)制啟發(fā)的雙線性卷積網(wǎng)絡(luò)(Bilinear Convolutional Network,BCN),對(duì)靜態(tài)表情圖像進(jìn)行高層特征提取以及情感識(shí)別。為模擬情感認(rèn)知的早期感知過(guò)程,本文首先對(duì)面部關(guān)鍵點(diǎn)的周圍區(qū)域提取尺度不變特征變換(Scale Invariant Feature Transform,SIFT)描述子,并構(gòu)建具有特定結(jié)構(gòu)的特征矩陣。而為了模擬情感認(rèn)知的深層感知階段,本文構(gòu)建BCN以學(xué)習(xí)具有較高判別性的情感特征。其中,BCN包含雙線性映射層、一維卷積層和非線性激活層等多種網(wǎng)絡(luò)層。在情感識(shí)別過(guò)程中,BCN能夠很好地表征SIFT特征矩陣與其對(duì)應(yīng)的高層語(yǔ)義信息之間的變換關(guān)系。同時(shí),BCN對(duì)于不同視角下的面部表情也可以進(jìn)行有效地分類。(2)提出一種新穎的時(shí)空遞歸神經(jīng)網(wǎng)絡(luò)(Spatial-Temporal Recurrent Neural Network,STRNN)用于學(xué)習(xí)情感信號(hào)中的空域和時(shí)域相關(guān)性,并將EEG和面部表情序列這兩種信號(hào)的時(shí)空特征學(xué)習(xí)過(guò)程集成到統(tǒng)一的深度模型中。STRNN首先采用一個(gè)多方向的空域遞歸神經(jīng)網(wǎng)絡(luò)層(Spatial Recurrent Neural Network,SRNN)來(lái)捕獲情感中的空域協(xié)同變化信息,特別是空域上各區(qū)域間的長(zhǎng)距離上下文信息。在此過(guò)程中,SRNN沿著不同方向?qū)η楦行盘?hào)中每個(gè)時(shí)間切片上的空間區(qū)域進(jìn)行遍歷。然后,雙向時(shí)域遞歸神經(jīng)網(wǎng)絡(luò)(Temproal Recurrent Neural Network,TRNN)在SRNN輸出特征的基礎(chǔ)上進(jìn)一步學(xué)習(xí)時(shí)域上的相關(guān)性。為選取對(duì)情感識(shí)別貢獻(xiàn)較大的區(qū)域,該網(wǎng)絡(luò)還對(duì)SRNN和TRNN的隱狀態(tài)進(jìn)行稀疏投影。經(jīng)過(guò)上述過(guò)程,STRNN可以有效地學(xué)習(xí)情感信號(hào)中時(shí)域和空域上的相關(guān)信息,并實(shí)現(xiàn)情感識(shí)別。(3)提出基于一階和高階統(tǒng)計(jì)特征的深度神經(jīng)網(wǎng)絡(luò)框架,對(duì)EEG信號(hào)進(jìn)行情感識(shí)別。其中,高階統(tǒng)計(jì)特征為具有時(shí)空結(jié)構(gòu)的對(duì)稱正定(Symmetric Positive Definite,SPD)矩陣。理論上,SPD矩陣分布在黎曼流形上。為保持輸入矩陣的黎曼流形結(jié)構(gòu),本文提出一個(gè)端到端的深度流形到流形變換網(wǎng)絡(luò)(Deep Manifoldto-manifold Transforming Network,DMT-Net)將SPD矩陣從原始黎曼流形變換到另一個(gè)判別性更高的黎曼流形上。在此過(guò)程中,DMT-Net提出三個(gè)新穎的網(wǎng)絡(luò)層以學(xué)習(xí)具有較高判別性的SPD特征,分別為:(a)局部SPD卷積層,(b)非線性SPD激活層,和(c)黎曼流形上的遞歸層。它們均可以保持輸入特征的SPD特性并且在計(jì)算過(guò)程中無(wú)需使用運(yùn)算復(fù)雜度較高的奇異值分解(Singular Value Decomposition,SVD)。而相比之下,現(xiàn)存方法幾乎均基于SVD。此外,DMT-Net還包含一個(gè)對(duì)角化層用于對(duì)SPD特征進(jìn)行高效的度量計(jì)算。最后,DMT-Net進(jìn)一步和基于一階統(tǒng)計(jì)特征的網(wǎng)絡(luò)層進(jìn)行融合以提高識(shí)別性能。(4)提出一種新的張量圖卷積神經(jīng)網(wǎng)絡(luò)(Tensor Graph Convolutional Neural Network,TGCNN),對(duì)EEG信號(hào)進(jìn)行情感識(shí)別。EEG特征首先被建模成包含多個(gè)節(jié)點(diǎn)的動(dòng)態(tài)圖序列。在此過(guò)程中,EEG的每一個(gè)時(shí)間切片均被視作動(dòng)態(tài)圖序列的一個(gè)子圖,并且子圖中的每個(gè)節(jié)點(diǎn)都與一個(gè)電極相對(duì)應(yīng)。為全局地捕獲各子圖之間以及同一子圖上的各節(jié)點(diǎn)之間的相關(guān)信息,TGCNN提出圖保持層來(lái)遞歸地記憶各個(gè)子圖上對(duì)于情感識(shí)別較為顯著的節(jié)點(diǎn)。其中,圖保持層包含兩個(gè)關(guān)鍵的步驟,分別為跨圖卷積和圖池化。特別地,跨圖卷積中提出一種新穎的參數(shù)化克羅內(nèi)克和(Kronecker Sum)來(lái)表征兩個(gè)子圖中每對(duì)節(jié)點(diǎn)之間的鄰接關(guān)系。通過(guò)利用克羅內(nèi)克和的運(yùn)算性質(zhì),原本針對(duì)高維矩陣的譜濾波運(yùn)算可以分解為若干個(gè)低維矩陣之間的乘積,從而大幅減少內(nèi)存和計(jì)算負(fù)擔(dān)。經(jīng)過(guò)對(duì)動(dòng)態(tài)圖的遞歸學(xué)習(xí),圖保持層可以捕獲動(dòng)態(tài)圖序列的空域結(jié)構(gòu)以及時(shí)域變化特性,并實(shí)現(xiàn)對(duì)EEG信號(hào)的有效情感識(shí)別。
【學(xué)位單位】：東南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP183;TP391.41
【部分圖文】：

第 2 章 基于雙線性卷積網(wǎng)絡(luò)的人臉表情識(shí)別如圖 2-1 所示。總體上，該網(wǎng)絡(luò)主要由六個(gè)網(wǎng)絡(luò)層組成，分別為兩個(gè)投影層、一個(gè)一維卷積層、兩個(gè)全連接層和一個(gè) Softmax 層。由圖 2-1 可知，BCN 與傳統(tǒng)的CNN 或 DBN 網(wǎng)絡(luò)存在較大的區(qū)別，主要表現(xiàn)在：（1）其網(wǎng)絡(luò)輸入為 SIFT 特征矩陣而非原始的圖片；（2）設(shè)計(jì)了新的投影層來(lái)尋找關(guān)鍵點(diǎn)之間的最優(yōu)組合以及最優(yōu)特征空間；（3）僅在特征方向上使用一維濾波器進(jìn)行濾波來(lái)學(xué)習(xí)具有高判別性的特征。

圖 2-2 Multi-PIE 和 BU3D-FE 數(shù)據(jù)庫(kù)的樣本示例PIE 上的實(shí)驗(yàn)結(jié)果IE 上的實(shí)驗(yàn)遵循先前文獻(xiàn)[13]中的協(xié)議來(lái)對(duì)模型進(jìn)行訓(xùn)練取 Multi-PIE 數(shù)據(jù)庫(kù)中由 100 個(gè)被試在 7 個(gè)不同的視角o75 和o90 ）和一種特定的光照下所拍攝的共 4200 張表情圖圖片，本實(shí)驗(yàn)采用交叉驗(yàn)證的方式對(duì) BCN 的性能進(jìn)行評(píng)試集時(shí)，100 位被試中的 80 位會(huì)被選取出來(lái)并將其對(duì)應(yīng)訓(xùn)練，而剩余的 20 位被試的 840 張表情圖片用于測(cè)試。練的樣本數(shù)量相對(duì)較少，可能會(huì)影響深度網(wǎng)絡(luò)的性能。因的數(shù)量以及數(shù)據(jù)的多樣性，本實(shí)驗(yàn)還對(duì)訓(xùn)練圖片進(jìn)行了翻張給定的表情圖像，首先對(duì)它分別以順時(shí)針和逆時(shí)針?lè)?

東南大學(xué)博士學(xué)位論文特別地，2D JFDNN 在o30 姿態(tài)下得到了最高的識(shí)別率而 BCN 則在o0 姿態(tài)下的識(shí)別率達(dá)到最優(yōu)。另外，由兩種方法之間的結(jié)果對(duì)比可知：除了o90 以外，BCN在其余的各個(gè)視角下都獲得了優(yōu)于 2D JFDNN 的性能，這表明 BCN 對(duì)于姿態(tài)變化的魯棒性也優(yōu)于 2D JFDNN。表 2.2 Multi-PIE 數(shù)據(jù)庫(kù)中各個(gè)面部姿態(tài)下的表情識(shí)別準(zhǔn)確率對(duì)比方法識(shí)別率（%）0o15o30o45o60o75o90o平均2D JFDNN[76]85.1 83.3 85.8 84.2 80.8 80.8 80.0 82.9BCN（13440 訓(xùn)練圖片）88.2 88.0 87.3 85.3 83.8 83.3 78.8 85.2
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡冬妮;王武軍;王青;;基于知網(wǎng)數(shù)據(jù)的情感識(shí)別國(guó)內(nèi)研究情況綜述[J];網(wǎng)絡(luò)新媒體技術(shù);2018年06期

2 韓志艷;王健;;基于模糊核聚類的多模式情感識(shí)別算法研究[J];電子設(shè)計(jì)工程;2016年20期

3 陳曉鷗;楊德順;;音樂(lè)情感識(shí)別研究進(jìn)展[J];復(fù)旦學(xué)報(bào)(自然科學(xué)版);2017年02期

4 潘瑩;;情感識(shí)別綜述[J];電腦知識(shí)與技術(shù);2018年08期

5 金磊;高梓瀚;馮琛;;情感識(shí)別算法應(yīng)用現(xiàn)狀及發(fā)展趨勢(shì)研究[J];電子世界;2019年15期

6 李超;趙文萍;趙子平;;多視角判別分析的情感識(shí)別[J];信號(hào)處理;2018年08期

7 張力行;葉寧;黃海平;王汝傳;;基于皮膚電信號(hào)與文本信息的雙模態(tài)情感識(shí)別系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2018年11期

8 吳琨;王漢友;;情感化設(shè)計(jì)與品牌情感識(shí)別[J];時(shí)代人物;2008年11期

9 余梓彤;李曉白;趙國(guó)英;;情感識(shí)別與教育[J];人工智能;2019年03期

10 劉曉東;王淼;李松陽(yáng);;一種基于行為上下文的視頻情感識(shí)別方法[J];微電子學(xué)與計(jì)算機(jī);2019年05期

相關(guān)博士學(xué)位論文 前10條

1 張桐;基于時(shí)空神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)情感識(shí)別研究[D];東南大學(xué);2018年

2 許峰;基于深度學(xué)習(xí)的網(wǎng)絡(luò)輿情識(shí)別研究[D];北京郵電大學(xué);2019年

3 魏薇;基于加權(quán)融合策略的情感識(shí)別建模方法研究[D];北京郵電大學(xué);2019年

4 李超;多模態(tài)生理信號(hào)情感識(shí)別研究[D];天津大學(xué);2017年

5 林奕琳;基于語(yǔ)音信號(hào)的情感識(shí)別研究[D];華南理工大學(xué);2006年

6 程靜;基本情感生理信號(hào)的非線性特征提取研究[D];西南大學(xué);2015年

7 劉英杰;網(wǎng)絡(luò)輿情的信息情感維度空間構(gòu)建和信息情感元識(shí)別研究[D];吉林大學(xué);2017年

8 朱亞忱;基于特權(quán)信息的情感識(shí)別[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

9 王金偉;基于表情時(shí)空特征的認(rèn)知情感狀態(tài)識(shí)別研究[D];天津大學(xué);2014年

10 張石清;基于語(yǔ)音和人臉的情感識(shí)別研究[D];電子科技大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 吳瑩;多生理信號(hào)的情感識(shí)別研究[D];哈爾濱工業(yè)大學(xué);2019年

2 張京儒;基于深度學(xué)習(xí)和腦機(jī)接口的服務(wù)機(jī)器人情感識(shí)別方法研究[D];華南理工大學(xué);2019年

3 郭迪;基于深度學(xué)習(xí)的表情和姿態(tài)雙模態(tài)情感識(shí)別[D];南京郵電大學(xué);2019年

4 謝橋;基于多尺度分析和集成樹(shù)模型的腦電情感識(shí)別方法研究及系統(tǒng)設(shè)計(jì)[D];中國(guó)地質(zhì)大學(xué);2019年

5 張力行;基于皮膚電信號(hào)與文本信息的雙模態(tài)情感識(shí)別方法研究[D];南京郵電大學(xué);2019年

6 張戈;多模態(tài)連續(xù)維度情感識(shí)別研究[D];西安電子科技大學(xué);2019年

7 趙佳文;基于生理信號(hào)的情感識(shí)別融合技術(shù)研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2019年

8 楊子文;基于兩層遷移卷積神經(jīng)網(wǎng)絡(luò)的抽象圖像情感識(shí)別[D];南京郵電大學(xué);2019年

9 郭金良;基于稀疏組lasso-granger因果關(guān)系特征的EEG情感識(shí)別[D];合肥工業(yè)大學(xué);2019年

10 鞠思航;基于腦電和生理信號(hào)的多模態(tài)情感分類方法研究[D];合肥工業(yè)大學(xué);2019年

本文編號(hào)：2840786