隨著人工智能的高速發(fā)展,情感計算作為其分支領域也在不斷地被研究者探究。情感計算主要有識別,表達和決策三個研究方向。其中,情感識別的研究更為廣泛和深入。情感識別主要是研究如何讓機器準確辨識人類的情感,并消除其不確定性和歧義性。人類的情感表達是多元化的,可以通過表情,語音,文本等非生理信號,也可以通過腦電,心電等生理信號。在非生理信號中,表情是最直接的一種表達方式。因此,很多研究者們致力于研究基于面部表情的情感識別,但這些研究大多數(shù)是基于靜態(tài)表情圖片�？紤]到表情本身就是一個動態(tài)的變化過程,所以基于動態(tài)表情視頻的情感識別會更加符合人類情感本身。在生理信號中,腦電信號與情感的聯(lián)系較為緊密。由于腦電信號本身具有時空性,因此可以從腦電信號的特性出發(fā)進行研究,從而提高其識別率。但不管是基于表情還是基于腦電的情感識別,都是一種單模態(tài)的情感識別,它們僅僅是利用了情感的單特征表達方式。事實上,人類表達情感往往是伴隨著多種方式,例如在高興的時候,臉上會露出開心的表情,同時身體也會發(fā)生動作,說話的語調也會比較高亢。所以,利用多種模態(tài)的特征來進行情感識別符合人類本身表達情感的方式,也會提高其特征多樣性,從而有利... 

【文章來源】：中央民族大學北京市 211工程院校 985工程院校

【文章頁數(shù)】：75 頁

【學位級別】：碩士

【部分圖文】：

圖２－２表情預處理??

開始：１０ｓ?視頻：３?ｍ?＾休息：１０ｓ??Ｖｘ??ｔｒｉａｌ?１?｜?＞?ｔｒｉａｌ?２?｜?＞?ｔｒｉａｌ?３?Ｉ?…??圖２－１實驗采集流程圖??２．２基于靜態(tài)表情幀的情感識別??２．２．丨表情視頻的預處理??原始表情數(shù)據(jù)以視頻的方式呈現(xiàn)，它包括了被試情緒變化的過程。因此，我們需要??做的第一步是將視頻切分成鄭在這個過程中需要結合采集表情視頻的采樣頻率，以便??更好地切分成鄭在本實驗中，設置的幀頻率為１３頓／秒，每個ｔｒａｉｌ時長２００ｓ，可以切??分成２６００張靜態(tài)圖片；第二步，幀的選齲排除掉前后１０ｓ的２６０張圖片。設置時間間??隔為ｌｓ，最后每個ｔｒａｉｌ得到１８０張圖片，１２個ｔｒａｉｌ總計２１６０張；第三步，人臉檢測。??為了后續(xù)更好地提取表情特征和減少噪音，我們需要將一些除人臉以外的部位篩選掉。??人臉檢測是指采用一定的方法來確定圖片中是否含有人臉，如果是，則返回面部的位置、??大小和姿勢。利用人臉檢測對表情圖片進行處理，進而獲取可用的人臉表情部分。整個??預處理的流程如圖２－２：??＜?＿練?＞??〈視頻切分＾￣￣人臉檢測??圖２－２表情預處理??９??

要手動建立ｈａｐｐｙ，?ｎｅｔｕｒａｌ，ｓａｄ三??個文件夾，并且在其文件夾下建立以〇，?１，２，?３?（分別代表了?４個片段的情緒圖片，此??處目的僅僅是為了方便后續(xù)與腦電的對應），將其對應幀圖片依次放入對應的文件夾下。??３）人臉檢測。此部分依靠的ｏｐｅｎｃｖ里的人臉切割模塊。分別將子文件夾下的表情??圖片進行檢測并切割。由于切割過后的圖片大小有差異，所以最后需統(tǒng)一大小為２５６＊２５６。??１５個被試者在經(jīng)過預處理后獲得數(shù)據(jù)集數(shù)目為３２４００。表情變化視頻經(jīng)過預處理后??的結果如圖２－３，展示了三種情緒的表情。??ＭＵＢＪ?ＪＭ??ｙｖＨ??圖２－３三種不同情緒表情圖片??２．２．２卷積神經(jīng)網(wǎng)絡模型??在傳統(tǒng)表情識別上，特征提取和分類是獨立的？，并且大多數(shù)都是基于傳統(tǒng)機器學習。??在深度學習的方法中，卷積神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｔｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）因其權值??共享、局部連接和視野的特點而被廣泛用于圖像上。??ＣＮＮ是一種多層神經(jīng)網(wǎng)絡，其基本結構是輸入層，卷積層，池化層，全連接層，輸??出層（分類器）。??卷積層（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ）：在卷積神經(jīng)網(wǎng)絡中，每個卷積層由若干個卷積單元??組成。采用反向傳播算法對各卷積單元的參數(shù)進行優(yōu)化。卷積運算的目的是提取輸入的??不同特征。卷積層的第一層可能只能提取邊緣、直線和角度等層級。多層網(wǎng)絡可以迭代??１０??

【參考文獻】：
期刊論文
[1]基于深度卷積神經(jīng)網(wǎng)絡的腦電信號情感識別[J]. 陳景霞,王麗艷,賈小云,張鵬偉.  計算機工程與應用. 2019(18)
[2]多模深度卷積神經(jīng)網(wǎng)絡應用于視頻表情識別[J]. 潘仙張,張石清,郭文平.  光學精密工程. 2019(04)
[3]基于LSTM的腦電情緒識別模型[J]. 闞威,李云.  南京大學學報(自然科學). 2019(01)
[4]結合滑動窗口動態(tài)時間規(guī)整和CNN的視頻人臉表情識別[J]. 胡敏,張柯柯,王曉華,任福繼.  中國圖象圖形學報. 2018(08)
[5]融合表情和BVP生理信號的雙模態(tài)視頻情感識別[J]. 任福繼,于曼麗,胡敏,李艷秋.  中國圖象圖形學報. 2018(05)
[6]多模態(tài)情感識別研究進展[J]. 何俊,劉躍,何忠文.  計算機應用研究. 2018(11)
[7]情感識別綜述[J]. 潘瑩.  電腦知識與技術. 2018(08)
[8]基于人臉表情和語音的雙模態(tài)情感識別[J]. 閆靜杰,盧官明,李海波,王珊珊.  南京郵電大學學報(自然科學版). 2018(01)
[9]基于深度學習的腦電信號特征識別[J]. 張韓,楊濟民.  電腦知識與技術. 2018(05)
[10]結合人臉圖像和腦電的情緒識別技術[J]. 黃泳銳,楊健豪,廖鵬凱,潘家輝.  計算機系統(tǒng)應用. 2018(02)

博士論文
[1]基于多源信息的步態(tài)識別算法研究[D]. 劉磊.河北工業(yè)大學 2015

碩士論文
[1]基于腦電的情緒識別研究與系統(tǒng)開發(fā)[D]. 闞威.南京郵電大學 2019
[2]基于腦電信號的情感識別[D]. 沈成業(yè).太原理工大學 2017
[3]基于多元模式分析的情緒腦電識別[D]. 劉歡.電子科技大學 2017
[4]基于視頻刺激的腦電信號特征研究[D]. 宋曉遠.中央民族大學 2016
[5]基于腦電信號樣本熵的情感識別[D]. 李立.太原理工大學 2014
[6]基于紋理和幾何特征的人臉表情識別算法研究[D]. 朱弘.合肥工業(yè)大學 2014
[7]基于圖像特征空間學習的圖像分類方法研究[D]. 劉三軍.西安電子科技大學 2014
[8]基于腦電信號的視頻誘發(fā)情緒識別[D]. 段若男.上海交通大學 2014
[9]基于用戶獨立模型的生理情感識別[D]. 王丹丹.天津大學 2014
[10]多模態(tài)融合的情感識別研究[D]. 曹田熠.天津大學 2012



本文編號：2956836