本文選題：多模態(tài)情感識別 + 特征層融合��； 參考：《南京郵電大學(xué)》2017年碩士論文

【摘要】：情感識別作為情感計算領(lǐng)域中的重要分支,在人工智能、人機交互等許多方面都具有廣闊的應(yīng)用前景。不同模態(tài)的情感識別可以優(yōu)勢互補,不斷提高識別系統(tǒng)的精度,以促進產(chǎn)生更高質(zhì)量、更加和諧的人機交互系統(tǒng),使人類生活變得更加智能便捷。本文主要研究基于面部情感特征、語音情感特征、姿態(tài)情感特征以及生理信號相關(guān)情感特征的情感識別系統(tǒng),具體包括:提取不同模態(tài)的情感特征、對提取的不同模態(tài)的情感特征進行融合以及最后的分類識別。論文的主要工作如下:(1)對數(shù)據(jù)庫中的樣本提取不同模態(tài)的特征,包括:使用二維Gabor濾波器提取面部表情樣本的Gabor特征;使用OPENSMILE對包含情感的語音樣本提取其綜合的語音情感特征(包括:振幅、基頻、共振峰等);使用Harris角點檢測姿態(tài)情感樣本中的興趣點進而提取其時空特征。(2)提出一種基于遺傳算法的特征層融合方法,并將該方法與基于主成分分析的特征層融合方法、基于核典型相關(guān)分析的特征層融合方法、基于核矩陣融合的特征層融合方法進行比較,實驗結(jié)果表明,論文提出的方法具有更好的融合效果。(3)將通過不同方法得到的融合特征輸入支持向量機(SVM)進行分類識別,實現(xiàn)多模態(tài)情感識別,得到多模態(tài)的情感識別結(jié)果,將多模態(tài)的情感識別結(jié)果與單一模態(tài)的情感識別結(jié)果進行比較,實驗結(jié)果表明,從識別結(jié)果的角度來看,使用適當(dāng)融合方法的多模態(tài)情感識別結(jié)果要比單模態(tài)情感識別結(jié)果有明顯提高。
[Abstract]:As an important branch of emotional computing, emotion recognition has broad application prospects in artificial intelligence, human-computer interaction and so on. Emotion recognition of different modes can complement each other, improve the accuracy of recognition system continuously, promote the production of higher quality and more harmonious human-computer interaction system, and make human life more intelligent and convenient. This paper mainly studies the emotion recognition system based on facial emotional feature, speech emotional feature, posture emotional feature and physiological signal related emotional feature. The emotion features of different modes are fused and finally classified. The main work of this paper is as follows: (1) extracting different modal features of the samples from the database, including: using two-dimensional Gabor filter to extract the Gabor features of facial expression samples; OPENSMILE is used to extract the speech samples containing emotion for their comprehensive speech emotional characteristics (including amplitude, fundamental frequency, amplitude, fundamental frequency). Resonance peak etc.; using Harris corner to detect interest points in attitude emotional samples and then extract its spatio-temporal features.) A feature layer fusion method based on genetic algorithm is proposed, and the method is combined with the feature layer fusion method based on principal component analysis (PCA). The feature layer fusion method based on kernel canonical correlation analysis is compared with the feature layer fusion method based on kernel matrix fusion. The experimental results show that, The method proposed in this paper has better fusion effect. It classifies and recognizes the fusion feature input support vector machine (SVM) obtained by different methods to achieve multi-modal emotion recognition and obtain multi-modal emotion recognition results. The result of multi-modal emotion recognition is compared with the result of single-modal emotion recognition. The experimental results show that, from the point of view of recognition result, The result of multi-modal emotion recognition using proper fusion method is better than that of single mode emotion recognition.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN912.34

【相似文獻】

相關(guān)期刊論文 前10條

1 葉樹亮;張晟;;基于多參數(shù)和特征層融合的化學(xué)品燃爆狀態(tài)辨識方法[J];傳感技術(shù)學(xué)報;2011年04期

2 劉敏;李曉東;王振海;;基于特征層融合的人臉識別新方法[J];計算機應(yīng)用;2009年10期

3 楊永明;林坤明;韓鳳玲;張祖瀧;;指紋與指靜脈的特征層動態(tài)加權(quán)融合識別[J];重慶大學(xué)學(xué)報;2012年09期

4 何琨;王國胤;楊勇;;基于選擇性集成的情感識別[J];重慶郵電大學(xué)學(xué)報(自然科學(xué)版);2007年04期

5 熊勰;劉光遠;溫萬惠;;基于智能算法的生理信號情感識別[J];計算機科學(xué);2011年03期

6 程靜;劉光遠;;學(xué)科交叉視角下的情感識別研究進展[J];計算機科學(xué);2012年05期

7 張金偉;劉曉平;;基于心理預(yù)警模型的微博情感識別研究[J];合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2013年11期

8 王蓓;王曉蘭;;基于表情和語音的多模態(tài)情感識別研究[J];信息化研究;2014年01期

9 溫萬惠;邱玉輝;劉光遠;程南璞;黃希庭;;情感生理反應(yīng)樣本庫的建立與數(shù)據(jù)相關(guān)性分析[J];中國科學(xué):信息科學(xué);2011年01期

10 溫萬惠;劉光遠;熊勰;;基于生理信號的二分類情感識別系統(tǒng)特征選擇模型和泛化性能分析[J];計算機科學(xué);2011年05期

相關(guān)會議論文 前10條

1 解迎剛;王志良;程寧;王國江;永井正武;;人臉與眼部檢測及其在情感識別中的應(yīng)用[A];第25屆中國控制會議論文集（下冊）[C];2006年

2 解迎剛;王志良;楊溢;邵彥娟;;基于改進蟻群算法的多模態(tài)情感識別研究[A];2011年中國智能自動化學(xué)術(shù)會議論文集（第一分冊）[C];2011年

3 王志強;熊子?xùn)|;傅向華;;基于螺旋模型的歌曲情感識別算法研究[A];第七屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【oral】[C];2011年

4 鮑軍榮;李文鋒;壽小云;嵇來春;;基于客觀化脈搏振動覺的恐懼情感識別研究[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會議論文集[C];2013年

5 楊廣映;楊善曉;;基于表面肌電信號的情感識別研究[A];第三屆中國智能計算大會論文集[C];2009年

6 張偉;謝湘;;基于HMM的音樂情感識別研究[A];第九屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2007年

7 戴明洋;楊大利;徐明星;張永超;陳勝;;面向真實情感識別的訓(xùn)練語音選擇研究[A];第十一屆全國人機語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

8 黃力行;辛樂;趙禮悅;陶建華;;自適應(yīng)權(quán)重的雙模態(tài)情感識別[A];第九屆全國人機語音通訊學(xué)術(shù)會議論文集[C];2007年

9 王愛東;谷珍;楊燕平;白鶴;;多媒體多模態(tài)教學(xué)在民辦高校大學(xué)英語教學(xué)中的適用性及效果研究[A];語言與文化研究（第十四輯）[C];2014年

10 張霄軍;;多模態(tài)語料庫:搶救瀕危語言的有效途徑[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

相關(guān)重要報紙文章 前3條

1 記者　邰舉;韓開發(fā)出腦電波情感識別技術(shù)[N];科技日報;2007年

2 黃力行邋陶建華;多模態(tài)情感識別參透人心[N];計算機世界;2007年

3 記者 劉垠;在分子水平上認識疾病[N];大眾科技報;2009年

相關(guān)博士學(xué)位論文 前10條

1 林奕琳;基于語音信號的情感識別研究[D];華南理工大學(xué);2006年

2 朱亞忱;基于特權(quán)信息的情感識別[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張石清;基于語音和人臉的情感識別研究[D];電子科技大學(xué);2012年

4 王新峰;機電系統(tǒng)BIT特征層降虛警技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

5 高靜;信息物理融合系統(tǒng)中基于多模態(tài)數(shù)據(jù)的事件監(jiān)測問題研究[D];哈爾濱工業(yè)大學(xué);2015年

6 聶為之;多模態(tài)媒體數(shù)據(jù)分析關(guān)鍵技術(shù)研究[D];天津大學(xué);2014年

7 劉鵬;慢性傷口光學(xué)仿體的多尺度多模態(tài)醫(yī)學(xué)影像技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2016年

8 柴瑞峰;小兒神經(jīng)重癥患者術(shù)后多模態(tài)監(jiān)測的臨床研究[D];新疆醫(yī)科大學(xué);2017年

9 苗迪;基于特征層與分數(shù)層的多模態(tài)生物特征融合[D];中國科學(xué)技術(shù)大學(xué);2017年

10 張征;英語課堂多模態(tài)讀寫能力實證研究[D];山東大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 賀奇;基于語音和圖像的多模態(tài)情感識別研究[D];哈爾濱工業(yè)大學(xué);2017年

2 劉森;相容粒度空間下的手指特征融合方法研究[D];中國民航大學(xué);2014年

3 李承程;基于深度學(xué)習(xí)的文本語音耦合情感識別方法研究[D];合肥工業(yè)大學(xué);2015年

4 沈成業(yè);基于腦電信號的情感識別[D];太原理工大學(xué);2017年

5 郭敏;基于腦電圖的誘發(fā)型情感識別及機制研究[D];華僑大學(xué);2017年

6 饒啟玉;基于上下文的維度情感識別方法研究[D];江蘇大學(xué);2017年

7 李宇馳;基于EEG腦網(wǎng)絡(luò)的情感分析與識別[D];太原理工大學(xué);2017年

8 楊敏;非線性特征用于心電信號的情感識別[D];西南大學(xué);2013年

9 劉俸汝;基于皮膚電情感識別的情感調(diào)節(jié)策略研究[D];西南大學(xué);2013年

10 荀立晨;基于心電信號的情感識別研究[D];天津理工大學(xué);2013年

，

本文編號：1855183