【摘要】：情感計(jì)算是為了賦予計(jì)算機(jī)識別、理解、表達(dá)和適應(yīng)人類情感的能力,以此實(shí)現(xiàn)高效、親切的人機(jī)交互。人類情感有著表情、語音、生理信號等多種載體,進(jìn)行多種模態(tài)的情感識別研究可以促進(jìn)情感計(jì)算的發(fā)展。本文從老年人的多模態(tài)情感庫的建立、語音情感特征提取方法、人臉表情特征提取方法以及情感識別結(jié)果等方面展開研究。其主要研究工作及成果總結(jié)如下:1.針對目前老年人情感領(lǐng)域研究的缺乏以及情感數(shù)據(jù)庫模態(tài)單一的現(xiàn)狀,本文在名為《空巢姥爺》的電視連續(xù)劇上構(gòu)建了視頻情感數(shù)據(jù)庫、語音情感語料庫和人臉表情圖像庫,并闡述了三種情感庫的構(gòu)建方法和過程。實(shí)驗(yàn)結(jié)果表明,多模態(tài)情感數(shù)據(jù)庫的構(gòu)建是合理的和有效的。2.針對常用的語音特征的情感識別率不高的問題,本文提出了六層小波包系數(shù)模型的老年人的語音特征提取及情感識別方法。分別提取6層小波包系數(shù)特征(Wavelet Packet Coefficients,WPC)、動(dòng)態(tài)特征(一階差分和二階差分)以及全局特征(最大值、最小值、平均值、中值和方差)共計(jì)5760個(gè)特征參數(shù)。采用主成分分析方法進(jìn)行特征降維,并選擇支持向量機(jī)作為分類器。通過與梅爾倒譜系數(shù)(Mel-Frequency Cepstral Coefficients,MFCC)和傅里葉系數(shù)(Fourier parameter,FP)比較。實(shí)驗(yàn)結(jié)果表明,WPC特征模型的語音情感識別率相對于MFCC和FP是更高的,WPC+MFCC特征集也是融合后的特征集里識別率最高的。說明本文提出的方法是有效的。3.針對老年人的人臉表情識別研究不多的情況,本文提出了二維Gabor濾波器模型的老年人的人臉表情特征提取及情感識別方法。本文在空巢姥爺人臉圖像庫的基礎(chǔ)上,使用二維Gabor濾波器精確地提取人臉圖像的局部特征。本文使用了具有5個(gè)不同尺度和8個(gè)不同方向的40個(gè)濾波器與圖像進(jìn)行卷積運(yùn)算,得到圖像在不同位置、尺度和方向上的特征。由于提取的圖像特征維度較高,需要進(jìn)行特征降維,本文提出的降維方法是:在濾波之前,先縮減圖像尺寸和減少像素個(gè)數(shù)。然后在濾波過程中,強(qiáng)制抽取部分特征。此方法大大降低了特征維度,而且通過后期實(shí)驗(yàn)證明,并沒有丟失關(guān)鍵的表情信息,表情依然可以得到較好的分類。最后,本文采用的分類器是多決策神經(jīng)網(wǎng)絡(luò)的方法,類似于Adaboost分類的多專家決策思想,并試圖讓分類器輸出多個(gè)決策。實(shí)驗(yàn)結(jié)果表明,本文的方法對于老年人的面部表情識別是有效的,擁有一定的研究價(jià)值。
【圖文】：

圖 2- 1 Russell 二維空間情感描述模型 2-1 所示為 Russell 二維空間情感描述模型。水平軸為愉悅度軸，表示的正負(fù)面程度；原點(diǎn)表示中心情感，縱軸為強(qiáng)度軸，表示情感狀態(tài)的激如圖所示情感將映射在二維空間中，形成高興、輕松、厭煩、驚恐四種由這四種形成圓環(huán)，，因此，該二維空間模型也成為環(huán)形情感模型。用的情感類型主要是以連續(xù)和離散兩種方式進(jìn)行描述的。連續(xù)的方式描符合真實(shí)情感之間的變化規(guī)律,不過離散的情感類型從情感識別的角方便于分類算法的研究。根據(jù) Ekman 等人提出的六種基本的情緒或其子慮到情感數(shù)據(jù)庫的可用性。本文提出所要建立的情感視頻庫和語音情使用生氣（Angry）、憂慮（Anxiety）、無聊（Boredom）、厭惡（DisgusHappy）、傷心（Sad）以及平靜（Neutral）即七種基本的情感類型，情庫的七種情感類型只選擇了上述情感語音庫中的生氣（Angry）、厭ust）、高興（Happy）、中性（Neutral）和傷心（Sad）。另外兩種情用了驚訝（Surprise）和害怕（Fear），這樣可以擴(kuò)大情感類型的研究

安徽建筑大學(xué)碩士學(xué)位論文 第二章 多模態(tài)情感庫的建立2.3 語音情感語料庫2.3.1 語音信號的獲取1）語音段截取空巢姥爺情感語料庫的語料來源與上面視頻庫一樣，均來自《空巢姥爺》這部電視劇，情感類型也是一致的。由于影視作品是以視頻的形式呈現(xiàn)，語料的收集過程主要是先通過多媒體格式轉(zhuǎn)化軟件格式工廠將視頻文件轉(zhuǎn)化為音頻文件，將 avi 格式文件轉(zhuǎn)化為 wav 格式文件，然后將轉(zhuǎn)換好格式的音頻數(shù)據(jù)導(dǎo)入到 CoolEdit 進(jìn)行截取[44]。如圖 2-2 所示。
【學(xué)位授予單位】：安徽建筑大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TN912.34;TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆靜杰;鄭文明;辛明海;邱偉;;表情和姿態(tài)的雙模態(tài)情感識別[J];中國圖象圖形學(xué)報(bào);2013年09期

2 張少龍;鞏知樂;廖海斌;;融合LLE和ISOMAP的非線性降維方法[J];計(jì)算機(jī)應(yīng)用研究;2014年01期

3 周曉鳳;肖南峰;文翰;;基于情感特征分類的語音情感識別研究[J];計(jì)算機(jī)應(yīng)用研究;2012年10期

4 李杰;周萍;;語音情感識別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

5 徐峻嶺;周毓明;陳林;徐寶文;;基于互信息的無監(jiān)督特征選擇[J];計(jì)算機(jī)研究與發(fā)展;2012年02期

6 梁勝杰;張志華;崔立林;鐘強(qiáng)暉;;基于主成分分析與核獨(dú)立成分分析的降維方法[J];系統(tǒng)工程與電子技術(shù);2011年09期

7 何昊青;張雪英;;基于譜減法的語音增強(qiáng)方法及其在ARM中的應(yīng)用[J];電腦開發(fā)與應(yīng)用;2011年06期

8 黃程韋;金峗;王青云;趙力;鄒采榮;;基于語音信號與心電信號的多模態(tài)情感識別[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

9 周曉彥;鄭文明;趙力;鄒采榮;;基于偏最小二乘回歸的人臉身份和表情同步識別方法[J];中國圖象圖形學(xué)報(bào);2009年05期

10 劉培;王建英;尹忠科;;圖像光照補(bǔ)償方法的研究[J];系統(tǒng)工程與電子技術(shù);2008年07期

相關(guān)博士學(xué)位論文 前3條

1 王坤俠;語音情感識別方法研究[D];合肥工業(yè)大學(xué);2015年

2 申麗然;Hilbert-Huang變換及其在含噪語音信號處理中的應(yīng)用研究[D];哈爾濱工程大學(xué);2006年

3 何良華;人臉表情識別中若干關(guān)鍵技術(shù)的研究[D];東南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前6條

1 何成;基于多生理信號的情緒識別方法研究[D];浙江大學(xué);2016年

2 湯鵬;基于LDA的特征提取及其在人臉識別中的應(yīng)用[D];河北大學(xué);2015年

3 鐘林鵬;說話人識別系統(tǒng)中的語音信號處理技術(shù)研究[D];電子科技大學(xué);2013年

4 宣守盼;多模態(tài)情感數(shù)據(jù)庫的研究與建立[D];華東理工大學(xué);2013年

5 陰杰敏;基于人耳聽覺特性的譜能量特征及其在情感語音識別中的應(yīng)用[D];太原理工大學(xué);2012年

6 謝環(huán);基于特征選擇與融合的語音情感識別研究與實(shí)現(xiàn)[D];南京航空航天大學(xué);2008年

本文編號：2663891