本文選題：情感識(shí)別 + 表情識(shí)別�。� 參考：《現(xiàn)代電子技術(shù)》2017年23期

【摘要】：情感識(shí)別技術(shù)是智能人機(jī)交互的重要基礎(chǔ),它涉及計(jì)算機(jī)科學(xué)、語言學(xué)、心理學(xué)等多個(gè)研究領(lǐng)域,是模式識(shí)別和圖像處理領(lǐng)域的研究熱點(diǎn)。鑒于此,基于Boosting框架提出兩種有效的視覺語音多模態(tài)融合情感識(shí)別方法:第一種方法將耦合HMM(coupled HMM)作為音頻流和視頻流的模型層融合技術(shù),使用改進(jìn)的期望最大化算法對其進(jìn)行訓(xùn)練,著重學(xué)習(xí)難于識(shí)別的(即含有更多信息的)樣本,并將Ada Boost框架應(yīng)用于耦合HMM的訓(xùn)練過程,從而得到Ada Boost-CHMM總體分類器;第二種方法構(gòu)建了多層Boosted HMM(MBHMM)分類器,將臉部表情、肩部運(yùn)動(dòng)和語音三種模態(tài)的數(shù)據(jù)流分別應(yīng)用于分類器的某一層,當(dāng)前層的總體分類器在訓(xùn)練時(shí)會(huì)聚焦于前一層總體分類器難于識(shí)別的樣本,充分利用各模態(tài)特征數(shù)據(jù)間的互補(bǔ)特性。實(shí)驗(yàn)結(jié)果驗(yàn)證了兩種方法的有效性。
[Abstract]:Emotion recognition is an important foundation of intelligent human-computer interaction. It involves many research fields such as computer science, linguistics, psychology and so on. It is a hot topic in the field of pattern recognition and image processing. In view of this, two effective emotion recognition methods for visual speech multimodal fusion based on Boosting framework are proposed. The first method uses coupled HMM(coupled HMMas as model layer fusion technology for audio and video streams. The improved expectation maximization algorithm is used to train it, which is difficult to identify (that is, with more information). The Ada Boost framework is applied to the training process of coupled HMM, and the Ada Boost-CHMM classifier is obtained. The second method is to construct a multilayer Boosted hmm classifier. The data streams of facial expression, shoulder motion and speech are applied to one layer of the classifier, respectively. The current overall classifier will focus on the samples which are difficult to identify in the previous layer, and make full use of the complementary characteristics among the modal feature data. The experimental results show the effectiveness of the two methods.
【作者單位】： 成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院;
【基金】：四川省軟件工程專業(yè)卓越工程師質(zhì)量工程項(xiàng)目支持(11100-14Z00327)
【分類號(hào)】：TN912.34

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊勰;劉光遠(yuǎn);溫萬惠;;基于智能算法的生理信號(hào)情感識(shí)別[J];計(jì)算機(jī)科學(xué);2011年03期

2 王蓓;王曉蘭;;基于表情和語音的多模態(tài)情感識(shí)別研究[J];信息化研究;2014年01期

3 王海寧;孫守遷;吳劍鋒;;基于混合智能優(yōu)化算法的生理信號(hào)情感識(shí)別[J];電信科學(xué);2010年09期

4 王茜;;音樂信息中情感特征的提取和研究[J];福建電腦;2008年10期

5 姜曉慶;田嵐;崔國輝;;多語種情感語音的韻律特征分析和情感識(shí)別研究[J];聲學(xué)學(xué)報(bào);2006年03期

6 王玉晶;莫建麟;;基于TS特征選擇的生理情感狀態(tài)分類[J];齊齊哈爾大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年03期

7 林景棟;王唯;廖孝勇;;音樂粗情感域中的軟切割及分類方法[J];計(jì)算機(jī)應(yīng)用;2013年08期

8 喬冠楠;胡劍凌;劉鵬;;聲學(xué)參數(shù)和聽覺參數(shù)結(jié)合的語音情感交叉識(shí)別[J];電聲技術(shù);2009年06期

9 李陽;田彥濤;陳萬忠;;基于半監(jiān)督boosting表面肌電信號(hào)多類模式識(shí)別[J];吉林大學(xué)學(xué)報(bào)(工學(xué)版);2013年05期

10 張永皋;馬青玉;孫青;;基于MFCC和CHMM技術(shù)的語音情感分析及其在教育中的應(yīng)用研究[J];南京師范大學(xué)學(xué)報(bào)(工程技術(shù)版);2009年02期

相關(guān)會(huì)議論文 前2條

1 戴明洋;楊大利;徐明星;張永超;陳勝;;面向真實(shí)情感識(shí)別的訓(xùn)練語音選擇研究[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

2 崔玉路;蔣冬梅;張曉靜;謝磊;付中華;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的聽視覺情感識(shí)別[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

相關(guān)博士學(xué)位論文 前1條

1 林奕琳;基于語音信號(hào)的情感識(shí)別研究[D];華南理工大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 李承程;基于深度學(xué)習(xí)的文本語音耦合情感識(shí)別方法研究[D];合肥工業(yè)大學(xué);2015年

2 沈成業(yè);基于腦電信號(hào)的情感識(shí)別[D];太原理工大學(xué);2017年

3 郭敏;基于腦電圖的誘發(fā)型情感識(shí)別及機(jī)制研究[D];華僑大學(xué);2017年

4 楊敏;非線性特征用于心電信號(hào)的情感識(shí)別[D];西南大學(xué);2013年

5 劉俸汝;基于皮膚電情感識(shí)別的情感調(diào)節(jié)策略研究[D];西南大學(xué);2013年

6 荀立晨;基于心電信號(hào)的情感識(shí)別研究[D];天津理工大學(xué);2013年

7 馬亮軍;基于語音的模糊案例推理情感識(shí)別算法研究[D];華東理工大學(xué);2013年

8 劉碧英;非線性特征組合用于皮膚電情感識(shí)別的研究[D];西南大學(xué);2013年

9 周鈺婷;皮膚電信號(hào)的情感特征提取及分類識(shí)別研究[D];西南大學(xué);2012年

10 曹軍;基于量子粒子群算法的心電信號(hào)情感狀態(tài)識(shí)別研究[D];西南大學(xué);2012年

，

本文編號(hào)：1810775