本文選題：多模態(tài)情感識別 + 自動編碼器�。� 參考：《江蘇大學(xué)》2017年碩士論文

【摘要】：情感狀態(tài)在人們?nèi)粘＝换ブ邪缪葜种匾慕巧?豐富的情感狀態(tài)有助于個體表達(dá)自己的思想,因此,對于情感分析的研究是十分重要的。視覺和語音是人類表達(dá)情感最直接和有效的方式,也是情感計算領(lǐng)域中的兩個重要信息模態(tài)。單一模態(tài)的情感識別在現(xiàn)實應(yīng)用中有時會存在缺陷,因此,對于多模態(tài)情感識別的研究變得越來越重要。多模態(tài)情感識別的難點一方面在于既要保留單個模態(tài)的原始特性,還要挖掘兩個模態(tài)互補(bǔ)的信息,最終獲得有利于情感識別的多模態(tài)共享情感特征。然而,在現(xiàn)實生活中,模態(tài)缺失也是一個普遍存在且棘手的問題。如何利用已有的模態(tài)信息重構(gòu)出缺失模態(tài)是另外一個研究難點�？紤]到這兩個難點,文中分別提出一種視覺語音多模態(tài)共享情感特征學(xué)習(xí)方法和一種視覺語音多模態(tài)遷移情感特征學(xué)習(xí)方法。文章的主要內(nèi)容和創(chuàng)新點如下:(1)提出基于局部稀疏可鑒別典型相關(guān)分析的多模態(tài)共享情感特征學(xué)習(xí)方法。主要目的是學(xué)習(xí)得到既包含單模態(tài)情感信息,又體現(xiàn)兩個模態(tài)互補(bǔ)特性的共享情感特征。該方法主要包括三個階段,第一階段是單模態(tài)高層情感特征學(xué)習(xí),首先對語音數(shù)據(jù)進(jìn)行預(yù)處理獲得語譜圖,并提取視頻序列的關(guān)鍵幀,之后利用稀疏自動編碼器分別提取視頻幀和語音的高層情感特征。第二階段是多模態(tài)共享情感特征學(xué)習(xí),將提取的視覺和語音的高層情感特征利用基于局部稀疏可鑒別的典型相關(guān)分析方法En-SLDCCA進(jìn)行特征融合獲得多模態(tài)共享情感特征。第三階段是SVM分類器訓(xùn)練,將多模態(tài)共享情感特征輸入SVM分類器中進(jìn)行情感識別。本文在Enterface’05的多模態(tài)情感數(shù)據(jù)庫上進(jìn)行實驗,多模態(tài)情感識別準(zhǔn)確率達(dá)到了80.1%。(2)提出基于視覺語音的多模態(tài)遷移情感特征學(xué)習(xí)方法。主要目的是解決多模態(tài)情感識別中的模態(tài)缺失問題。該方法主要包括四個階段,第一階段是單模態(tài)高層情感特征學(xué)習(xí),首先對語音和視頻進(jìn)行預(yù)處理,分別獲得語譜圖和視頻關(guān)鍵幀,接著利用稀疏自動編碼器分別提取視覺和語音的高層情感特征。第二階段是情感特征遷移學(xué)習(xí),主要分兩步完成,第一步是模態(tài)間遷移函數(shù)學(xué)習(xí),利用規(guī)范化的典型相關(guān)分析方法NCCA將視覺和語音在某層提取到的特征投影到一個共享空間中,之后進(jìn)行遷移函數(shù)的學(xué)習(xí)。第二步是缺失模態(tài)的情感特征重構(gòu),將已有模態(tài)作為輸入利用模態(tài)特征重構(gòu)方法學(xué)習(xí)得到缺失模態(tài)的重構(gòu)特征。第三階段是多模態(tài)共享情感特征學(xué)習(xí)。將原有模態(tài)的高層情感特征和缺失模態(tài)的重構(gòu)特征利用En-SLDCCA方法進(jìn)行特征融合,得到多模態(tài)共享情感特征。第三階段是SVM分類器訓(xùn)練,將共享情感特征輸入SVM分類器中進(jìn)行情感識別。在Enterface’05的多模態(tài)情感數(shù)據(jù)庫上的實驗結(jié)果也表明缺失模態(tài)的重構(gòu)特征基本還原了模態(tài)的原始特性。(3)設(shè)計并實現(xiàn)視覺語音多模態(tài)情感識別的原型系統(tǒng)。通過采用MATLAB和C++混合編程的方法實現(xiàn)視覺語音多模態(tài)情感識別的原型系統(tǒng)。其中,文中提出的基于局部稀疏可鑒別典型相關(guān)分析的多模態(tài)共享情感特征學(xué)習(xí)方法功能模塊和基于視覺語音的多模態(tài)遷移情感特征學(xué)習(xí)方法模塊都在該原型系統(tǒng)中得到實現(xiàn)。通過該原型系統(tǒng)的實現(xiàn)來驗證本文所提方法的可用性。
[Abstract]:This paper presents a multi - modal sharing emotion characteristic learning method based on multi - modal emotion recognition .

【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN912.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前8條

1 黃];賴茂生;;圖像情感特征的分類與提取[J];計算機(jī)應(yīng)用;2008年03期

2 陶富民;高軍;王騰蛟;周凱;;面向話題的新聞評論的情感特征選取[J];中文信息學(xué)報;2010年03期

3 黃];駱方;游yN;;圖像情感特征及其檢索應(yīng)用[J];情報科學(xué);2010年04期

4 李素科;蔣嚴(yán)冰;;基于情感特征聚類的半監(jiān)督情感分類[J];計算機(jī)研究與發(fā)展;2013年12期

5 周劍峰;陽愛民;周詠梅;王璇璇;;基于二元搭配詞的微博情感特征選擇[J];計算機(jī)工程;2014年06期

6 郭芳;;設(shè)計的自然形式——點、線、面[J];藝術(shù)科技;2013年05期

7 張素智;孫培鋒;;基于KSVM的網(wǎng)絡(luò)評論情感分類研究[J];鄭州輕工業(yè)學(xué)院學(xué)報(自然科學(xué)版);2011年03期

8 牛曉偉;;可調(diào)參數(shù)遺傳算法的情感特征選擇研究[J];計算機(jī)應(yīng)用與軟件;2011年02期

相關(guān)會議論文 前1條

1 陶富民;高軍;周凱;;面向話題的新聞評論的情感特征選取[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

相關(guān)碩士學(xué)位論文 前3條

1 付佳敏;視覺語音多模態(tài)共享和遷移情感特征學(xué)習(xí)方法研究[D];江蘇大學(xué);2017年

2 張云翼;基于情感語義特征的論文剽竊檢查優(yōu)化方法研究[D];復(fù)旦大學(xué);2012年

3 陸娜;中國傳統(tǒng)文化中的“尚黑”情結(jié)及其情感特征在現(xiàn)代設(shè)計中的應(yīng)用[D];西北師范大學(xué);2010年

，

本文編號：1760443