本文關(guān)鍵詞：基于特權(quán)信息的情感識(shí)別，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著科技的進(jìn)步和人們對(duì)人機(jī)交互中個(gè)性化交流需求的日益增多,情感識(shí)別作為影響交互質(zhì)量的重要因素成為相關(guān)研究領(lǐng)域的熱點(diǎn)之一,已經(jīng)取得了一定的研究進(jìn)展。在目前的研究中,情感識(shí)別通常被轉(zhuǎn)化為機(jī)器學(xué)習(xí)問(wèn)題進(jìn)行解決。傳統(tǒng)的機(jī)器學(xué)習(xí)方法多側(cè)重于特征提取和分類器設(shè)計(jì)。相比于經(jīng)典的有監(jiān)督學(xué)習(xí),基于特權(quán)信息的學(xué)習(xí)在訓(xùn)練階段,除了樣本特征和教師信號(hào),還提供額外的信息,稱為特權(quán)信息。特權(quán)信息,只在訓(xùn)練階段存在,在測(cè)試階段不存在�；谔貦�(quán)信息的學(xué)習(xí)的目標(biāo)為借助特權(quán)信息建立更好的分類器。在情感識(shí)別問(wèn)題中存在大量的特權(quán)信息,例如,在視頻情感標(biāo)注中,用戶的腦電(Electroencephalogram:EEG)特征可以作為特權(quán)信息：在基于腦電信號(hào)的情感識(shí)別中,情感刺激視頻和用戶的個(gè)性化信息均可以作為特權(quán)信息；在多表情單元的識(shí)別中,各識(shí)別任務(wù)在特征空間中的關(guān)系可以作為特權(quán)信息。因此,本文提出基于特權(quán)信息的情感識(shí)別研究,具體如下： (1)提出了融合用戶腦電信號(hào)和視頻內(nèi)容的情感視頻標(biāo)注方法。首先,從視頻片段中提取若干聽(tīng)覺(jué)和視覺(jué)特征,同時(shí)從腦電信號(hào)的每個(gè)通道中提取五種頻域特征。其次,使用統(tǒng)計(jì)分析的方法發(fā)掘情感標(biāo)簽與腦電和視頻特征之間的關(guān)系。再次,構(gòu)建三種貝葉斯網(wǎng)絡(luò),分別從特征層獨(dú)立融合,決策層融合以及特征層相關(guān)融合三個(gè)層面,結(jié)合視頻和腦電特征對(duì)視頻進(jìn)行情感標(biāo)注。為了驗(yàn)證方法的有效性,本文設(shè)計(jì)并實(shí)施了心理生理學(xué)實(shí)驗(yàn)并采集了實(shí)驗(yàn)數(shù)據(jù),包括誘發(fā)情感的視頻片段、用戶觀看視頻片段時(shí)的腦電響應(yīng)以及用戶在觀看每個(gè)視頻片段之后的自我情感評(píng)估。實(shí)驗(yàn)結(jié)果表明本文提出的融合方法較傳統(tǒng)的僅使用單模態(tài)特征(視頻或腦電特征)情感標(biāo)注方法在愉悅度-喚醒度空間有更好的識(shí)別效果。此外,實(shí)驗(yàn)結(jié)果還表明在腦電特征有助于減小低層視頻特征和高層用戶情感標(biāo)簽之間的語(yǔ)義鴻溝。 (2)以某一模態(tài)特征為特權(quán)信息的情感識(shí)別和視頻情感標(biāo)注方法。具體來(lái)說(shuō),既可以通過(guò)刺激視頻來(lái)輔助從腦電腦電信號(hào)中識(shí)別觀眾的情感,也可以通過(guò)腦電信號(hào)輔助基于視頻的情感標(biāo)注。首先,從腦電信號(hào)中提取頻域特征并從刺激視頻中提取視聽(tīng)特征。其次,通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。再次,通過(guò)典型相關(guān)分析(Canonical Correlation Analysis: CCA)同步構(gòu)建一個(gè)新的腦電特征空間和視頻特征空間。最后,采用支持向量機(jī)(Support Vector Machine:SVM)分別在腦電和視頻特征空間中訓(xùn)練識(shí)別模型。在基于腦電的情感識(shí)別中,僅使用腦電信號(hào)作為識(shí)別的輸入,并使用在腦電特征空間訓(xùn)練的SVM分類器；在視頻的情感標(biāo)注中,僅使用視頻內(nèi)容作為識(shí)別的輸入,并使用在視頻特征空間訓(xùn)練的SVM分類器。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行了基于腦電信號(hào)的情感識(shí)別實(shí)驗(yàn)和視頻情感標(biāo)注。實(shí)驗(yàn)結(jié)果表明,視頻內(nèi)容作為上下文信息可以改善從腦電信號(hào)中識(shí)別情感的準(zhǔn)確度；類似地,在訓(xùn)練過(guò)程中添加腦電信號(hào)同樣可以增強(qiáng)視頻情感標(biāo)注的性能。 (3)提出了采用被試和聚類歸屬作為特權(quán)信息的情感識(shí)別方法。首先,從腦電信號(hào)的每個(gè)通道中提取五種頻域特征并通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。其次,在訓(xùn)練階段使用兩種三節(jié)點(diǎn)貝葉斯網(wǎng)絡(luò)(Bayesian networks:BN)來(lái)捕獲情感標(biāo)簽、腦電特征以及被試或者聚類之間的聯(lián)合概率分布方程。最終,在測(cè)試過(guò)程中,僅使用腦電特征按照特權(quán)信息——被試獲聚類歸屬——進(jìn)行邊緣化處理,用以估計(jì)樣本的情感標(biāo)簽。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn),包括MAHNOB-HCI, DEAP和USTC-ERVS.實(shí)驗(yàn)結(jié)果表明,這種引入被試和聚類歸屬的方法,比為每個(gè)被試訓(xùn)練單獨(dú)的分類器,或在整個(gè)數(shù)據(jù)集上訓(xùn)練被試的無(wú)關(guān)的分類器有著更好的情感識(shí)別效果。 (4)提出了使用相關(guān)的識(shí)別任務(wù)作為特權(quán)信息的多表情單元識(shí)別的方法,即通過(guò)在特征和目的標(biāo)簽層面聯(lián)合構(gòu)建面部動(dòng)作單元間關(guān)系來(lái)進(jìn)行多表情單元識(shí)別。首先,將多任務(wù)特征學(xué)習(xí)方法用在分組之后的動(dòng)作單元識(shí)別任務(wù),并在每個(gè)組內(nèi)學(xué)習(xí)共享的特征。其次,使用貝葉斯網(wǎng)絡(luò),結(jié)合面部圖像的目的標(biāo)簽對(duì)動(dòng)作單元之間的共生和互斥關(guān)系進(jìn)行建模。最后,使用訓(xùn)練好的貝葉斯網(wǎng)絡(luò)對(duì)多任務(wù)學(xué)習(xí)的結(jié)果進(jìn)行校正,同時(shí)通過(guò)概率推理實(shí)現(xiàn)了多面部動(dòng)作單元的識(shí)別。在CK+(extended Cohn-Kanade)、 MMI和DISFA (Denver Intensity of Spontaneous Facial Actions)的結(jié)果驗(yàn)證了這種方法的有效性。
【關(guān)鍵詞】：情感識(shí)別 特權(quán)信息 典型相關(guān)分析 貝葉斯網(wǎng)絡(luò) 多任務(wù)學(xué)習(xí)
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP181
【目錄】：

• 摘要5-7
• ABSTRACT7-12
• 表格索引12-13
• 插圖索引13-15
• 主要符號(hào)對(duì)照表15-16
• 第一章 緒論16-26
• 1.1 研究背景及意義16-17
• 1.2 相關(guān)工作17-23
• 1.2.1 視頻情感標(biāo)注17-19
• 1.2.2 基于腦電信號(hào)的情感識(shí)別19-20
• 1.2.3 多AU識(shí)別20-21
• 1.2.4 基于特權(quán)信息的機(jī)器學(xué)習(xí)21-23
• 1.3 研究?jī)?nèi)容與主要貢獻(xiàn)23-24
• 1.4 論文組織結(jié)構(gòu)24-26
• 第二章 融合用戶腦電信號(hào)和視頻內(nèi)容的視頻情感標(biāo)注26-42
• 2.1 引言26-27
• 2.2 三種空間及其關(guān)系27-30
• 2.2.1 情感標(biāo)簽空間27
• 2.2.2 生理空間27-28
• 2.2.3 物理空間28-30
• 2.2.4 物理/生理空間與情感標(biāo)簽之間的關(guān)系30
• 2.2.5 物理空間與生理空間之間的關(guān)系30
• 2.3 采用貝葉斯網(wǎng)絡(luò)進(jìn)行視頻情感標(biāo)注30-33
• 2.3.1 特征層獨(dú)立融合31
• 2.3.2 決策層融合31-33
• 2.3.3 特征層相關(guān)融合33
• 2.4 實(shí)驗(yàn)及分析33-40
• 2.4.1 心理生理學(xué)實(shí)驗(yàn)和數(shù)據(jù)采集33-35
• 2.4.2 實(shí)驗(yàn)結(jié)果和分析35-38
• 2.4.3 情感標(biāo)注實(shí)驗(yàn)及結(jié)果38-40
• 2.5 本章小結(jié)40-42
• 第三章 基于特權(quán)信息學(xué)習(xí)的情感識(shí)別和視頻情感標(biāo)注42-58
• 3.1 引言42-43
• 3.2 研究方法43-46
• 3.2.1 特征提取44
• 3.2.2 特征選擇44
• 3.2.3 聯(lián)合構(gòu)建新的腦電和視頻特征空間44-46
• 3.2.4 情感識(shí)別使用的分類器46
• 3.3 實(shí)驗(yàn)及分析46-55
• 3.3.1 實(shí)驗(yàn)條件46-47
• 3.3.2 特征選擇的實(shí)驗(yàn)結(jié)果47-50
• 3.3.3 情感識(shí)別的實(shí)驗(yàn)結(jié)果50-51
• 3.3.4 視頻情感標(biāo)注的實(shí)驗(yàn)結(jié)果51-55
• 3.3.5 與相關(guān)工作的比較55
• 3.4 本章小結(jié)55-58
• 第四章 基于個(gè)性化特權(quán)信息的情感識(shí)別58-72
• 4.1 引言58
• 4.2 識(shí)別方法58-61
• 4.2.1 特征提取59
• 4.2.2 特征選擇59-60
• 4.2.3 使用特權(quán)信息進(jìn)行情感識(shí)別60-61
• 4.3 實(shí)驗(yàn)與分析61-69
• 4.3.1 實(shí)驗(yàn)條件61-62
• 4.3.2 被試編號(hào)作為特權(quán)信息62-65
• 4.3.3 被試分組作為特權(quán)信息的情感識(shí)別實(shí)驗(yàn)65-68
• 4.3.4 與相關(guān)工作的比較68-69
• 4.4 各情感識(shí)別方法的比較69-70
• 4.5 本章小結(jié)70-72
• 第五章 基于多任務(wù)學(xué)習(xí)和語(yǔ)義關(guān)系建模的多AU識(shí)別72-92
• 5.1 引言72
• 5.2 AU識(shí)別方法72-76
• 5.2.1 特征提取73
• 5.2.2 基于多任務(wù)特征學(xué)習(xí)的多AU識(shí)別73-75
• 5.2.3 使用貝葉斯網(wǎng)絡(luò)從標(biāo)簽中進(jìn)行AU關(guān)系建模75-76
• 5.3 實(shí)驗(yàn)結(jié)果及分析76-89
• 5.3.1 實(shí)驗(yàn)條件76-78
• 5.3.2 基于實(shí)例的實(shí)驗(yàn)結(jié)果及分析78-86
• 5.3.3 基于標(biāo)簽的實(shí)驗(yàn)結(jié)果及分析86
• 5.3.4 與相關(guān)工作的比較86-87
• 5.3.5 跨數(shù)據(jù)庫(kù)實(shí)驗(yàn)87-89
• 5.4 本章小結(jié)89-92
• 第六章 總結(jié)與展望92-96
• 6.1 視頻混合標(biāo)注：融合腦電信號(hào)和視頻內(nèi)容92-93
• 6.1.1 研究工作總結(jié)92
• 6.1.2 進(jìn)一步研究展望92-93
• 6.2 模態(tài)特征作為特權(quán)信息：腦電信號(hào)和視頻內(nèi)容互為特權(quán)信息93
• 6.2.1 研究工作總結(jié)93
• 6.2.2 進(jìn)一步研究展望93
• 6.3 被試或分組作為特權(quán)信息：基于個(gè)性化特權(quán)信息的情感識(shí)別93
• 6.3.1 研究工作總結(jié)93
• 6.3.2 進(jìn)一步研究展望93
• 6.4 多任務(wù)作為特權(quán)信息：多AU識(shí)別93-96
• 6.4.1 研究工作總結(jié)93-94
• 6.4.2 進(jìn)一步研究展望94-96
• 參考文獻(xiàn)96-104
• 附錄A 情感刺激視頻列表104-108
• 致謝108-110
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果110-112
• 作者簡(jiǎn)歷112

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 余伶俐;蔡自興;陳明義;;語(yǔ)音信號(hào)的情感特征分析與識(shí)別研究綜述[J];電路與系統(tǒng)學(xué)報(bào);2007年04期

2 蘇逸飛;張永魁;;用于情緒識(shí)別的無(wú)線生理信號(hào)采集傳輸系統(tǒng)[J];電氣電子教學(xué)學(xué)報(bào);2009年05期

3 王東霞;劉秋菊;劉書(shū)倫;;一種l_(2,1)范數(shù)最小化問(wèn)題的算法研究[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

4 王蓓;王曉蘭;;基于表情和語(yǔ)音的多模態(tài)情感識(shí)別研究[J];信息化研究;2014年01期

5 徐新洲;黃程韋;金峗;吳塵;趙力;;基于半監(jiān)督判別分析的語(yǔ)音情感識(shí)別(英文)[J];Journal of Southeast University(English Edition);2014年01期

6 劉永春;宋弘;;基于隨機(jī)森林的乳腺腫瘤診斷研究[J];電視技術(shù);2014年15期

7 翁子林;;一種音頻情感區(qū)間劃分方法[J];電腦知識(shí)與技術(shù);2014年26期

8 操雅琴;郭伏;屈慶星;;基于多模式測(cè)量的網(wǎng)站用戶行為意圖預(yù)測(cè)模型[J];東北大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年11期

9 李春曦;林卿;葉學(xué)民;;基于復(fù)雜度的軸流風(fēng)機(jī)動(dòng)葉偏移時(shí)聲壓信號(hào)的表征[J];動(dòng)力工程學(xué)報(bào);2015年01期

10 陳志華;蘇雅;;視覺(jué)刺激情感變化β波同步分析[J];大連交通大學(xué)學(xué)報(bào);2015年04期

  本文關(guān)鍵詞：基于特權(quán)信息的情感識(shí)別，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：367326