【摘要】：在人們的日常交互中,情感往往扮演著非常重要的角色,它不僅豐富了表達(dá)者的表達(dá)方式,而且有助于人們理解對(duì)方的狀態(tài)和行為。因此,對(duì)情感的分析和理解已經(jīng)成為了一個(gè)重要的研究課題。在情感的描述方面,維度情感描述模型由于將不同的情感狀態(tài)表示為由多個(gè)維度組成的情感空間中的不同的點(diǎn),因此可以描述復(fù)雜、微妙且連續(xù)的情感狀態(tài)�，F(xiàn)階段,維度情感識(shí)別已經(jīng)受到了越來(lái)越多研究者的關(guān)注。在目前的維度情感識(shí)別研究中,用于對(duì)情感進(jìn)行建模和預(yù)測(cè)的機(jī)器學(xué)習(xí)方法主要是分類(lèi)和回歸。然而,維度情感的標(biāo)注通常是在一定范圍內(nèi)的連續(xù)的實(shí)數(shù)值,擁有有序?qū)傩?分類(lèi)和回歸方法不能有效地利用該性質(zhì)。因此,為了恰當(dāng)?shù)乩镁S度情感標(biāo)簽的有序?qū)傩?提升維度情感識(shí)別表現(xiàn),本文研究基于排序的維度情感識(shí)別方法,具體的研究?jī)?nèi)容如下:1)提出基于單樣本有序回歸的維度情感識(shí)別方法。該方法將情感等級(jí)預(yù)測(cè)問(wèn)題轉(zhuǎn)化成一系列二值比較問(wèn)題,基于此思想首次構(gòu)建了一個(gè)在Arousal-Valence維度情感空間的情感等級(jí)排序框架。在該框架中,首先將連續(xù)的維度情感標(biāo)簽離散化,形成數(shù)目有限的情感等級(jí)值。然后,訓(xùn)練一系列基本誤差敏感二分類(lèi)器,每一個(gè)二分類(lèi)器用于確定給定樣本的情感等級(jí)與該二分類(lèi)器代表的情感等級(jí)的大小關(guān)系。所有二分類(lèi)器訓(xùn)練完成后,在測(cè)試階段,給定的測(cè)試樣本被依次送到每個(gè)二分類(lèi)器中進(jìn)行分類(lèi),對(duì)所有二分類(lèi)器輸出結(jié)果進(jìn)行聚合,最終得到測(cè)試樣本的情感等級(jí)預(yù)測(cè)結(jié)果。在AVEC 2015標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)和SEMAINE子集數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果證明了該方法在平均絕對(duì)值誤差和累計(jì)得分兩種評(píng)價(jià)指標(biāo)下優(yōu)于傳統(tǒng)和基于深度學(xué)習(xí)的分類(lèi)和回歸方法。2)提出基于樣本對(duì)排序和深度學(xué)習(xí)的維度情感識(shí)別方法。該方法直接利用有序樣本對(duì)中包含的相對(duì)順序關(guān)系并結(jié)合深度學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力來(lái)學(xué)習(xí)得到一個(gè)表現(xiàn)良好的情感排序模型。在該方法中,首先提出并使用一種針對(duì)連續(xù)維度情感標(biāo)簽進(jìn)行有序樣本對(duì)選取的方法,產(chǎn)生數(shù)量可控的樣本對(duì)訓(xùn)練集合。然后,構(gòu)建基于siamese網(wǎng)絡(luò)的情感排序模型。該模型有兩個(gè)權(quán)重共享的深度卷積神經(jīng)網(wǎng)絡(luò),完成從輸入到情感得分的轉(zhuǎn)換。在訓(xùn)練時(shí),樣本對(duì)中的兩個(gè)樣本分別輸入到兩個(gè)網(wǎng)絡(luò)分支中,得到對(duì)應(yīng)的情感得分,根據(jù)情感得分的大小關(guān)系和樣本對(duì)標(biāo)簽計(jì)算排序誤差函數(shù)值,然后通過(guò)后向傳播算法優(yōu)化該排序模型。在測(cè)試階段,將測(cè)試樣本集依次輸入到該模型的一個(gè)分支中,得到每個(gè)樣本對(duì)應(yīng)的情感得分,根據(jù)該情感得分值對(duì)測(cè)試樣本集進(jìn)行排序。在AVEC 2015標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)和SEMAINE子集數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明該方法在情感排序任務(wù)上優(yōu)于傳統(tǒng)的樣本對(duì)排序及回歸方法和基于深度學(xué)習(xí)的回歸方法。3)設(shè)計(jì)并實(shí)現(xiàn)基于排序的維度情感識(shí)別原型系統(tǒng)。采用Matlab和C++混合編程技術(shù)實(shí)現(xiàn)了基于排序的維度情感識(shí)別原型系統(tǒng)。該系統(tǒng)主要包含基于單樣本有序回歸的維度情感識(shí)別模塊和基于樣本對(duì)排序和深度學(xué)習(xí)的維度情感排序模塊。通過(guò)原型系統(tǒng)的實(shí)現(xiàn)來(lái)證明本論文中所提方法的可用性和有效性。
【圖文】：

和防止訓(xùn)練過(guò)程中梯度消失和梯度爆炸的批次歸一zation, BN）[58]。另外還有大量研究表明，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)加往也會(huì)提升[59][60][61]。amese 網(wǎng)絡(luò)mese 網(wǎng)絡(luò)適用于解決度量樣本間相似性的問(wèn)題，它含有兩個(gè)，每個(gè)網(wǎng)絡(luò)分支通常是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。Siamese 網(wǎng)絡(luò)接輸入，，將樣本對(duì)包含的兩個(gè)樣本分別送到兩個(gè)網(wǎng)絡(luò)分支中，非線性轉(zhuǎn)換，樣本從原始數(shù)據(jù)集的空間分布被映射轉(zhuǎn)換到一量的空間分布中，然后在轉(zhuǎn)換后的空間中計(jì)算兩個(gè)樣本之間兩個(gè)樣本的相似性大小，即二者是否屬于同一類(lèi)。Siamese圖所示：

圖 4.1 基于樣本對(duì)排序和 siamese 網(wǎng)絡(luò)的維度情感排序模型示意圖假設(shè)選取的樣本對(duì)集合為 ， = { = ( , ; )| = 1,2, … , , }，其中一個(gè)樣本對(duì) 中包含了兩個(gè)人臉圖片樣本 和 和指示兩感標(biāo)簽間大小關(guān)系的樣本對(duì)標(biāo)簽 。當(dāng) = 1時(shí)，表示 > ， 被， 則被稱(chēng)作負(fù)例；當(dāng) = 1時(shí)，表示 < ，此時(shí) 被稱(chēng)作負(fù)例稱(chēng)作正例。M 表示選取的總樣本對(duì)數(shù)，N 表示從一個(gè)標(biāo)簽區(qū)間選取的在訓(xùn)練時(shí)，一個(gè)樣本對(duì)中的兩張人臉圖片 和 分別輸入到網(wǎng)絡(luò)的兩，每個(gè)分支都是一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，包含堆疊的卷積層、池化層以層，可以從原始圖片自動(dòng)學(xué)習(xí)并提取出有用的特征。兩個(gè)分支在網(wǎng)絡(luò)結(jié)
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP18;O223

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡冬妮;王武軍;王青;;基于知網(wǎng)數(shù)據(jù)的情感識(shí)別國(guó)內(nèi)研究情況綜述[J];網(wǎng)絡(luò)新媒體技術(shù);2018年06期

2 韓志艷;王健;;基于模糊核聚類(lèi)的多模式情感識(shí)別算法研究[J];電子設(shè)計(jì)工程;2016年20期

3 陳曉鷗;楊德順;;音樂(lè)情感識(shí)別研究進(jìn)展[J];復(fù)旦學(xué)報(bào)(自然科學(xué)版);2017年02期

4 潘瑩;;情感識(shí)別綜述[J];電腦知識(shí)與技術(shù);2018年08期

5 李超;趙文萍;趙子平;;多視角判別分析的情感識(shí)別[J];信號(hào)處理;2018年08期

6 張力行;葉寧;黃海平;王汝傳;;基于皮膚電信號(hào)與文本信息的雙模態(tài)情感識(shí)別系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2018年11期

7 吳琨;王漢友;;情感化設(shè)計(jì)與品牌情感識(shí)別[J];時(shí)代人物;2008年11期

8 ;全球首個(gè)具有情感識(shí)別功能的家用機(jī)器人[J];傳感器世界;2014年06期

9 王曉華;侯登永;胡敏;任福繼;;復(fù)合時(shí)空特征的雙模態(tài)情感識(shí)別[J];中國(guó)圖象圖形學(xué)報(bào);2017年01期

10 魏華珍;趙姝;陳潔;劉峰;;特征組合的中文音樂(lè)情感識(shí)別研究[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年06期

相關(guān)會(huì)議論文 前10條

1 毛峽;;從科學(xué)中感知美麗[A];2015年中國(guó)自動(dòng)化大會(huì)摘要集[C];2015年

2 楊廣映;楊善曉;;基于表面肌電信號(hào)的情感識(shí)別研究[A];第三屆中國(guó)智能計(jì)算大會(huì)論文集[C];2009年

3 王志強(qiáng);熊子?xùn)|;傅向華;;基于螺旋模型的歌曲情感識(shí)別算法研究[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011)論文集【oral】[C];2011年

4 張偉;謝湘;;基于HMM的音樂(lè)情感識(shí)別研究[A];第九屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

5 黃力行;辛樂(lè);趙禮悅;陶建華;;自適應(yīng)權(quán)重的雙模態(tài)情感識(shí)別[A];第九屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

6 錢(qián)金法;趙力;;穿戴式生理參數(shù)測(cè)量?jī)x研究及在兒童情感識(shí)別中的應(yīng)用[A];2006’和諧開(kāi)發(fā)中國(guó)西部聲學(xué)學(xué)術(shù)交流會(huì)論文集[C];2006年

7 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫(kù)語(yǔ)音情感識(shí)別[A];第十三屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

8 陳方方;孫耀挺;張龍;汪凱;;大學(xué)生自閉特質(zhì)與情緒感知的關(guān)系[A];華東六省一市第二十三次神經(jīng)病學(xué)學(xué)術(shù)會(huì)議暨2016年浙江省神經(jīng)病學(xué)學(xué)術(shù)年會(huì)論文匯編[C];2016年

9 張慶;盧家楣;;優(yōu)秀教師的情感識(shí)別能力的研究[A];第十七屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2014年

10 薛競(jìng)騰;趙力;;語(yǔ)音信號(hào)中的情感特征識(shí)別[A];2007’促進(jìn)西部發(fā)展聲學(xué)學(xué)術(shù)交流會(huì)論文集[C];2007年

相關(guān)重要報(bào)紙文章 前5條

1 品牌策劃人 林友清;品牌視覺(jué)是心智的入場(chǎng)券[N];華夏酒報(bào);2017年

2 劉國(guó)信;人工智能成電視行業(yè)競(jìng)爭(zhēng)新“賽道”[N];人民郵電;2017年

3 記者　邰舉;韓開(kāi)發(fā)出腦電波情感識(shí)別技術(shù)[N];科技日?qǐng)?bào);2007年

4 黃力行邋陶建華;多模態(tài)情感識(shí)別參透人心[N];計(jì)算機(jī)世界;2007年

5 中國(guó)工業(yè)報(bào)記者 曹雅麗;辛國(guó)斌：加強(qiáng)國(guó)際合作 推動(dòng)機(jī)器人產(chǎn)業(yè)高質(zhì)量發(fā)展[N];中國(guó)工業(yè)報(bào);2018年

相關(guān)博士學(xué)位論文 前9條

1 李超;多模態(tài)生理信號(hào)情感識(shí)別研究[D];天津大學(xué);2017年

2 林奕琳;基于語(yǔ)音信號(hào)的情感識(shí)別研究[D];華南理工大學(xué);2006年

3 程靜;基本情感生理信號(hào)的非線性特征提取研究[D];西南大學(xué);2015年

4 劉英杰;網(wǎng)絡(luò)輿情的信息情感維度空間構(gòu)建和信息情感元識(shí)別研究[D];吉林大學(xué);2017年

5 朱亞忱;基于特權(quán)信息的情感識(shí)別[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

6 王金偉;基于表情時(shí)空特征的認(rèn)知情感狀態(tài)識(shí)別研究[D];天津大學(xué);2014年

7 張石清;基于語(yǔ)音和人臉的情感識(shí)別研究[D];電子科技大學(xué);2012年

8 韓文靜;語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

9 劉智;課程評(píng)論的情感傾向識(shí)別與話題挖掘技術(shù)研究[D];華中師范大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 蘇創(chuàng)宏;語(yǔ)音和表情圖像特征融合的情感識(shí)別方法研究[D];暨南大學(xué);2018年

2 許國(guó)朋;基于排序的維度情感識(shí)別方法研究[D];江蘇大學(xué);2018年

3 路婷婷;基于語(yǔ)音和人臉表情的多模態(tài)情感識(shí)別算法研究[D];西北大學(xué);2018年

4 朱宗寶;面向老年人語(yǔ)音與面部表情的情感識(shí)別研究[D];安徽建筑大學(xué);2018年

5 吳浩鵬;雙模態(tài)信息融合的情感識(shí)別研究[D];內(nèi)蒙古工業(yè)大學(xué);2018年

6 李鐘;基于多生理信號(hào)的情感識(shí)別方法研究[D];河南大學(xué);2018年

7 潘瑞（PERRY FORDSON）;基于多模態(tài)人體數(shù)據(jù)情緒識(shí)別及特征學(xué)習(xí)方法研究[D];華南理工大學(xué);2018年

8 趙亮;基于腦電信號(hào)間Granger因果關(guān)系的情感識(shí)別[D];合肥工業(yè)大學(xué);2018年

9 陳占剛;基于深度神經(jīng)網(wǎng)絡(luò)的腦電情感識(shí)別研究[D];合肥工業(yè)大學(xué);2018年

10 李才隆;基于人體生理信號(hào)的情感識(shí)別研究[D];南京郵電大學(xué);2018年

本文編號(hào)：2636154