本文關(guān)鍵詞：基于深度學(xué)習(xí)的文本語音耦合情感識別方法研究

  更多相關(guān)文章： 雙模態(tài) 情感識別 人機(jī)交互 自然語言處理 深度學(xué)習(xí)

【摘要】：人機(jī)交互領(lǐng)域研究是目前智能技術(shù)應(yīng)用研究的重要方向之一,自然語言理解是人機(jī)交互的重要完成途徑,其中情感識別技術(shù)對于實現(xiàn)自然人機(jī)交互起到至關(guān)重要。同時隨著多交叉學(xué)科以及計算機(jī)科學(xué)相應(yīng)的模式識別技術(shù)共同發(fā)展,情感識別研究任務(wù),作為人工智能中的一個重要領(lǐng)域在理論研究和實際應(yīng)用上都獲得了較大的發(fā)展。在人機(jī)交互過程中,基于面部表情的情感識別研究中主要面臨的問題為信號采集以及信息處理,這種方法對硬件設(shè)備的有著較高要求。語音的獲取以及對話內(nèi)容可以通過同種路徑獲取,文本信息屬于語音承載內(nèi)容,兩者在處理上具有同一性,因此基于語音信號情感識別方法與基于文本信號處理方法可以歸類實現(xiàn),在此研究背景下,考慮單獨處理語言和文本上的局限性,本文將結(jié)合語言和文本兩種模態(tài)進(jìn)行情感識別任務(wù)。本文的主要研究內(nèi)容和工作有：1.語音情感數(shù)據(jù)庫的整理工作,本文將移動客服通話數(shù)據(jù)作為實驗數(shù)據(jù),對語音數(shù)據(jù)進(jìn)行情感標(biāo)記處理以及文本識別處理,并對整通話按句子切分處理,從而完成對語音數(shù)據(jù)庫進(jìn)行整合工作。2.基于文本的情感識別研究。本文采用多種統(tǒng)計方法以及語義層特征提取方法對文本內(nèi)容進(jìn)行特征提取,同時考慮了短文本在情緒表達(dá)時的特點,并結(jié)合文本形態(tài)不同,從保存信息完整性角度出發(fā),盡可能的提取文本中所表達(dá)的情感信息。3.語音情感識別的研究工作。根據(jù)語音情感表達(dá)特征,在特征層面,將對語音信號進(jìn)行兩種不同的特征提取(基于韻律學(xué)的情感特征和基于普的情感特征提取)。4.基于深度學(xué)習(xí)的雙模態(tài)特征,搭建深度架構(gòu),融合兩模態(tài)特征進(jìn)行模型訓(xùn)練,利用不同信息融合方法對兩種信息進(jìn)行耦合,通過設(shè)計對比實驗,驗證本論文所提出方法的可行性。
【關(guān)鍵詞】：雙模態(tài) 情感識別 人機(jī)交互 自然語言處理 深度學(xué)習(xí)
【學(xué)位授予單位】：合肥工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.1;TN912.3
【目錄】：

• 致謝7-8
• 摘要8-9
• ABSTRACT9-15
• 第一章 緒論15-19
• 1.1 課題研究背景和意義15-16
• 1.2 交互過程中的情感計算16-17
• 1.3 國內(nèi)外研究現(xiàn)狀17-18
• 1.4 論文的章節(jié)安排18-19
• 第二章 語音情感識別19-24
• 2.1 語音情感庫19-20
• 2.2 語音數(shù)據(jù)預(yù)處理20-21
• 2.3 語音情感特征21-22
• 2.4 語音情感模型訓(xùn)練方法22-24
• 第三章 文本情感識別24-34
• 3.1 文本傾向性判斷24-25
• 3.2 文本特征提取25-28
• 3.2.1 基于文本內(nèi)容特征提取方法26-27
• 3.2.2 基于外部知識庫特征提取方法27-28
• 3.3 文本情感識別研究工作28-34
• 3.3.1 情感詞典構(gòu)建28-29
• 3.3.2 微博文本特征提取29
• 3.3.3 文本數(shù)據(jù)分析29-30
• 3.3.4 文本數(shù)據(jù)結(jié)果識別分析30-34
• 第四章 深度模型架構(gòu)34-39
• 4.1 RBM和ClassRBM35-37
• 4.2 DBN架構(gòu)37-39
• 第五章 雙模態(tài)情感識別系統(tǒng)研究39-59
• 5.1 雙模態(tài)情感識別系統(tǒng)的組成結(jié)構(gòu)39-40
• 5.2 文本語音數(shù)據(jù)庫準(zhǔn)備工作40-42
• 5.3 雙模態(tài)特征提取42-52
• 5.3.1 語音模態(tài)特征提取42-50
• 5.3.2 文本模態(tài)特征提取50-52
• 5.4 雙模態(tài)特征模型訓(xùn)練52-59
• 5.4.1 文本模態(tài)情感識別實驗53-56
• 5.4.2 語音模態(tài)情感識別實驗56
• 5.4.3 文本語音耦合情感識別實驗56-59
• 第六章 總結(jié)與展望59-62
• 6.1 總結(jié)59-60
• 6.2 不足之處與展望60-62
• 參考文獻(xiàn)62-66
• 攻讀碩士學(xué)位期間的學(xué)術(shù)活動及成果情況66-67

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 熊勰;劉光遠(yuǎn);溫萬惠;;基于智能算法的生理信號情感識別[J];計算機(jī)科學(xué);2011年03期

2 程靜;劉光遠(yuǎn);;學(xué)科交叉視角下的情感識別研究進(jìn)展[J];計算機(jī)科學(xué);2012年05期

3 張金偉;劉曉平;;基于心理預(yù)警模型的微博情感識別研究[J];合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2013年11期

4 王蓓;王曉蘭;;基于表情和語音的多模態(tài)情感識別研究[J];信息化研究;2014年01期

5 溫萬惠;邱玉輝;劉光遠(yuǎn);程南璞;黃希庭;;情感生理反應(yīng)樣本庫的建立與數(shù)據(jù)相關(guān)性分析[J];中國科學(xué):信息科學(xué);2011年01期

6 溫萬惠;劉光遠(yuǎn);熊勰;;基于生理信號的二分類情感識別系統(tǒng)特征選擇模型和泛化性能分析[J];計算機(jī)科學(xué);2011年05期

7 劉智;楊宗凱;劉三(女牙);鐵璐;;一種基于樣本空間動態(tài)劃分的中文情感識別方法[J];計算機(jī)應(yīng)用研究;2013年05期

8 陳曾;劉光遠(yuǎn);;腦電信號在情感識別中的應(yīng)用[J];計算機(jī)工程;2010年09期

9 張穎,羅森林;情感建模與情感識別[J];計算機(jī)工程與應(yīng)用;2003年33期

10 林時來;劉光遠(yuǎn);張慧玲;;蟻群算法在呼吸信號情感識別中的應(yīng)用研究[J];計算機(jī)工程與應(yīng)用;2011年02期

中國重要會議論文全文數(shù)據(jù)庫 前9條

1 解迎剛;王志良;程寧;王國江;永井正武;;人臉與眼部檢測及其在情感識別中的應(yīng)用[A];第25屆中國控制會議論文集（下冊）[C];2006年

2 解迎剛;王志良;楊溢;邵彥娟;;基于改進(jìn)蟻群算法的多模態(tài)情感識別研究[A];2011年中國智能自動化學(xué)術(shù)會議論文集（第一分冊）[C];2011年

3 王志強(qiáng);熊子?xùn)|;傅向華;;基于螺旋模型的歌曲情感識別算法研究[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【oral】[C];2011年

4 鮑軍榮;李文鋒;壽小云;嵇來春;;基于客觀化脈搏振動覺的恐懼情感識別研究[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會議論文集[C];2013年

5 楊廣映;楊善曉;;基于表面肌電信號的情感識別研究[A];第三屆中國智能計算大會論文集[C];2009年

6 張偉;謝湘;;基于HMM的音樂情感識別研究[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集[C];2007年

7 戴明洋;楊大利;徐明星;張永超;陳勝;;面向真實情感識別的訓(xùn)練語音選擇研究[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

8 黃力行;辛樂;趙禮悅;陶建華;;自適應(yīng)權(quán)重的雙模態(tài)情感識別[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集[C];2007年

9 崔玉路;蔣冬梅;張曉靜;謝磊;付中華;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的聽視覺情感識別[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 記者　邰舉;韓開發(fā)出腦電波情感識別技術(shù)[N];科技日報;2007年

2 黃力行邋陶建華;多模態(tài)情感識別參透人心[N];計算機(jī)世界;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 林奕琳;基于語音信號的情感識別研究[D];華南理工大學(xué);2006年

2 朱亞忱;基于特權(quán)信息的情感識別[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張石清;基于語音和人臉的情感識別研究[D];電子科技大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊敏;非線性特征用于心電信號的情感識別[D];西南大學(xué);2013年

2 劉俸汝;基于皮膚電情感識別的情感調(diào)節(jié)策略研究[D];西南大學(xué);2013年

3 荀立晨;基于心電信號的情感識別研究[D];天津理工大學(xué);2013年

4 聶聃;基于腦電的情感識別[D];上海交通大學(xué);2012年

5 馬亮軍;基于語音的模糊案例推理情感識別算法研究[D];華東理工大學(xué);2013年

6 劉碧英;非線性特征組合用于皮膚電情感識別的研究[D];西南大學(xué);2013年

7 徐亞;基于心電信號的情感識別研究[D];西南大學(xué);2010年

8 王彬;基于呼吸信號的情感識別研究[D];西南大學(xué);2010年

9 周鈺婷;皮膚電信號的情感特征提取及分類識別研究[D];西南大學(xué);2012年

10 曹軍;基于量子粒子群算法的心電信號情感狀態(tài)識別研究[D];西南大學(xué);2012年

，

本文編號：850068