本文關(guān)鍵詞：基于深度學(xué)習(xí)的文本語音耦合情感識(shí)別方法研究

  更多相關(guān)文章： 雙模態(tài) 情感識(shí)別 人機(jī)交互 自然語言處理 深度學(xué)習(xí)

【摘要】：人機(jī)交互領(lǐng)域研究是目前智能技術(shù)應(yīng)用研究的重要方向之一,自然語言理解是人機(jī)交互的重要完成途徑,其中情感識(shí)別技術(shù)對(duì)于實(shí)現(xiàn)自然人機(jī)交互起到至關(guān)重要。同時(shí)隨著多交叉學(xué)科以及計(jì)算機(jī)科學(xué)相應(yīng)的模式識(shí)別技術(shù)共同發(fā)展,情感識(shí)別研究任務(wù),作為人工智能中的一個(gè)重要領(lǐng)域在理論研究和實(shí)際應(yīng)用上都獲得了較大的發(fā)展。在人機(jī)交互過程中,基于面部表情的情感識(shí)別研究中主要面臨的問題為信號(hào)采集以及信息處理,這種方法對(duì)硬件設(shè)備的有著較高要求。語音的獲取以及對(duì)話內(nèi)容可以通過同種路徑獲取,文本信息屬于語音承載內(nèi)容,兩者在處理上具有同一性,因此基于語音信號(hào)情感識(shí)別方法與基于文本信號(hào)處理方法可以歸類實(shí)現(xiàn),在此研究背景下,考慮單獨(dú)處理語言和文本上的局限性,本文將結(jié)合語言和文本兩種模態(tài)進(jìn)行情感識(shí)別任務(wù)。本文的主要研究內(nèi)容和工作有：1.語音情感數(shù)據(jù)庫的整理工作,本文將移動(dòng)客服通話數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),對(duì)語音數(shù)據(jù)進(jìn)行情感標(biāo)記處理以及文本識(shí)別處理,并對(duì)整通話按句子切分處理,從而完成對(duì)語音數(shù)據(jù)庫進(jìn)行整合工作。2.基于文本的情感識(shí)別研究。本文采用多種統(tǒng)計(jì)方法以及語義層特征提取方法對(duì)文本內(nèi)容進(jìn)行特征提取,同時(shí)考慮了短文本在情緒表達(dá)時(shí)的特點(diǎn),并結(jié)合文本形態(tài)不同,從保存信息完整性角度出發(fā),盡可能的提取文本中所表達(dá)的情感信息。3.語音情感識(shí)別的研究工作。根據(jù)語音情感表達(dá)特征,在特征層面,將對(duì)語音信號(hào)進(jìn)行兩種不同的特征提取(基于韻律學(xué)的情感特征和基于普的情感特征提取)。4.基于深度學(xué)習(xí)的雙模態(tài)特征,搭建深度架構(gòu),融合兩模態(tài)特征進(jìn)行模型訓(xùn)練,利用不同信息融合方法對(duì)兩種信息進(jìn)行耦合,通過設(shè)計(jì)對(duì)比實(shí)驗(yàn),驗(yàn)證本論文所提出方法的可行性。
【關(guān)鍵詞】：雙模態(tài) 情感識(shí)別 人機(jī)交互 自然語言處理 深度學(xué)習(xí)
【學(xué)位授予單位】：合肥工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.1;TN912.3
【目錄】：

• 致謝7-8
• 摘要8-9
• ABSTRACT9-15
• 第一章 緒論15-19
• 1.1 課題研究背景和意義15-16
• 1.2 交互過程中的情感計(jì)算16-17
• 1.3 國內(nèi)外研究現(xiàn)狀17-18
• 1.4 論文的章節(jié)安排18-19
• 第二章 語音情感識(shí)別19-24
• 2.1 語音情感庫19-20
• 2.2 語音數(shù)據(jù)預(yù)處理20-21
• 2.3 語音情感特征21-22
• 2.4 語音情感模型訓(xùn)練方法22-24
• 第三章 文本情感識(shí)別24-34
• 3.1 文本傾向性判斷24-25
• 3.2 文本特征提取25-28
• 3.2.1 基于文本內(nèi)容特征提取方法26-27
• 3.2.2 基于外部知識(shí)庫特征提取方法27-28
• 3.3 文本情感識(shí)別研究工作28-34
• 3.3.1 情感詞典構(gòu)建28-29
• 3.3.2 微博文本特征提取29
• 3.3.3 文本數(shù)據(jù)分析29-30
• 3.3.4 文本數(shù)據(jù)結(jié)果識(shí)別分析30-34
• 第四章 深度模型架構(gòu)34-39
• 4.1 RBM和ClassRBM35-37
• 4.2 DBN架構(gòu)37-39
• 第五章 雙模態(tài)情感識(shí)別系統(tǒng)研究39-59
• 5.1 雙模態(tài)情感識(shí)別系統(tǒng)的組成結(jié)構(gòu)39-40
• 5.2 文本語音數(shù)據(jù)庫準(zhǔn)備工作40-42
• 5.3 雙模態(tài)特征提取42-52
• 5.3.1 語音模態(tài)特征提取42-50
• 5.3.2 文本模態(tài)特征提取50-52
• 5.4 雙模態(tài)特征模型訓(xùn)練52-59
• 5.4.1 文本模態(tài)情感識(shí)別實(shí)驗(yàn)53-56
• 5.4.2 語音模態(tài)情感識(shí)別實(shí)驗(yàn)56
• 5.4.3 文本語音耦合情感識(shí)別實(shí)驗(yàn)56-59
• 第六章 總結(jié)與展望59-62
• 6.1 總結(jié)59-60
• 6.2 不足之處與展望60-62
• 參考文獻(xiàn)62-66
• 攻讀碩士學(xué)位期間的學(xué)術(shù)活動(dòng)及成果情況66-67

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 熊勰;劉光遠(yuǎn);溫萬惠;;基于智能算法的生理信號(hào)情感識(shí)別[J];計(jì)算機(jī)科學(xué);2011年03期

2 程靜;劉光遠(yuǎn);;學(xué)科交叉視角下的情感識(shí)別研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2012年05期

3 張金偉;劉曉平;;基于心理預(yù)警模型的微博情感識(shí)別研究[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年11期

4 王蓓;王曉蘭;;基于表情和語音的多模態(tài)情感識(shí)別研究[J];信息化研究;2014年01期

5 溫萬惠;邱玉輝;劉光遠(yuǎn);程南璞;黃希庭;;情感生理反應(yīng)樣本庫的建立與數(shù)據(jù)相關(guān)性分析[J];中國科學(xué):信息科學(xué);2011年01期

6 溫萬惠;劉光遠(yuǎn);熊勰;;基于生理信號(hào)的二分類情感識(shí)別系統(tǒng)特征選擇模型和泛化性能分析[J];計(jì)算機(jī)科學(xué);2011年05期

7 劉智;楊宗凱;劉三(女牙);鐵璐;;一種基于樣本空間動(dòng)態(tài)劃分的中文情感識(shí)別方法[J];計(jì)算機(jī)應(yīng)用研究;2013年05期

8 陳曾;劉光遠(yuǎn);;腦電信號(hào)在情感識(shí)別中的應(yīng)用[J];計(jì)算機(jī)工程;2010年09期

9 張穎,羅森林;情感建模與情感識(shí)別[J];計(jì)算機(jī)工程與應(yīng)用;2003年33期

10 林時(shí)來;劉光遠(yuǎn);張慧玲;;蟻群算法在呼吸信號(hào)情感識(shí)別中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2011年02期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前9條

1 解迎剛;王志良;程寧;王國江;永井正武;;人臉與眼部檢測及其在情感識(shí)別中的應(yīng)用[A];第25屆中國控制會(huì)議論文集（下冊(cè)）[C];2006年

2 解迎剛;王志良;楊溢;邵彥娟;;基于改進(jìn)蟻群算法的多模態(tài)情感識(shí)別研究[A];2011年中國智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第一分冊(cè)）[C];2011年

3 王志強(qiáng);熊子?xùn)|;傅向華;;基于螺旋模型的歌曲情感識(shí)別算法研究[A];第七屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2011)論文集【oral】[C];2011年

4 鮑軍榮;李文鋒;壽小云;嵇來春;;基于客觀化脈搏振動(dòng)覺的恐懼情感識(shí)別研究[A];心理學(xué)與創(chuàng)新能力提升——第十六屆全國心理學(xué)學(xué)術(shù)會(huì)議論文集[C];2013年

5 楊廣映;楊善曉;;基于表面肌電信號(hào)的情感識(shí)別研究[A];第三屆中國智能計(jì)算大會(huì)論文集[C];2009年

6 張偉;謝湘;;基于HMM的音樂情感識(shí)別研究[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

7 戴明洋;楊大利;徐明星;張永超;陳勝;;面向真實(shí)情感識(shí)別的訓(xùn)練語音選擇研究[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

8 黃力行;辛樂;趙禮悅;陶建華;;自適應(yīng)權(quán)重的雙模態(tài)情感識(shí)別[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

9 崔玉路;蔣冬梅;張曉靜;謝磊;付中華;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的聽視覺情感識(shí)別[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 記者　邰舉;韓開發(fā)出腦電波情感識(shí)別技術(shù)[N];科技日?qǐng)?bào);2007年

2 黃力行邋陶建華;多模態(tài)情感識(shí)別參透人心[N];計(jì)算機(jī)世界;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 林奕琳;基于語音信號(hào)的情感識(shí)別研究[D];華南理工大學(xué);2006年

2 朱亞忱;基于特權(quán)信息的情感識(shí)別[D];中國科學(xué)技術(shù)大學(xué);2015年

3 張石清;基于語音和人臉的情感識(shí)別研究[D];電子科技大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊敏;非線性特征用于心電信號(hào)的情感識(shí)別[D];西南大學(xué);2013年

2 劉俸汝;基于皮膚電情感識(shí)別的情感調(diào)節(jié)策略研究[D];西南大學(xué);2013年

3 荀立晨;基于心電信號(hào)的情感識(shí)別研究[D];天津理工大學(xué);2013年

4 聶聃;基于腦電的情感識(shí)別[D];上海交通大學(xué);2012年

5 馬亮軍;基于語音的模糊案例推理情感識(shí)別算法研究[D];華東理工大學(xué);2013年

6 劉碧英;非線性特征組合用于皮膚電情感識(shí)別的研究[D];西南大學(xué);2013年

7 徐亞;基于心電信號(hào)的情感識(shí)別研究[D];西南大學(xué);2010年

8 王彬;基于呼吸信號(hào)的情感識(shí)別研究[D];西南大學(xué);2010年

9 周鈺婷;皮膚電信號(hào)的情感特征提取及分類識(shí)別研究[D];西南大學(xué);2012年

10 曹軍;基于量子粒子群算法的心電信號(hào)情感狀態(tài)識(shí)別研究[D];西南大學(xué);2012年

，

本文編號(hào)：850068