當(dāng)前,社交媒體正在人們的日常生活中發(fā)揮著越來越重要的作用。諸如微信、微博、QQ等社交軟件已經(jīng)成為了人們?nèi)粘＝涣鞑豢苫蛉钡墓ぞ�。與此同時,情感識別作為智能人機(jī)交互的重要基礎(chǔ)之一,也得到了長足的發(fā)展。社交媒體中經(jīng)常會使用大量的文本、語音、圖片等多源信息。因此,近年來面向社交媒體的多模態(tài)情感識別研究正成為業(yè)內(nèi)研究的熱點,對實現(xiàn)智能人機(jī)交互應(yīng)用具有重要意義�？紤]到語音、文本信息之間的內(nèi)在關(guān)聯(lián)性和互補(bǔ)性,本文重點開展融合語音文本的多模態(tài)情感識別研究,提出了基于深度學(xué)習(xí)的語音、文本信息特征提取方法;深入研究了語音、文本模態(tài)融合算法;設(shè)計開發(fā)了語音文本融合的多模態(tài)情感識別應(yīng)用系統(tǒng),實現(xiàn)了模型的可視化應(yīng)用。論文的主要研究內(nèi)容如下:1.研究了基于深度學(xué)習(xí)的單模態(tài)情感特征學(xué)習(xí)模型�？紤]到不同模態(tài)之間的差異性,本文將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和長短時記憶網(wǎng)絡(luò)(Long-Short-Term Memory Network,LSTM)以雙通道的形式結(jié)合起來,充分學(xué)習(xí)語音中的全局和局部情感特征;采用雙向長短時記憶網(wǎng)絡(luò)(Bid-directional Long-...

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究內(nèi)容與論文結(jié)構(gòu)安排
        1.3.1 主要研究內(nèi)容
        1.3.2 課題章節(jié)安排
第2章 多模態(tài)情感識別基礎(chǔ)理論
    2.1 多模態(tài)情感數(shù)據(jù)集
    2.2 多模態(tài)情感特征分析
        2.2.1 語音情感特征
        2.2.2 文本情感特征
    2.3 多模態(tài)特征融合方法
        2.3.1 特征層融合
        2.3.2 決策層融合
        2.3.3 其他融合方式
    2.4 多模態(tài)情感識別算法
        2.4.1 長短時記憶網(wǎng)絡(luò)
        2.4.2 卷積神經(jīng)網(wǎng)絡(luò)
    2.5 本章小結(jié)
第3章 基于深度學(xué)習(xí)的情感特征學(xué)習(xí)
    3.1 長短時記憶特征學(xué)習(xí)模型的搭建
        3.1.1 語音情感特征提取
        3.1.2 文本情感特征學(xué)習(xí)
    3.2 長短時記憶特征學(xué)習(xí)模型的優(yōu)化
        3.2.1 語音情感特征學(xué)習(xí)模型優(yōu)化
        3.2.2 文本情感特征學(xué)習(xí)模型優(yōu)化
    3.3 實驗結(jié)果與分析
    3.4 本章小結(jié)
第4章 基于深度學(xué)習(xí)的多模態(tài)情感識別
    4.1 多模態(tài)情感融合模型搭建
    4.2 多模態(tài)情感融合模型優(yōu)化
    4.3 實驗結(jié)果及分析
    4.4 實驗結(jié)果對比
    4.5 本章小結(jié)
第5章 多模態(tài)情感識別系統(tǒng)的設(shè)計與實現(xiàn)
    5.1 系統(tǒng)總體架構(gòu)
    5.2 系統(tǒng)開發(fā)平臺
        5.2.1 系統(tǒng)軟硬件開發(fā)平臺
        5.2.2 系統(tǒng)開發(fā)環(huán)境配置
    5.3 系統(tǒng)開發(fā)與測試
        5.3.1 系統(tǒng)開發(fā)
        5.3.2 系統(tǒng)測試
    5.4 本章小結(jié)
第6章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
作者攻讀碩士期間從事的科研工作及取得的研究成果



本文編號：3875861