當前,社交媒體正在人們的日常生活中發(fā)揮著越來越重要的作用。諸如微信、微博、QQ等社交軟件已經成為了人們日常交流不可或缺的工具。與此同時,情感識別作為智能人機交互的重要基礎之一,也得到了長足的發(fā)展。社交媒體中經常會使用大量的文本、語音、圖片等多源信息。因此,近年來面向社交媒體的多模態(tài)情感識別研究正成為業(yè)內研究的熱點,對實現(xiàn)智能人機交互應用具有重要意義�？紤]到語音、文本信息之間的內在關聯(lián)性和互補性,本文重點開展融合語音文本的多模態(tài)情感識別研究,提出了基于深度學習的語音、文本信息特征提取方法;深入研究了語音、文本模態(tài)融合算法;設計開發(fā)了語音文本融合的多模態(tài)情感識別應用系統(tǒng),實現(xiàn)了模型的可視化應用。論文的主要研究內容如下:1.研究了基于深度學習的單模態(tài)情感特征學習模型�？紤]到不同模態(tài)之間的差異性,本文將卷積神經網絡(Convolutional Neural Network,CNN)和長短時記憶網絡(Long-Short-Term Memory Network,LSTM)以雙通道的形式結合起來,充分學習語音中的全局和局部情感特征;采用雙向長短時記憶網絡(Bid-directional Long-...

【文章頁數】：82 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現(xiàn)狀
    1.3 主要研究內容與論文結構安排
        1.3.1 主要研究內容
        1.3.2 課題章節(jié)安排
第2章 多模態(tài)情感識別基礎理論
    2.1 多模態(tài)情感數據集
    2.2 多模態(tài)情感特征分析
        2.2.1 語音情感特征
        2.2.2 文本情感特征
    2.3 多模態(tài)特征融合方法
        2.3.1 特征層融合
        2.3.2 決策層融合
        2.3.3 其他融合方式
    2.4 多模態(tài)情感識別算法
        2.4.1 長短時記憶網絡
        2.4.2 卷積神經網絡
    2.5 本章小結
第3章 基于深度學習的情感特征學習
    3.1 長短時記憶特征學習模型的搭建
        3.1.1 語音情感特征提取
        3.1.2 文本情感特征學習
    3.2 長短時記憶特征學習模型的優(yōu)化
        3.2.1 語音情感特征學習模型優(yōu)化
        3.2.2 文本情感特征學習模型優(yōu)化
    3.3 實驗結果與分析
    3.4 本章小結
第4章 基于深度學習的多模態(tài)情感識別
    4.1 多模態(tài)情感融合模型搭建
    4.2 多模態(tài)情感融合模型優(yōu)化
    4.3 實驗結果及分析
    4.4 實驗結果對比
    4.5 本章小結
第5章 多模態(tài)情感識別系統(tǒng)的設計與實現(xiàn)
    5.1 系統(tǒng)總體架構
    5.2 系統(tǒng)開發(fā)平臺
        5.2.1 系統(tǒng)軟硬件開發(fā)平臺
        5.2.2 系統(tǒng)開發(fā)環(huán)境配置
    5.3 系統(tǒng)開發(fā)與測試
        5.3.1 系統(tǒng)開發(fā)
        5.3.2 系統(tǒng)測試
    5.4 本章小結
第6章 總結與展望
    6.1 工作總結
    6.2 工作展望
參考文獻
致謝
作者攻讀碩士期間從事的科研工作及取得的研究成果



本文編號：3875861