自然人機(jī)交互技術(shù)是當(dāng)前計(jì)算機(jī)應(yīng)用技術(shù)研究的重要方向,情感的自動識別是實(shí)現(xiàn)自然人機(jī)交互的關(guān)鍵技術(shù)之一�？紤]到卷積神經(jīng)網(wǎng)絡(luò)可以同時(shí)進(jìn)行圖像特征提取和模式分類,且局部連接和權(quán)值共享這兩大機(jī)制可以減少訓(xùn)練參數(shù),因此,在對卷積神經(jīng)網(wǎng)絡(luò)理論進(jìn)行深入研究的基礎(chǔ)上,為避免傳統(tǒng)方法中特征提取等復(fù)雜過程,本文將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于情感識別領(lǐng)域。本文基于卷積神經(jīng)網(wǎng)絡(luò)提出一種新的可以分別用于語音情感識別和人臉表情識別的算法,然后提出一種多模態(tài)融合的情感識別算法。本文主要研究內(nèi)容如下:（1）卷積神經(jīng)網(wǎng)絡(luò)理論的研究。分析了卷積神經(jīng)網(wǎng)絡(luò)的基本原理及參數(shù)學(xué)習(xí)算法,為本文將卷積神經(jīng)網(wǎng)絡(luò)與情感識別相結(jié)合提供理論基礎(chǔ)。（2）提出一種新的基于聲譜圖和卷積神經(jīng)網(wǎng)絡(luò)的語音情感識別的算法。由于聲譜圖是能夠反映語音時(shí)頻特征的二維圖像,為了解決傳統(tǒng)識別算法中特征提取復(fù)雜以及特征質(zhì)量不佳等問題,提出將聲譜圖作為卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。利用卷積神經(jīng)網(wǎng)絡(luò)對聲譜圖特征進(jìn)行自動學(xué)習(xí),實(shí)現(xiàn)對聲譜圖端到端的處理,進(jìn)行有監(jiān)督學(xué)習(xí)和訓(xùn)練以得到相應(yīng)的網(wǎng)絡(luò)模型。通過在CASIA漢語情感語料庫和德國柏林語料庫上分別進(jìn)行實(shí)驗(yàn),對應(yīng)的語音情感識別率分別可達(dá)到79.... 

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 選題背景和意義
    1.2 語音情感識別的國內(nèi)外研究現(xiàn)狀
    1.3 人臉表情識別的國內(nèi)外研究現(xiàn)狀
    1.4 多模態(tài)情感識別的國內(nèi)外研究現(xiàn)狀
    1.5 本文主要工作和內(nèi)容
    1.6 本文的組織結(jié)構(gòu)
第二章 卷積神經(jīng)網(wǎng)絡(luò)相關(guān)理論
    2.1 概述
    2.2 人工神經(jīng)元
    2.3 反向傳播算法
    2.4 卷積神經(jīng)網(wǎng)絡(luò)
        2.4.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
        2.4.2 卷積層
        2.4.3 池化層
        2.4.4 全連接層
        2.4.5 SoftMax回歸
    2.5 本章小結(jié)
第三章 基于聲譜圖和卷積神經(jīng)網(wǎng)絡(luò)的語音情感識別算法
    3.1 概述
    3.2 聲譜圖
        3.2.1 聲譜圖生成
        3.2.2 聲譜圖預(yù)處理
    3.3 基于語音聲譜圖的語音情感識別
        3.3.1 語音情感語料庫
        3.3.2 基于CNN的語音情感識別
        3.3.3 實(shí)驗(yàn)相關(guān)設(shè)置
        3.3.4 實(shí)驗(yàn)結(jié)果及分析
    3.4 本章小結(jié)
第四章 融合語音和人臉表情的情感識別算法
    4.1 概述
    4.2 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識別算法
        4.2.1 人臉表情數(shù)據(jù)庫
        4.2.2 基于CNN的人臉表情識別算法
        4.2.3 實(shí)驗(yàn)結(jié)果及分析
    4.3 融合語音和人臉表情的情感識別算法
        4.3.1 多模態(tài)信息融合方法
        4.3.2 多模態(tài)情感數(shù)據(jù)庫
        4.3.3 融合語音和人臉表情的情感識別方法
        4.3.4 實(shí)驗(yàn)結(jié)果及分析
    4.4 本章小結(jié)
總結(jié)與展望
    工作總結(jié)
    工作展望
參考文獻(xiàn)
攻讀碩士學(xué)位期間取得的科研成果
致謝



本文編號：3650896