大腦在進(jìn)行情感識(shí)別時(shí)主要有三個(gè)特性:時(shí)序性、變化性、多模態(tài)。本文從這三個(gè)特性著手,從語音和表情幀序列中提取隨時(shí)間變化的情感特征,并進(jìn)行融合。然后構(gòu)建基于語音和表情圖像的多模態(tài)情感識(shí)別系統(tǒng)。借鑒人類視聽覺感知系統(tǒng)信息處理機(jī)制,使計(jì)算機(jī)進(jìn)行的情感識(shí)別更加接近于人腦對(duì)信息的處理方式,從而獲得更加快速高效的識(shí)別性能。研究內(nèi)容如下:針對(duì)語音,提出了一種基于Mel尺度小波包分解的子帶能量特征。使用小波包函數(shù)代替Mel濾波器組,按照Mel尺度的帶寬分解語音信號(hào),然后對(duì)各子帶信號(hào)提取能量特征。這樣既保留了人耳聽覺特性又解決Mel濾波器抗噪性弱的問題。分幀提取的情感特征僅能反應(yīng)出單幀語音的靜態(tài)信息,無法體現(xiàn)出連續(xù)變化的特征。為了使特征更好的體現(xiàn)時(shí)域連續(xù)性,提出一種基于一階差分的動(dòng)態(tài)語音情感特征,并將靜態(tài)的聲學(xué)特征與動(dòng)態(tài)差分特征相結(jié)合,提高識(shí)別率。根據(jù)視覺感知系統(tǒng)信息處理機(jī)制,提出了兩種基于動(dòng)態(tài)序列的表情特征提取方案,第一種方案首先進(jìn)行特征點(diǎn)標(biāo)定,采用DMF_MeanShift算法對(duì)眉毛、眼睛、鼻子、嘴、下巴等表情關(guān)鍵部位進(jìn)行精確定位,減少不必要的信息干擾。然后對(duì)特征點(diǎn)進(jìn)行光流計(jì)算,得... 

【文章來源】：天津理工大學(xué)天津市

【文章頁數(shù)】：53 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 情感的定義與表示
    1.3 國內(nèi)外研究現(xiàn)狀
        1.3.1 表情識(shí)別研究現(xiàn)狀
        1.3.2 語音情感識(shí)別研究現(xiàn)狀
        1.3.3 視聽覺結(jié)合的多模態(tài)情感識(shí)別研究現(xiàn)狀
    1.4 主要研究內(nèi)容及結(jié)構(gòu)安排
        1.4.1 主要研究內(nèi)容
        1.4.2 結(jié)構(gòu)安排
第二章 視聽覺感知系統(tǒng)
    2.1 與情感有關(guān)的特征及其變化性分析
        2.1.1 聲音中的情感特征
        2.1.2 人臉表情中的情感特征
    2.2 視聽覺情感信息融合與時(shí)序性分析
    2.3 大腦對(duì)情感信息的處理
        2.3.1 信息的分層傳遞與處理
        2.3.2 神經(jīng)元的記憶與反饋
    2.4 本章小結(jié)
第三章 基于人耳聽覺機(jī)理的語音情感識(shí)別
    3.1 Mel頻率倒譜系數(shù)
    3.2 基于Mel尺度小波包分解的子帶能量
        3.2.1 小波包變換
        3.2.2 基于Mel尺度小波包子帶能量
    3.3 一階差分動(dòng)態(tài)特征
    3.4 實(shí)驗(yàn)與分析
        3.4.1 單一特征識(shí)別性能
        3.4.2 分類方法比較
    3.5 本章小結(jié)
第四章 模擬視覺感知的動(dòng)態(tài)表情識(shí)別
    4.1 基于DMF_MeanShift的表情特征點(diǎn)提取
    4.2 光流運(yùn)動(dòng)特征計(jì)算
    4.3 基于“what”通路的表情特征提取
        4.3.1 局部不變性特征
        4.3.2 全局不變性特征
    4.4 基于改進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)表情識(shí)別
        4.4.1 動(dòng)態(tài)特征提取方案設(shè)計(jì)
        4.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)
    4.5 實(shí)驗(yàn)與分析
        4.5.1 特征點(diǎn)標(biāo)定實(shí)驗(yàn)
        4.5.2 表情識(shí)別結(jié)果
    4.6 本章小結(jié)
第五章 表情和語音相融合的多模態(tài)情感識(shí)別
    5.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        5.1.1 RNN基本結(jié)構(gòu)
        5.1.2 前向傳播
        5.1.3 BPTT訓(xùn)練
    5.2 聯(lián)合視聽覺信息的情感識(shí)別方法
        5.2.1 決策層融合
        5.2.2 特征層融合
    5.3 實(shí)驗(yàn)與分析
        5.3.1 表情語音感數(shù)據(jù)庫
        5.3.2 單模態(tài)情感識(shí)別實(shí)驗(yàn)
        5.3.3 多模態(tài)情感識(shí)別實(shí)驗(yàn)
    5.4 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文總結(jié)
    6.2 展望
參考文獻(xiàn)
發(fā)表論文和科研情況說明
致謝


【參考文獻(xiàn)】：
期刊論文
[1]基于語音特征的情感分類[J]. 李強(qiáng),劉曉峰,賀靜.  小型微型計(jì)算機(jī)系統(tǒng). 2016(02)
[2]基于融合DCT和LBP特征提取的面部表情識(shí)別[J]. 羅元,崔葉,王艷,張毅.  半導(dǎo)體光電. 2014(02)
[3]人類早期視皮層對(duì)邊緣所有權(quán)的選擇性以及注意的調(diào)節(jié)作用[J]. 方方,Huseyin Boyaci,Daniel Kersten.  中國基礎(chǔ)科學(xué). 2009(04)
[4]語音信號(hào)中的情感特征分析和識(shí)別的研究[J]. 趙力,將春輝,鄒采榮,吳鎮(zhèn)揚(yáng).  電子學(xué)報(bào). 2004(04)
[5]基于Agent的人機(jī)情感交互系統(tǒng)研究[J]. 薛為民,石志國,谷學(xué)靜,王志良.  計(jì)算機(jī)工程與應(yīng)用. 2002(19)

博士論文
[1]基于表情認(rèn)知的服務(wù)機(jī)器人情感計(jì)算研究[D]. 劉欣.北京科技大學(xué) 2015
[2]語音情感識(shí)別的關(guān)鍵技術(shù)研究[D]. 尤鳴宇.浙江大學(xué) 2007
[3]基于語音信號(hào)的情感識(shí)別研究[D]. 林奕琳.華南理工大學(xué) 2006

碩士論文
[1]基于多級(jí)分類的語音情感識(shí)別[D]. 任浩.哈爾濱工業(yè)大學(xué) 2016
[2]基于特征融合的語音情感識(shí)別方法的研究[D]. 巨曉正.東南大學(xué) 2016
[3]基于表情識(shí)別的兒童情緒能力評(píng)測(cè)系統(tǒng)[D]. 胡建國.東南大學(xué) 2015
[4]語音情感計(jì)算的研究及應(yīng)用[D]. 孫黌杰.浙江工業(yè)大學(xué) 2007



本文編號(hào)：3632765