發(fā)布時間：2022-01-22 12:36

　　情感識別是實現(xiàn)機器智能化的關(guān)鍵技術(shù)之一,它通過對人類情感的研究與分析,可以使機器理解人類情感并按照人類意愿完成相關(guān)指令。在眾多的情感信號中,語音信號是最直接且最有利的表達(dá)方式,而腦電信號可靠性強且采集方便簡單,二者對于情感識別相輔相成。本文結(jié)合語音信號和腦電信號構(gòu)造了多模態(tài)情感識別系統(tǒng),分析了語音信號和腦電信號與情感之間的關(guān)系,提取了二者表征情感差異度的有效情感信息,采用特征融合和決策融合技術(shù)構(gòu)建了多模態(tài)情感識別系統(tǒng),并通過對比實驗驗證了多模態(tài)情感識別系統(tǒng)的可靠性和魯棒性。論文研究內(nèi)容及創(chuàng)新點如下:（1）詳細(xì)介紹了語音情感識別系統(tǒng)的構(gòu)成。根據(jù)語音信號的語速、音調(diào)、自然度、清晰度等基本特性提取了語音信號的傳統(tǒng)特征;從語音信號的屬性特性和幾何結(jié)構(gòu)兩方面分析并提取了表征情感信息的非線性特征;選取TYUT2.0為語音情感數(shù)據(jù)庫,采用支持向量機（Support Vector Machine,SVM）進(jìn)行情感判別,實驗結(jié)果證明,以語音信號為載體的情感識別系統(tǒng)可以有效的實現(xiàn)情感分類。（2）提取了新的情感腦電特征并構(gòu)造出有效情感特征子集。針對腦電信號的非線性特性,利用相空間重構(gòu)技術(shù)通過對相空間中幾何結(jié)... 

【文章來源】：太原理工大學(xué)山西省 211工程院校

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

語音信號預(yù)處理操作流程

圖 2-4 情感語音特征框架圖Figure 2-4 The diagram of emotional speech feature信號傳統(tǒng)特征參數(shù)提取征特征主要從語音信號的平滑度、清晰度、連續(xù)度和包含的情感信息等方號的非言語信息，本文提取的韻律特征如下：速：語速是表征說話人說話速度快慢的物理量，語速往往受多重因素的場合、表達(dá)能力以及說話人情緒等。人類在表達(dá)不同情感時，言語速度別；頻：基頻主要用來表征說話人自身的聲帶物理特性以及發(fā)聲習(xí)慣，人類感時，聲帶的物理特性(如擴張程度)有所不同，從而產(chǎn)生的基頻也不同

圖 2-8 MFCC 特征提取過程圖Figure 2-8 Flow diagram of the extraction process of MFCC feature parameters理音信號進(jìn)行時頻域的轉(zhuǎn)換，如下式(2-2)所示：( , ) ( ( ))iX i k FFT x m域中用 i 表示第 i幀 語音信號，在頻域中用 k 表示第 k條譜線。(2-3)計算譜線能量，即：2E (i , k ) [ X (i , k)]③中得到的譜線能量通過 MEL 濾波器計算 MEL 濾波能量，計算公10( , ) ( , ) ( ),0NmkS i m E i k H k m M

【參考文獻(xiàn)】：
期刊論文
[1]基于信息熵的加權(quán)基因關(guān)聯(lián)網(wǎng)絡(luò)融合方法[J]. 伍度志,楊帆,趙靜.  電子科技大學(xué)學(xué)報. 2018(02)
[2]一種改進(jìn)腦電特征提取算法及其在情感識別中的應(yīng)用[J]. 李昕,蔡二娟,田彥秀,孫小棋,范夢頔.  生物醫(yī)學(xué)工程學(xué)雜志. 2017(04)
[3]相空間重構(gòu)的情感語音特征提取及優(yōu)化[J]. 孫穎,宋春曉.  西安電子科技大學(xué)學(xué)報. 2017(06)
[4]基于排列熵與多重分形指數(shù)結(jié)合的特征提取算法在情感識別中的應(yīng)用[J]. 李昕,齊曉英,田彥秀,孫小棋,范夢頔,蔡二娟.  高技術(shù)通訊. 2016(07)
[5]基于腦電信號分類的高速公路上駕駛疲勞識別[J]. 羅旭,王宏,王福旺.  汽車工程. 2015(02)
[6]基于改進(jìn)功率譜熵的抑郁癥腦電信號活躍性研究[J]. 王凱明,鐘寧,周海燕.  物理學(xué)報. 2014(17)
[7]基于語音信號與心電信號的多模態(tài)情感識別[J]. 黃程韋,金赟,王青云,趙力,鄒采榮.  東南大學(xué)學(xué)報(自然科學(xué)版). 2010(05)
[8]基于MFCC的語音情感識別[J]. 韓一,王國胤,楊勇.  重慶郵電大學(xué)學(xué)報(自然科學(xué)版). 2008(05)
[9]基于長短時特征融合的語音情感識別方法[J]. 韓文靜,李海峰,韓紀(jì)慶.  清華大學(xué)學(xué)報(自然科學(xué)版). 2008(S1)

博士論文
[1]基于EEG和ERP信號分析的情感認(rèn)知研究[D]. 暢江.太原理工大學(xué) 2018
[2]語音信號動力學(xué)特性遞歸分析[D]. 閆潤強.上海交通大學(xué) 2006

碩士論文
[1]情感語音的非線性特征提取及特征優(yōu)化的研究[D]. 宋春曉.太原理工大學(xué) 2018
[2]基于表情和語音的雙模態(tài)情感識別研究[D]. 朱娜.南京郵電大學(xué) 2017
[3]基于語音和圖像的多模態(tài)情感識別研究[D]. 賀奇.哈爾濱工業(yè)大學(xué) 2017
[4]情感語音的非線性特征研究[D]. 姚慧.太原理工大學(xué) 2016
[5]融合人臉表情和語音的雙模態(tài)情感識別研究[D]. 謝坷珍.中國海洋大學(xué) 2015
[6]極限學(xué)習(xí)機在語音情感識別中的應(yīng)用研究[D]. 何淑琳.太原理工大學(xué) 2015



本文編號：3602209