【摘要】：跨數(shù)據(jù)庫(kù)語(yǔ)音情感識(shí)別中,將不同尺度上提取的情感特征進(jìn)行融合是目前的技術(shù)難點(diǎn)。本文利用深度學(xué)習(xí)領(lǐng)域的深度信念模型,提出了基于深度信念網(wǎng)絡(luò)的特征層融合方法。將語(yǔ)音頻譜圖中隱含的情感信息作為圖像特征,與傳統(tǒng)情感特征融合。研究解決了跨數(shù)據(jù)庫(kù)語(yǔ)音情感識(shí)別中,將不同尺度上提取的情感特征進(jìn)行融合的技術(shù)難點(diǎn)。利用STB/Itti模型對(duì)語(yǔ)譜圖進(jìn)行分析,從顏色、亮度、方向三個(gè)角度出發(fā),提取了新的語(yǔ)譜圖特征;然后研究改進(jìn)的DBN網(wǎng)絡(luò)模型并對(duì)傳統(tǒng)聲學(xué)特征與新提取的語(yǔ)譜圖特征進(jìn)行了特征層融合,增強(qiáng)了特征子集的尺度,提升了情感表征能力。通過(guò)在ABC數(shù)據(jù)庫(kù)和多個(gè)中文數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)驗(yàn)證,特征融合后的新特征子集相比傳統(tǒng)的語(yǔ)音情感特征,其跨數(shù)據(jù)庫(kù)識(shí)別結(jié)果獲得了明顯提升。
[Abstract]:In cross-database speech emotion recognition, it is a difficult technology to fuse emotion features extracted from different scales. In this paper, a method of feature level fusion based on deep belief network is proposed by using the deep belief model in the field of deep learning. The emotional information implied in the speech spectrum is taken as the image feature and fused with the traditional emotional feature. This paper studies and solves the technical difficulties of fusion of emotion features extracted from different scales in cross-database speech emotion recognition. The STB/Itti model is used to analyze the spectrogram, and a new feature is extracted from three aspects: color, brightness and direction. Then the improved DBN network model is studied and the traditional acoustic features and the newly extracted spectral features are fused into the feature layer to enhance the scale of the feature subset and enhance the ability of emotional representation. The experimental results on ABC database and Chinese database show that the new feature subset after feature fusion is better than the traditional speech emotion feature, and the result of cross-database recognition is obviously improved.
【作者單位】： 東南大學(xué)水聲信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室;煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61673108,61231002,61375028) 山東省自然科學(xué)基金(ZR2014FQ016)
【分類(lèi)號(hào)】：TN912.34

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙力;黃程韋;;實(shí)用語(yǔ)音情感識(shí)別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

2 王茜;;一個(gè)語(yǔ)音情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];大眾科技;2006年08期

3 孫亞;;遠(yuǎn)程教學(xué)中語(yǔ)音情感識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[J];長(zhǎng)春理工大學(xué)學(xué)報(bào)(高教版);2008年02期

4 章國(guó)寶;宋清華;費(fèi)樹(shù)岷;趙艷;;語(yǔ)音情感識(shí)別研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年01期

5 石瑛;胡學(xué)鋼;方磊;;基于決策樹(shù)的多特征語(yǔ)音情感識(shí)別[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年01期

6 張石清;趙知?jiǎng)?;噪聲背景下的語(yǔ)音情感識(shí)別[J];西南交通大學(xué)學(xué)報(bào);2009年03期

7 黃程韋;金峗;王青云;趙艷;趙力;;基于特征空間分解與融合的語(yǔ)音情感識(shí)別[J];信號(hào)處理;2010年06期

8 余華;徐開(kāi)軍;;基于模糊集理論的語(yǔ)音情感識(shí)別[J];信息化研究;2011年02期

9 曾光菊;;基于粗神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別[J];四川理工學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年04期

10 韓文靜;李海峰;馬琳;;考慮情感程度相對(duì)順序的維度語(yǔ)音情感識(shí)別[J];信號(hào)處理;2011年11期

相關(guān)會(huì)議論文 前8條

1 陳建廈;;語(yǔ)音情感識(shí)別綜述[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

2 楊桃香;楊鑒;畢福昆;;基于模糊聚類(lèi)的語(yǔ)音情感識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

3 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語(yǔ)音情感識(shí)別方法[A];2012'中國(guó)西部聲學(xué)學(xué)術(shù)交流會(huì)論文集(Ⅱ)[C];2012年

4 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)語(yǔ)音情感識(shí)別[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

5 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動(dòng)語(yǔ)音情感識(shí)別[A];第十二屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC'2013）論文集[C];2013年

6 童燦;;基于boosting HMM的語(yǔ)音情感識(shí)別[A];2008年中國(guó)高校通信類(lèi)院系學(xué)術(shù)研討會(huì)論文集（下冊(cè)）[C];2009年

7 戴明洋;楊大利;徐明星;;語(yǔ)音情感識(shí)別中UBM訓(xùn)練集的組成研究[A];第十一屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集（一）[C];2011年

8 張衛(wèi);張雪英;孫穎;;基于HHT邊際Teager能量譜的語(yǔ)音情感識(shí)別[A];第十二屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC'2013）論文集[C];2013年

相關(guān)博士學(xué)位論文 前4條

1 孫亞新;語(yǔ)音情感識(shí)別中的特征提取與識(shí)別算法研究[D];華南理工大學(xué);2015年

2 王坤俠;語(yǔ)音情感識(shí)別方法研究[D];合肥工業(yè)大學(xué);2015年

3 韓文靜;語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

4 謝波;普通話語(yǔ)音情感識(shí)別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 陳曉東;基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別[D];華南理工大學(xué);2015年

2 孫志鋒;語(yǔ)音情感識(shí)別研究[D];陜西師范大學(xué);2015年

3 譚發(fā)曾;語(yǔ)音情感狀態(tài)模糊識(shí)別研究[D];電子科技大學(xué);2015年

4 陳鑫;相空間重構(gòu)在語(yǔ)音情感識(shí)別中的研究[D];長(zhǎng)沙理工大學(xué);2014年

5 李昌群;基于特征選擇的語(yǔ)音情感識(shí)別[D];合肥工業(yè)大學(xué);2015年

6 陳文汐;基于核函數(shù)的語(yǔ)音情感識(shí)別技術(shù)的研究[D];東南大學(xué);2015年

7 薛文韜;基于深度學(xué)習(xí)和遷移學(xué)習(xí)的語(yǔ)音情感識(shí)別方法研究[D];江蘇大學(xué);2016年

8 宋明虎;電力行業(yè)電話電話客服語(yǔ)音情感識(shí)別[D];昆明理工大學(xué);2016年

9 陳肖;基于多粒度特征融合的維度語(yǔ)音情感識(shí)別方法研究[D];哈爾濱工業(yè)大學(xué);2016年

10 任浩;基于多級(jí)分類(lèi)的語(yǔ)音情感識(shí)別[D];哈爾濱工業(yè)大學(xué);2016年

，

本文編號(hào)：2413146