發(fā)布時間：2019-01-22 10:39

【摘要】：跨數(shù)據(jù)庫語音情感識別中,將不同尺度上提取的情感特征進(jìn)行融合是目前的技術(shù)難點(diǎn)。本文利用深度學(xué)習(xí)領(lǐng)域的深度信念模型,提出了基于深度信念網(wǎng)絡(luò)的特征層融合方法。將語音頻譜圖中隱含的情感信息作為圖像特征,與傳統(tǒng)情感特征融合。研究解決了跨數(shù)據(jù)庫語音情感識別中,將不同尺度上提取的情感特征進(jìn)行融合的技術(shù)難點(diǎn)。利用STB/Itti模型對語譜圖進(jìn)行分析,從顏色、亮度、方向三個角度出發(fā),提取了新的語譜圖特征;然后研究改進(jìn)的DBN網(wǎng)絡(luò)模型并對傳統(tǒng)聲學(xué)特征與新提取的語譜圖特征進(jìn)行了特征層融合,增強(qiáng)了特征子集的尺度,提升了情感表征能力。通過在ABC數(shù)據(jù)庫和多個中文數(shù)據(jù)庫上的實驗驗證,特征融合后的新特征子集相比傳統(tǒng)的語音情感特征,其跨數(shù)據(jù)庫識別結(jié)果獲得了明顯提升。
[Abstract]:In cross-database speech emotion recognition, it is a difficult technology to fuse emotion features extracted from different scales. In this paper, a method of feature level fusion based on deep belief network is proposed by using the deep belief model in the field of deep learning. The emotional information implied in the speech spectrum is taken as the image feature and fused with the traditional emotional feature. This paper studies and solves the technical difficulties of fusion of emotion features extracted from different scales in cross-database speech emotion recognition. The STB/Itti model is used to analyze the spectrogram, and a new feature is extracted from three aspects: color, brightness and direction. Then the improved DBN network model is studied and the traditional acoustic features and the newly extracted spectral features are fused into the feature layer to enhance the scale of the feature subset and enhance the ability of emotional representation. The experimental results on ABC database and Chinese database show that the new feature subset after feature fusion is better than the traditional speech emotion feature, and the result of cross-database recognition is obviously improved.
【作者單位】： 東南大學(xué)水聲信號處理教育部重點(diǎn)實驗室;煙臺大學(xué)計算機(jī)與控制工程學(xué)院;
【基金】：國家自然科學(xué)基金項目(61673108,61231002,61375028) 山東省自然科學(xué)基金(ZR2014FQ016)
【分類號】：TN912.34

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙力;黃程韋;;實用語音情感識別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

2 王茜;;一個語音情感識別系統(tǒng)的設(shè)計與實現(xiàn)[J];大眾科技;2006年08期

3 孫亞;;遠(yuǎn)程教學(xué)中語音情感識別系統(tǒng)的研究與實現(xiàn)[J];長春理工大學(xué)學(xué)報(高教版);2008年02期

4 章國寶;宋清華;費(fèi)樹岷;趙艷;;語音情感識別研究[J];計算機(jī)技術(shù)與發(fā)展;2009年01期

5 石瑛;胡學(xué)鋼;方磊;;基于決策樹的多特征語音情感識別[J];計算機(jī)技術(shù)與發(fā)展;2009年01期

6 張石清;趙知勁;;噪聲背景下的語音情感識別[J];西南交通大學(xué)學(xué)報;2009年03期

7 黃程韋;金峗;王青云;趙艷;趙力;;基于特征空間分解與融合的語音情感識別[J];信號處理;2010年06期

8 余華;徐開軍;;基于模糊集理論的語音情感識別[J];信息化研究;2011年02期

9 曾光菊;;基于粗神經(jīng)網(wǎng)絡(luò)的語音情感識別[J];四川理工學(xué)院學(xué)報(自然科學(xué)版);2011年04期

10 韓文靜;李海峰;馬琳;;考慮情感程度相對順序的維度語音情感識別[J];信號處理;2011年11期

相關(guān)會議論文 前8條

1 陳建廈;;語音情感識別綜述[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

2 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2007）論文集[C];2007年

3 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語音情感識別方法[A];2012'中國西部聲學(xué)學(xué)術(shù)交流會論文集(Ⅱ)[C];2012年

4 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語語音情感識別[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

5 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動語音情感識別[A];第十二屆全國人機(jī)語音通訊學(xué)術(shù)會議（NCMMSC'2013）論文集[C];2013年

6 童燦;;基于boosting HMM的語音情感識別[A];2008年中國高校通信類院系學(xué)術(shù)研討會論文集（下冊）[C];2009年

7 戴明洋;楊大利;徐明星;;語音情感識別中UBM訓(xùn)練集的組成研究[A];第十一屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集（一）[C];2011年

8 張衛(wèi);張雪英;孫穎;;基于HHT邊際Teager能量譜的語音情感識別[A];第十二屆全國人機(jī)語音通訊學(xué)術(shù)會議（NCMMSC'2013）論文集[C];2013年

相關(guān)博士學(xué)位論文 前4條

1 孫亞新;語音情感識別中的特征提取與識別算法研究[D];華南理工大學(xué);2015年

2 王坤俠;語音情感識別方法研究[D];合肥工業(yè)大學(xué);2015年

3 韓文靜;語音情感識別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

4 謝波;普通話語音情感識別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 陳曉東;基于卷積神經(jīng)網(wǎng)絡(luò)的語音情感識別[D];華南理工大學(xué);2015年

2 孫志鋒;語音情感識別研究[D];陜西師范大學(xué);2015年

3 譚發(fā)曾;語音情感狀態(tài)模糊識別研究[D];電子科技大學(xué);2015年

4 陳鑫;相空間重構(gòu)在語音情感識別中的研究[D];長沙理工大學(xué);2014年

5 李昌群;基于特征選擇的語音情感識別[D];合肥工業(yè)大學(xué);2015年

6 陳文汐;基于核函數(shù)的語音情感識別技術(shù)的研究[D];東南大學(xué);2015年

7 薛文韜;基于深度學(xué)習(xí)和遷移學(xué)習(xí)的語音情感識別方法研究[D];江蘇大學(xué);2016年

8 宋明虎;電力行業(yè)電話電話客服語音情感識別[D];昆明理工大學(xué);2016年

9 陳肖;基于多粒度特征融合的維度語音情感識別方法研究[D];哈爾濱工業(yè)大學(xué);2016年

10 任浩;基于多級分類的語音情感識別[D];哈爾濱工業(yè)大學(xué);2016年

，

本文編號：2413146