【摘要】：隨著計(jì)算機(jī)技術(shù)的發(fā)展和人工智能的普及,語音情感識(shí)別研究收到學(xué)界和工業(yè)屆的廣泛關(guān)注。目前的情感識(shí)別任務(wù)大多采用人工提取多種聲學(xué)特征并物理降維,構(gòu)建特征工程的方法,提升識(shí)別結(jié)果。本文旨在探究語音中情感信息的表達(dá),了解語音中情感信息的變與不變,從語音中提煉出情感的本質(zhì)特征,并搭建最合適的表征情感信息的網(wǎng)絡(luò)結(jié)構(gòu)。基于以上研究重點(diǎn),本文內(nèi)容包括以下幾個(gè)部分:1.研究了基于傳統(tǒng)聲學(xué)特征的情感識(shí)別網(wǎng)絡(luò)在大量的聲學(xué)特征中,對(duì)現(xiàn)有數(shù)據(jù)做統(tǒng)計(jì)分析篩選出聲學(xué)特征及其統(tǒng)計(jì)特征,搭建有效且完備的情感特征工程。從物理意義上出發(fā),篩選合理的表達(dá)情感的特征并驗(yàn)證它們的有效性;從數(shù)學(xué)統(tǒng)計(jì)層面考慮,使用卡方檢驗(yàn)做特征選擇,去除特征集合的冗余信息,提高網(wǎng)絡(luò)訓(xùn)練效率,構(gòu)建完備的特征工程。2.研究了基于語譜圖的深度學(xué)習(xí)情感識(shí)別網(wǎng)絡(luò)語譜圖幾乎包含了所有的語音特征,二維頻譜結(jié)構(gòu)既可以體現(xiàn)諧波等激勵(lì)源特征,又可以分析倒譜、共振峰等聲道特性。深度神經(jīng)網(wǎng)絡(luò)引入非線性信息,具有自主學(xué)習(xí)輸入數(shù)據(jù)特征的優(yōu)點(diǎn)。搭建基于語譜圖的深度學(xué)習(xí)情感識(shí)別網(wǎng)絡(luò),選用局部感知和跳躍連接的ResNet網(wǎng)絡(luò),并基于卷積核權(quán)重系數(shù)做出改進(jìn)。再此基礎(chǔ)上,搭建ResNet-LSTM網(wǎng)絡(luò),對(duì)ResNet網(wǎng)絡(luò)學(xué)出的高層情感特征進(jìn)行時(shí)序建模。3.引入了注意力機(jī)制,研究了低級(jí)描述符和高層語義信息的特征融合將經(jīng)過驗(yàn)證的可以表征情感信息的聲學(xué)特征集合作,與ResNet-LSTM網(wǎng)絡(luò)學(xué)習(xí)到的語音信號(hào)的高層語義信息進(jìn)行融合,將融合后的特征經(jīng)過DN-N網(wǎng)絡(luò)分類輸出,增加深度學(xué)習(xí)的解釋性和人工輔助。此外,引入注意力機(jī)制,探索語音中的關(guān)鍵幀信息。將學(xué)習(xí)到的注意力作為權(quán)重系數(shù)加入到人工提取的低級(jí)描述符特征中,并將它應(yīng)用于特征融合實(shí)驗(yàn)。本文主要從情感的產(chǎn)生和感知層面出發(fā),落實(shí)到特征和網(wǎng)絡(luò)兩個(gè)研究重點(diǎn)上展開工作,產(chǎn)生上探究如何構(gòu)建具有情感表征意義的完備的特征集合,感知上從網(wǎng)絡(luò)結(jié)構(gòu)入手,嘗試搭建具有情感認(rèn)知的網(wǎng)絡(luò)結(jié)構(gòu),并通過注意力機(jī)制討論語音情感的局部關(guān)鍵性,結(jié)合產(chǎn)生、感知、和局部特性探討語音情感的表達(dá)。
【圖文】：

圖２－２激勵(lì)－效價(jià)－強(qiáng)度情感模型［１１逡逑第二種是由Ｐｌｕｔｃｈｉｋ提出的三維情感模型［９】，，將情感空間描繪成一個(gè)倒椎體，逡逑

圖２－３三維情感模型［７］逡逑離散情感模型和維度情感模型是基于不用的情感屬性出發(fā)而定義的
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TN912.34;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蔚;胡婷婷;馮亞琴;;基于深度學(xué)習(xí)的自然與表演語音情感識(shí)別[J];南京大學(xué)學(xué)報(bào)(自然科學(xué));2019年04期

2 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語音情感識(shí)別方法[J];信號(hào)處理;2017年03期

3 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語音情感識(shí)別分類算法研究綜述[J];南陽師范學(xué)院學(xué)報(bào);2017年06期

4 何秉羲;;語音情感識(shí)別研究現(xiàn)狀綜述[J];辦公自動(dòng)化;2015年10期

5 趙力;黃程韋;;實(shí)用語音情感識(shí)別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

6 張石清;李樂民;趙知?jiǎng)?;人機(jī)交互中的語音情感識(shí)別研究進(jìn)展[J];電路與系統(tǒng)學(xué)報(bào);2013年02期

7 李杰;周萍;;語音情感識(shí)別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

8 趙臘生;張強(qiáng);魏小鵬;;語音情感識(shí)別研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

9 王茜;;一個(gè)語音情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];大眾科技;2006年08期

10 陳建廈,李翠華;語音情感識(shí)別的研究進(jìn)展[J];計(jì)算機(jī)工程;2005年13期

相關(guān)會(huì)議論文 前10條

1 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語音情感識(shí)別方法[A];2012'中國西部聲學(xué)學(xué)術(shù)交流會(huì)論文集(Ⅱ)[C];2012年

2 陳建廈;;語音情感識(shí)別綜述[A];第一屆中國情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語語音情感識(shí)別[A];第一屆中國情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權(quán)最近鄰的語音情感識(shí)別方法[A];中國計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學(xué)習(xí)和特征選擇融合的語音情感識(shí)別[A];第十四屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動(dòng)語音情感識(shí)別[A];需將論文集名稱修改為“第十二屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC2013）論文集[C];2013年

7 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識(shí)別[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

8 劉博;范鈺超;徐明星;;基于特征級(jí)決策級(jí)雙層融合的語音情感識(shí)別[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

9 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

10 張波;倪佳敏;樓穎禎;陳慧霖;張石清;;基于深度置信網(wǎng)絡(luò)的語音情感識(shí)別研究[A];第十三屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 查誠;基于特征學(xué)習(xí)的語音情感識(shí)別算法研究[D];東南大學(xué);2017年

2 徐新洲;基于情感特征信息增強(qiáng)的語音情感識(shí)別研究[D];東南大學(xué);2017年

3 張衛(wèi);基于模糊認(rèn)知圖的語音情感識(shí)別關(guān)鍵問題研究[D];太原理工大學(xué);2017年

4 謝波;普通話語音情感識(shí)別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

5 尤鳴宇;語音情感識(shí)別的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

6 陶華偉;基于譜圖特征的語音情感識(shí)別若干問題的研究[D];東南大學(xué);2017年

7 韓文靜;語音情感識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

8 劉佳;語音情感識(shí)別的研究與應(yīng)用[D];浙江大學(xué);2009年

9 孫亞新;語音情感識(shí)別中的特征提取與識(shí)別算法研究[D];華南理工大學(xué);2015年

10 張昕然;跨庫語音情感識(shí)別若干關(guān)鍵技術(shù)研究[D];東南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 盧艷;基于神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的語音情感識(shí)別研究[D];北京郵電大學(xué);2019年

2 李鵬程;基于深度學(xué)習(xí)的語音情感識(shí)別研究[D];中國科學(xué)技術(shù)大學(xué);2019年

3 何偉;基于深度學(xué)習(xí)的語音情感識(shí)別建模研究[D];北京郵電大學(xué);2019年

4 次仁羅增;藏語語音情感識(shí)別方法研究[D];西藏大學(xué);2019年

5 沈凌潔;基于音韻表征的語音情感識(shí)別改進(jìn)研究[D];南京師范大學(xué);2018年

6 龔若愚;語音情感識(shí)別訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2014年

7 周曉曉;基于神經(jīng)網(wǎng)絡(luò)與多特征融合的維度語音情感識(shí)別研究[D];湖南大學(xué);2018年

8 李曉琴;基于支持向量機(jī)的語音情感識(shí)別[D];哈爾濱理工大學(xué);2018年

9 鄭麗;語音情感識(shí)別及其在服務(wù)機(jī)器人中的應(yīng)用研究[D];東北師范大學(xué);2018年

10 郝梓嵐;基于安卓的語音情感識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];廣西師范大學(xué);2018年

本文編號(hào)：2645334