隨著人工智能技術(shù)的迅猛發(fā)展,人們對(duì)人機(jī)交互技術(shù)提出了更高的要求,希望具有識(shí)別人類情感能力的智能產(chǎn)品能夠?yàn)槿藱C(jī)交互用戶提供流暢的人機(jī)接口。因此,語(yǔ)音情感識(shí)別成為了人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)。為了使計(jì)算機(jī)可以清晰地感知人類情感并與人類順暢地交流,必須充分利用語(yǔ)音、面部表情和發(fā)音器官運(yùn)動(dòng)數(shù)據(jù)等信號(hào)分析和研究語(yǔ)音的情感。另外,情感語(yǔ)音中的發(fā)音器官運(yùn)動(dòng)學(xué)研究成果可以應(yīng)用于言語(yǔ)康復(fù)訓(xùn)練和計(jì)算機(jī)輔助語(yǔ)言學(xué)習(xí)中,研究運(yùn)動(dòng)學(xué)特征向聲學(xué)特征的轉(zhuǎn)換有助于開(kāi)展情感語(yǔ)音的產(chǎn)生、識(shí)別和合成等方面的研究。綜上所述,研究融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語(yǔ)音情感識(shí)別對(duì)深入研究情感語(yǔ)音的發(fā)音機(jī)理和人機(jī)交互技術(shù)具有重大的實(shí)際意義和應(yīng)用價(jià)值。本文主要圍繞融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語(yǔ)音情感識(shí)別系統(tǒng)展開(kāi)研究,具體內(nèi)容包括融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的雙模態(tài)情感語(yǔ)音數(shù)據(jù)集的設(shè)計(jì)、情感語(yǔ)音中運(yùn)動(dòng)學(xué)和聲學(xué)特征的提取及分析、運(yùn)動(dòng)學(xué)向聲學(xué)特征的轉(zhuǎn)換系統(tǒng)研究、特征融合及情感識(shí)別研究等。首先,本文設(shè)計(jì)了融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的表演型漢語(yǔ)普通話雙模態(tài)情感語(yǔ)音數(shù)據(jù)集;其次,對(duì)情感語(yǔ)音作運(yùn)動(dòng)學(xué)特征和聲學(xué)特征的提取及分析,并對(duì)二者的相關(guān)性進(jìn)行研究;再次,提出了基于PSO-LSSVM的運(yùn)動(dòng)學(xué)-聲學(xué)特征轉(zhuǎn)換算法,實(shí)現(xiàn)了由運(yùn)動(dòng)學(xué)特征向第二共振峰及12維MFCC特征轉(zhuǎn)換的運(yùn)算;最后,提出了基于DBM的混合多模態(tài)融合方法,并將融合特征應(yīng)用于情感識(shí)別研究中。主要研究?jī)?nèi)容及創(chuàng)新成果如下所述:(1)設(shè)計(jì)了包含聲學(xué)數(shù)據(jù)和運(yùn)動(dòng)學(xué)數(shù)據(jù)的漢語(yǔ)普通話雙模態(tài)情感語(yǔ)音數(shù)據(jù)集。本文對(duì)融合運(yùn)動(dòng)學(xué)數(shù)據(jù)和聲學(xué)數(shù)據(jù)的已有常見(jiàn)語(yǔ)音庫(kù)從建立方法和數(shù)據(jù)內(nèi)容的角度進(jìn)行了對(duì)比分析,采用表演法錄制了包含四種情感(生氣、高興、傷心和中性)的漢語(yǔ)普通話情感語(yǔ)音集。進(jìn)而,利用主觀和客觀評(píng)價(jià)方法相結(jié)合的綜合模糊評(píng)價(jià)模型對(duì)聲學(xué)數(shù)據(jù)進(jìn)行評(píng)價(jià)并篩選,同時(shí)根據(jù)RMSE對(duì)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行篩選,最終得到有效的,符合人們?nèi)粘＝涣髁?xí)慣的,包含單元音、雙音節(jié)詞和句子的漢語(yǔ)普通話雙模態(tài)情感語(yǔ)音數(shù)據(jù)集,應(yīng)用于后續(xù)的研究中。(2)突破傳統(tǒng)的單音節(jié)限制,研究了基于運(yùn)動(dòng)學(xué)-聲學(xué)特征的雙音節(jié)詞級(jí)和句子級(jí)情感語(yǔ)音。本文結(jié)合聲調(diào)語(yǔ)言特點(diǎn),分別以雙音節(jié)詞和包含完整語(yǔ)義的句子為研究對(duì)象,分析雙模模態(tài)情感語(yǔ)音中的運(yùn)動(dòng)學(xué)特征和聲學(xué)特征受情感變化的影響,并對(duì)運(yùn)動(dòng)學(xué)特征和聲學(xué)特征之間的相關(guān)性進(jìn)行分析。在對(duì)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行特征提取前,對(duì)運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行基于普氏變換的說(shuō)話人歸一,歸一后的數(shù)據(jù)可以消除不同說(shuō)話人的生理區(qū)別。經(jīng)過(guò)研究發(fā)現(xiàn),音節(jié)越多情感對(duì)運(yùn)動(dòng)學(xué)特征的影響越顯著,比聲學(xué)特征受情感的影響更顯著。同時(shí),隨著音節(jié)數(shù)量的增多,發(fā)現(xiàn)舌根和左右嘴角的運(yùn)動(dòng)速度受情感影響更加顯著。句子級(jí)和雙音節(jié)詞級(jí)情感語(yǔ)音的運(yùn)動(dòng)學(xué)-聲學(xué)特征分析可以證明多音節(jié)比單音節(jié)或者元音擁有更豐富的情感信息,音節(jié)數(shù)量越多,情感對(duì)運(yùn)動(dòng)學(xué)特征的影響就越顯著。同時(shí),研究表明舌和唇的運(yùn)動(dòng)速度與聲學(xué)的共振峰、基頻和振幅等特征間存在強(qiáng)烈的相關(guān)性,而且情感的表現(xiàn)越強(qiáng)烈,運(yùn)動(dòng)學(xué)和聲學(xué)特征之間的相關(guān)性就越強(qiáng)。(3)基于PSO-LSSVM算法提出了雙模態(tài)情感語(yǔ)音中的運(yùn)動(dòng)學(xué)-聲學(xué)特征轉(zhuǎn)換模型。結(jié)合運(yùn)動(dòng)學(xué)-聲學(xué)特征分析結(jié)果,分別應(yīng)用GMM模型和PSO-LSSVM算法實(shí)現(xiàn)了由運(yùn)動(dòng)學(xué)特征分別向第二共振峰和12維MFCC的轉(zhuǎn)換,并對(duì)轉(zhuǎn)換模型進(jìn)行了理論分析和公式推導(dǎo)。將轉(zhuǎn)換生成的特征與實(shí)際的聲學(xué)特征進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果證明轉(zhuǎn)換精度較高。(4)提出了基于DBM的混合多模態(tài)融合方法,并將其應(yīng)用于情感識(shí)別中。本文研究了語(yǔ)音情感識(shí)別中的混合融合方法,并對(duì)其進(jìn)行理論分析和公式推導(dǎo),利用隨機(jī)森林和支持向量機(jī)實(shí)現(xiàn)了情感的識(shí)別。實(shí)驗(yàn)結(jié)果表明,混合融合后的識(shí)別結(jié)果明顯優(yōu)于單一模態(tài)情感識(shí)別的結(jié)果,也優(yōu)于對(duì)聲學(xué)特征和運(yùn)動(dòng)學(xué)特征作特征級(jí)融合后的識(shí)別結(jié)果;同時(shí),對(duì)K-近鄰、支持向量機(jī)和隨機(jī)森林分類器的識(shí)別結(jié)果進(jìn)行對(duì)比發(fā)現(xiàn),采用隨機(jī)森林作為識(shí)別器的識(shí)別效果要優(yōu)于支持向量機(jī)和K-近鄰的識(shí)別效果。
【學(xué)位單位】：太原理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2019
【中圖分類】：TN912.34;TP18
【部分圖文】：

數(shù)據(jù)的采集原理技術(shù)是一種通過(guò)構(gòu)建環(huán)繞在發(fā)音人頭部的磁場(chǎng)，結(jié)合黏貼在發(fā)音器官記錄發(fā)音器官運(yùn)動(dòng)軌跡的數(shù)據(jù)采集技術(shù)。應(yīng)用該技術(shù)的典型儀器來(lái)自德國(guó) Carstens 公司，這類型設(shè)備的工作原理是通過(guò)線圈等磁場(chǎng)產(chǎn)生設(shè)周圍建立磁場(chǎng)，同時(shí)傳感器跟隨發(fā)音器官在該磁場(chǎng)中作切割運(yùn)動(dòng)以產(chǎn)。傳感器產(chǎn)生的電流大小與傳感器的運(yùn)動(dòng)距離成比例，可以利用這種器在磁場(chǎng)空間中每一時(shí)刻的坐標(biāo)值[75]。備所用的傳感器必須小巧、易于黏貼到發(fā)音器官表面，比如德國(guó) Ca器的接觸面積大約為 3 平方毫米，厚度約為 2.5 毫米，如圖 2-6(a)所將這些傳感器黏貼到發(fā)音器官上，如圖 2-6(b)所示。

控投影儀控制器投影機(jī)麥克風(fēng)圖 3-1AG501 錄音系統(tǒng)硬件連接圖rdware Connection Diagram of AG501 Recordirstens公司推出的一款專門用于采集發(fā)為1250Hz的運(yùn)動(dòng)學(xué)數(shù)據(jù)采集通道和1據(jù)由黏貼在發(fā)音器官各部位的傳感器聲學(xué)數(shù)據(jù)可以實(shí)現(xiàn)自動(dòng)同步。AG501

該儀器包含24路采樣率為1250Hz的運(yùn)動(dòng)學(xué)數(shù)據(jù)采集通道和1路采樣率為48KHz的聲學(xué)數(shù)據(jù)采集通道。運(yùn)動(dòng)學(xué)數(shù)據(jù)由黏貼在發(fā)音器官各部位的傳感器采集，聲學(xué)數(shù)據(jù)由專用麥克風(fēng)采集，運(yùn)動(dòng)學(xué)數(shù)據(jù)和聲學(xué)數(shù)據(jù)可以實(shí)現(xiàn)自動(dòng)同步。AG501的外形如圖3-3所示。圖 3-2AG501 儀器圖Figure 3-2 Machine of AG501
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王延花;;臨夏“花兒”的聲學(xué)特征分析[J];甘肅教育;2017年05期

2 А.П.Молотков;陳尚森;;拉伸過(guò)程中化學(xué)纖維的聲學(xué)特征變化[J];國(guó)外紡織技術(shù)(化纖、染整、環(huán)境保護(hù)分冊(cè));1987年01期

3 韓明明;巴圖格日勒;格根塔娜;德格吉呼;;青海土語(yǔ)烏圖美仁話邊音/l/的聲學(xué)特征研究[J];西北民族大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年04期

4 孟曉紅;張夢(mèng)翰;;發(fā)聲態(tài)45種聲學(xué)特征的綜合效應(yīng)分析[J];南開(kāi)語(yǔ)言學(xué)刊;2017年02期

5 鄒晨曉;;幾種基礎(chǔ)情緒下漢語(yǔ)語(yǔ)音的聲學(xué)特征分析[J];青年作家;2014年18期

6 江海燕;劉巖;盧莉;;維吾爾語(yǔ)疑問(wèn)語(yǔ)調(diào)的聲學(xué)特征[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年S1期

7 鄭日新;耳鳴聲學(xué)特征與中醫(yī)證型關(guān)系的初步研究[J];安徽中醫(yī)學(xué)院學(xué)報(bào);2005年05期

8 何其超，房斌，龍建忠，許天宏;草原鼠兔嗚叫聲的觀察和聲學(xué)特征分析[J];聲學(xué)學(xué)報(bào);1996年S1期

9 王永華,甘雨,丁水耿;耳鳴的虛實(shí)辨證及聲學(xué)特征分析[J];中國(guó)中西醫(yī)結(jié)合耳鼻咽喉科雜志;1996年03期

10 鄧見(jiàn)光;潘曉衡;林玉志;;基于聲學(xué)特征的樂(lè)器識(shí)別綜述[J];東莞理工學(xué)院學(xué)報(bào);2012年03期

相關(guān)博士學(xué)位論文 前10條

1 任國(guó)鳳;融合運(yùn)動(dòng)學(xué)和聲學(xué)特征的語(yǔ)音情感識(shí)別研究[D];太原理工大學(xué);2019年

2 劉正晨;結(jié)合發(fā)音特征與深度學(xué)習(xí)的語(yǔ)音生成方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

3 張盛;漢語(yǔ)語(yǔ)音情緒識(shí)別[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

4 孟凡博;連續(xù)語(yǔ)流中焦點(diǎn)重音的分析與生成[D];清華大學(xué);2013年

5 謝爾曼;2D-Haar聲學(xué)特征超向量生成及大規(guī)模說(shuō)話人識(shí)別技術(shù)研究[D];北京理工大學(xué);2015年

6 孟和吉雅;蒙古語(yǔ)標(biāo)準(zhǔn)音水平測(cè)試系統(tǒng)研究[D];內(nèi)蒙古大學(xué);2010年

7 孫雪;國(guó)際音標(biāo)符號(hào)系統(tǒng)之元音聲學(xué)特征分析[D];南開(kāi)大學(xué);2009年

8 盧紅云;韻母構(gòu)音運(yùn)動(dòng)聲學(xué)特征分析及治療策略的制定[D];華東師范大學(xué);2011年

9 劉佳;語(yǔ)音情感識(shí)別的研究與應(yīng)用[D];浙江大學(xué);2009年

10 蔣兵;語(yǔ)種識(shí)別深度學(xué)習(xí)方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 周子松;基于支持向量數(shù)據(jù)描述的風(fēng)電機(jī)組葉片健康聲學(xué)診斷方法研究[D];北京郵電大學(xué);2019年

2 張世倫;基于人群聲學(xué)特征的商業(yè)步行街聲景預(yù)測(cè)研究[D];哈爾濱工業(yè)大學(xué);2017年

3 邸然;保定方言音系實(shí)驗(yàn)研究[D];南京師范大學(xué);2018年

4 原夢(mèng);基于聲學(xué)特征和發(fā)音運(yùn)動(dòng)特征的構(gòu)音障礙可懂度評(píng)估研究[D];天津大學(xué);2018年

5 趙娟;風(fēng)機(jī)葉片健康監(jiān)測(cè)聲學(xué)特征提取方法研究[D];北京郵電大學(xué);2018年

6 王蓉蓉;基于非參貝葉斯方法的聲學(xué)單元建模技術(shù)及其應(yīng)用研究[D];戰(zhàn)略支援部隊(duì)信息工程大學(xué);2018年

7 劉晨;藏傳佛教樂(lè)器的歷史傳承與聲學(xué)特征研究[D];西藏大學(xué);2016年

8 林玉志;基于聲學(xué)特征的樂(lè)器識(shí)別研究[D];華南理工大學(xué);2012年

9 丁迎春;健聽(tīng)與聽(tīng)障兒童語(yǔ)調(diào)聲學(xué)特征的比較研究[D];華東師范大學(xué);2011年

10 鄭鑫;基于深度神經(jīng)網(wǎng)絡(luò)的聲學(xué)特征學(xué)習(xí)及音素識(shí)別的研究[D];清華大學(xué);2014年

本文編號(hào)：2852136