本文關(guān)鍵詞： 發(fā)音器官 超聲圖像 語音信號 深度學(xué)習(xí) 高斯混合模型　出處：《天津大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：建立發(fā)音器官運(yùn)動(dòng)與語音信號間的映射關(guān)系對于發(fā)音訓(xùn)練以及言語矯正有著很重要的作用。本文通過語音記錄儀記錄中文六個(gè)元音(a,o,e,i,u,ü)發(fā)音時(shí)的語音信號,利用超聲儀記錄發(fā)音時(shí)舌頭運(yùn)動(dòng)的信息,使用高速攝像頭記錄發(fā)音運(yùn)動(dòng)時(shí)唇部正面和側(cè)面的信息,從而形成了一個(gè)中文元音多模態(tài)語音數(shù)據(jù)庫。本文提出了一個(gè)基于深度學(xué)習(xí)框架的發(fā)音器官運(yùn)動(dòng)與聲學(xué)信號間的雙向映射方法。利用基于受限玻爾茲曼機(jī)的深度自編碼網(wǎng)絡(luò)方法對發(fā)音器官運(yùn)動(dòng)信息與聲學(xué)信號進(jìn)行了特征提取與重構(gòu)。重構(gòu)結(jié)果發(fā)現(xiàn),對于超聲圖像,基于深度學(xué)習(xí)的特征提取的方法比主成分分析的方法要好;音頻信號也能夠利用深度自編碼網(wǎng)絡(luò)的方法來表征。然后,我們提出了一個(gè)基于深度學(xué)習(xí)的框架實(shí)現(xiàn)兩者間的映射關(guān)系,該框架是通過深度降噪自編碼網(wǎng)絡(luò)進(jìn)行改進(jìn)而來�？梢栽谥形脑魯�(shù)據(jù)庫上實(shí)現(xiàn)語音信號來驅(qū)動(dòng)發(fā)音器官的運(yùn)動(dòng),以及發(fā)音器官的運(yùn)動(dòng)來合成語音信號。并且用傳統(tǒng)的基于混合高斯模型的方法與之對比,發(fā)現(xiàn)我們提出的方法有更好的效果。最后,我們將該映射框架應(yīng)用在中文連續(xù)語音上,并取得了一定的效果。
[Abstract]:A multi - modal speech database based on depth learning is presented in this paper .

【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TN912.3;TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前8條

1 郭光立;可編程數(shù)字發(fā)音器[J];家庭電子;1997年03期

2 ;好聲音,從何而來?[J];科技傳播;2012年19期

3 傅懷平,張學(xué)國,楊紅;多路合成全息語音發(fā)音器官圖譜的研究[J];光電子·激光;2002年12期

4 吳強(qiáng);何清波;孔凡讓;;道旁聲學(xué)信號多普勒畸變校正[J];數(shù)據(jù)采集與處理;2014年02期

5 吳強(qiáng);孔凡讓;何清波;劉永斌;;基于重采樣技術(shù)的聲學(xué)信號多普勒畸變校正[J];信號處理;2012年09期

6 陸罡;楊北海;王晨光;蔡延財(cái);;多普勒計(jì)程儀聲學(xué)信號處理方法研究[J];電腦知識與技術(shù);2014年01期

7 何平;李攀;孫慧琪;孫楠翔;;列車軸承故障聲學(xué)信號采集系統(tǒng)設(shè)計(jì)[J];自動(dòng)化與儀表;2011年10期

8 阮志康;曹廣忠;;一種基于DSP的聲學(xué)信號采集系統(tǒng)設(shè)計(jì)[J];儀器儀表用戶;2006年05期

相關(guān)重要報(bào)紙文章 前7條

1 王若愚;惜言如金能護(hù)嗓[N];保健時(shí)報(bào);2006年

2 齊建榮;兒童口吃與心理有關(guān)[N];大眾衛(wèi)生報(bào);2007年

3 衣曉峰 本報(bào)記者 姚艷春;別讓嗓子“超負(fù)荷”[N];黑龍江日報(bào);2004年

4 紅 火;人到年老應(yīng)護(hù)嗓[N];中國中醫(yī)藥報(bào);2006年

5 記者 謝苗楓　通訊員 盧健民 彭梅蕾;暨大明年新增播音專業(yè)[N];南方日報(bào);2008年

6 柳軍;幫助孩子正確發(fā)音[N];大眾衛(wèi)生報(bào);2000年

7 本報(bào)記者　聶翠蓉;我是機(jī)器,我像人[N];科技日報(bào);2006年

相關(guān)博士學(xué)位論文 前3條

1 李睿;發(fā)音的3D可視化研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 朱仲文;高壓共軌柴油機(jī)基于聲學(xué)信號的燃燒特征觀測方法研究[D];天津大學(xué);2013年

3 吳強(qiáng);基于道旁聲學(xué)信號的列車滾動(dòng)軸承故障診斷技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2013年

相關(guān)碩士學(xué)位論文 前4條

1 鄭鋅源;發(fā)音器官的運(yùn)動(dòng)與聲學(xué)信號之間映射關(guān)系的研究[D];天津大學(xué);2016年

2 暴鴻浩;結(jié)合Cine-和Tagged-MRI的發(fā)音器官運(yùn)動(dòng)觀測與分析[D];天津大學(xué);2016年

3 劉杰;三維幾何發(fā)音模型的構(gòu)建與控制[D];天津大學(xué);2016年

4 宋嬋;人體發(fā)音過程中的三維聲道幾何建模[D];天津大學(xué);2014年

，

本文編號：1530542