發(fā)布時(shí)間：2018-03-25 09:15

  本文選題：發(fā)音錯(cuò)誤檢測　切入點(diǎn)：計(jì)算機(jī)輔助語言教學(xué)　出處：《中國科學(xué)技術(shù)大學(xué)》2016年博士論文

【摘要】：隨著全球經(jīng)濟(jì)的飛速發(fā)展,不同國家之間在政治、經(jīng)濟(jì)、文化、教育等各個(gè)方面的交流與合作越發(fā)頻繁。越多的人開始學(xué)習(xí)除母語之外的另外一種語言。掌握一門交流語言,口語學(xué)習(xí)至關(guān)重要。高效的口語學(xué)習(xí)需要師生之間一對一、面對面的互動(dòng)交流。然而,這種方式卻受到時(shí)空和經(jīng)濟(jì)條件的限制。近些年來,隨著科學(xué)技術(shù)的發(fā)展,在線教育越來越受歡迎,以云為核心的強(qiáng)大計(jì)算資源,高度普及的移動(dòng)智能設(shè)備以及飛速發(fā)展的語音處理技術(shù),這些有利條件使得計(jì)算機(jī)輔助語言學(xué)習(xí)系統(tǒng)(CALL)越來越受到人們的親睞。然而,音素層面發(fā)音錯(cuò)誤的檢測與診斷,作為CALL系統(tǒng)的一個(gè)核心模塊,其準(zhǔn)確度依然有待進(jìn)一步提高。近年來,深度學(xué)習(xí),作為一種新的機(jī)器學(xué)習(xí)方法,在人工智能的各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用和成功。在這一背景下,本文也著手探索深度神經(jīng)網(wǎng)絡(luò)(DNN)框架下更高效的發(fā)音錯(cuò)誤檢測算法。本文先針對口語學(xué)習(xí)的特殊性,改善原始的聲學(xué)模型,然后從后驗(yàn)概率計(jì)算、假設(shè)檢驗(yàn)?zāi)Ｐ秃陀斜O(jiān)督學(xué)習(xí)分類三個(gè)不同的角度研究發(fā)音錯(cuò)誤檢測算法,拓展與改善傳統(tǒng)的方法,提出了DNN框架下的新方法。首先,本文在語音識別聲學(xué)模型的基礎(chǔ)上,引入基頻曲線特征,增強(qiáng)了CALL系統(tǒng)對中文聲調(diào)和英文單詞重讀的判別能力。除語音識別的單詞或漢字準(zhǔn)確率外,CALL系統(tǒng)還關(guān)注對重讀或聲調(diào)的判別能力�；l曲線是其最主要的聲學(xué)信號。然而,和譜特征不同,基頻曲線是非連續(xù)的,清音段發(fā)聲時(shí)聲帶不振動(dòng),沒有基頻值�；l曲線的非連續(xù)特性在傳統(tǒng)的GMM-HMM系統(tǒng)中甚難直接處理,常用方法是在清音段做插值處理,再將其以連續(xù)信號進(jìn)行建模。鑒于DNN對輸入特征的類型和先驗(yàn)分布沒有潛在的假設(shè)和要求,本文探討了DNN框架下基頻特征更為簡潔的非插值處理方式,研究了DNN-HMM系統(tǒng)中各種基頻相關(guān)特征以及插值和非插值兩種嵌入方法對中文聲調(diào)和音節(jié)識別結(jié)果的影響。實(shí)驗(yàn)發(fā)現(xiàn)基頻的一階和二階梯度是影響聲調(diào)識別的最主要因素,而清音段的插值或非插值方法對聲調(diào)和音節(jié)的識別影響不大。但非插值處理方法簡省了前端的插值處理過程。其次,本文將傳統(tǒng)的發(fā)音質(zhì)量評估(GOP)算法拓展至DNN的發(fā)音錯(cuò)誤檢測系統(tǒng)中,并簡化計(jì)算過程,大幅度提高了口語錯(cuò)誤檢測的準(zhǔn)確率。針對用戶的非標(biāo)準(zhǔn)發(fā)音與標(biāo)準(zhǔn)發(fā)音模型之間的不一致,本文引入基于KL散度正則化的DNN自適應(yīng)技術(shù)對聲學(xué)模型進(jìn)行自適應(yīng)。針對傳統(tǒng)GOP計(jì)算框架中,當(dāng)前音素的發(fā)音錯(cuò)誤會(huì)影響其相鄰音素的GOP計(jì)算這一觀測,進(jìn)一步改善GOP的計(jì)算方法。在一個(gè)大規(guī)模的外國人學(xué)中文數(shù)據(jù)庫中的實(shí)驗(yàn)結(jié)果表明,DNN的自適應(yīng)技術(shù)和修正后的GOP能顯著地提高音素層面發(fā)音錯(cuò)誤檢測與診斷的準(zhǔn)確率。再次,本文提出一種基于語音學(xué)空間和KL散度距離度量的發(fā)音錯(cuò)誤檢測算法。語音學(xué)空間的基本元素為senone,其后驗(yàn)概率由DNN從聲學(xué)特征中經(jīng)區(qū)分性學(xué)習(xí)獲得。DNN的區(qū)分性學(xué)習(xí)過程規(guī)整了不同說話人、傳輸信道、錄音環(huán)境等外界噪聲的干擾。因此,相對于聲學(xué)特征空間,語音學(xué)空間更適宜發(fā)音錯(cuò)誤的檢測。另外,senone是非常小的語音單元,是描述語音學(xué)特性的基本元素,可更精確、全面地描述各個(gè)音素在不同上下文中的發(fā)音錯(cuò)誤形式。鑒于此,本文提出在語音學(xué)空間中,顯式地構(gòu)造各個(gè)senone正確和錯(cuò)誤發(fā)音的統(tǒng)計(jì)模型。將錯(cuò)誤檢測問題轉(zhuǎn)化為了語音學(xué)空間中點(diǎn)的距離度量問題。另外,為了進(jìn)一步提高語音學(xué)空間中各個(gè)senone間的區(qū)分性,本文還提出一種基于語音學(xué)特征和KL散度量度的隱狀態(tài)聚類算法,獲得新的決策樹、senone集以及聲學(xué)模型。新的聲學(xué)模型也進(jìn)一步提高了發(fā)音錯(cuò)誤檢測的準(zhǔn)確率。最后,考慮到某些音素樣本不足,無法獨(dú)自構(gòu)建一個(gè)魯棒的分類器,本文提出一種新的基于神經(jīng)網(wǎng)絡(luò)多任務(wù)學(xué)習(xí)的高效分類器。將各個(gè)音素的所有二分類器嵌入到同一個(gè)神經(jīng)網(wǎng)絡(luò)模型中,通過共享底層神經(jīng)網(wǎng)絡(luò),樣本量不足的音素分類器可以借鑒其他分類器學(xué)習(xí)到的高層特征表達(dá),從而改善分類器的性能。本文采用二項(xiàng)邏輯回歸模型作為基本二分類器,其底層共享的網(wǎng)絡(luò)為普通的前饋神經(jīng)網(wǎng)絡(luò)。我們在一個(gè)英文和中文語言學(xué)習(xí)數(shù)據(jù)庫上分別驗(yàn)證了基于共同學(xué)習(xí)分類器在發(fā)音錯(cuò)誤檢測方面的系統(tǒng)性能。
[Abstract]:......
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TN912.3;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報(bào);2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

相關(guān)會(huì)議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動(dòng)化會(huì)議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動(dòng)化會(huì)議論文集（第七分冊）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 美國明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報(bào);2003年

4 中國科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報(bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日報(bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進(jìn)型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實(shí)現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時(shí)滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

，

本文編號：1662479