本文關(guān)鍵詞：基于DNN的漢語(yǔ)語(yǔ)音識(shí)別聲學(xué)模型的研究

  更多相關(guān)文章： 語(yǔ)音識(shí)別 聲學(xué)模型 深度神經(jīng)網(wǎng)絡(luò)

【摘要】：在傳統(tǒng)的語(yǔ)音識(shí)別聲學(xué)模型建模方法中,高斯混合模型(Guasian mixture model,GMM)一直占主導(dǎo)地位。然而,在實(shí)際應(yīng)用場(chǎng)景中,漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)的識(shí)別效果并不理想。另一方面,人工神經(jīng)網(wǎng)絡(luò)在早期也用于聲學(xué)模型建模,但在實(shí)際應(yīng)用中其效果不及高斯混合模型。深度學(xué)習(xí)是近年來(lái)受到研究學(xué)者廣泛關(guān)注的新興機(jī)器學(xué)習(xí)技術(shù),該技術(shù)主要探討深度神經(jīng)網(wǎng)絡(luò)(Deep neural network,DNN)的建模與學(xué)習(xí)問題,對(duì)復(fù)雜問題具有很強(qiáng)的建模能力。深度神經(jīng)網(wǎng)絡(luò)指的是具有多層隱藏層的表示非線性關(guān)系的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),該結(jié)構(gòu)已被成功應(yīng)用到與語(yǔ)音,文本和圖像數(shù)據(jù)相關(guān)的問題。本課題首先結(jié)合三元文法語(yǔ)言模型建立了一個(gè)上下文相關(guān)的高斯混合模型——隱馬爾可夫模型漢語(yǔ)連續(xù)語(yǔ)音識(shí)別基準(zhǔn)系統(tǒng),重點(diǎn)分析了模型訓(xùn)練過程中涉及的相關(guān)問題。另外本文還構(gòu)建了兩個(gè)使用了深度神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)。其中一個(gè)系統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)——隱馬爾可夫模型結(jié)構(gòu),在該系統(tǒng)中,使用深度神經(jīng)網(wǎng)絡(luò)描述給定語(yǔ)音信號(hào)觀測(cè)特征時(shí)隱馬爾可夫模型中不可觀測(cè)狀態(tài)的分布模型。在訓(xùn)練該系統(tǒng)的聲學(xué)模型時(shí),利用一種迭代貪婪訓(xùn)練算法進(jìn)行訓(xùn)練,使用該算法能利用大量的無(wú)標(biāo)簽訓(xùn)練語(yǔ)料,并且可以使用預(yù)處理方法初始化深度神經(jīng)網(wǎng)絡(luò)中的權(quán)重,以幫助目標(biāo)函數(shù)的優(yōu)化,降低泛化誤差。另外一個(gè)為基于深度神經(jīng)網(wǎng)絡(luò)的Tandem語(yǔ)音識(shí)別系統(tǒng),該技術(shù)利用深度神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音數(shù)據(jù)作特征提取,并將新的特征向量作為漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)的輸入特征向量。實(shí)驗(yàn)結(jié)果顯示,基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音識(shí)別系統(tǒng)取得了較好的識(shí)別率,優(yōu)于傳統(tǒng)的依賴于上下文相關(guān)技術(shù)的GMM-HMM模型,但同時(shí)訓(xùn)練時(shí)間也相應(yīng)增加。深度神經(jīng)網(wǎng)絡(luò)可以利用連續(xù)多幀的高維語(yǔ)音特征向量及語(yǔ)音數(shù)據(jù)的內(nèi)在模式進(jìn)一步提高識(shí)別率。
【關(guān)鍵詞】：語(yǔ)音識(shí)別 聲學(xué)模型 深度神經(jīng)網(wǎng)絡(luò)
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TN912.34
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-14
• 1.1 課題背景8-9
• 1.2 國(guó)內(nèi)外相關(guān)技術(shù)發(fā)展現(xiàn)狀9-13
• 1.3 主要研究?jī)?nèi)容和組織結(jié)構(gòu)13-14
• 第2章 基于HMM的語(yǔ)音識(shí)別系統(tǒng)14-25
• 2.1 引言14
• 2.2 隱馬爾可夫模型14-18
• 2.2.1 馬爾可夫鏈15
• 2.2.2 隱馬爾可夫模型原理15-18
• 2.3 語(yǔ)言模型與解碼算法18-19
• 2.4 基于GMM-HMM的聲學(xué)模型訓(xùn)練19-21
• 2.5 基于ANN-HMM的聲學(xué)模型訓(xùn)練21-24
• 2.6 本章小結(jié)24-25
• 第3章 基于DNN的語(yǔ)音識(shí)別系統(tǒng)25-37
• 3.1 引言25
• 3.2 基于預(yù)訓(xùn)練的訓(xùn)練方法25-27
• 3.3 深度神經(jīng)網(wǎng)絡(luò)用于估計(jì)觀測(cè)概率27-32
• 3.3.1 深度神經(jīng)網(wǎng)絡(luò)——隱馬爾可夫聲學(xué)模型27-29
• 3.3.2 基于深度神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型訓(xùn)練算法29-32
• 3.4 基于深度神經(jīng)網(wǎng)絡(luò)的Tandem特征提取方法32-36
• 3.4.1 與DNN-HMM識(shí)別系統(tǒng)的結(jié)合33-34
• 3.4.2 基于Tandem方法的DNN-HMM系統(tǒng)訓(xùn)練算法34-36
• 3.5 本章小結(jié)36-37
• 第4章 實(shí)驗(yàn)結(jié)果及分析37-50
• 4.1 引言37
• 4.2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)37-40
• 4.2.1 語(yǔ)音數(shù)據(jù)特征提取38
• 4.2.2 建模單元選擇38-40
• 4.3 實(shí)驗(yàn)和結(jié)果分析40-49
• 4.3.1 基于GMM-HMM模型的基準(zhǔn)系統(tǒng)40-42
• 4.3.2 基于DNN-HMM模型的識(shí)別系統(tǒng)42-48
• 4.3.3 基于Tandem-DNN-HMM模型的識(shí)別系統(tǒng)48-49
• 4.4 本章小結(jié)49-50
• 結(jié)論50-51
• 參考文獻(xiàn)51-55
• 附錄55-59
• 致謝59

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 廖曉昕,傅予力,高健,趙新泉;具有反應(yīng)擴(kuò)散的Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性[J];電子學(xué)報(bào);2000年01期

2 張菊亮,章祥蓀;一個(gè)新的解線性規(guī)劃的神經(jīng)網(wǎng)絡(luò)(英文)[J];運(yùn)籌學(xué)學(xué)報(bào);2001年02期

3 羅公亮;從神經(jīng)網(wǎng)絡(luò)到支撐矢量機(jī)(上)[J];冶金自動(dòng)化;2001年05期

4 蔣德云,張弓;谷物識(shí)別中對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化(英文)[J];農(nóng)業(yè)工程學(xué)報(bào);2002年05期

5 王芳榮,周德義,鄭詠梅,王鼎,張鐵強(qiáng);生物表面光譜特性識(shí)別的神經(jīng)網(wǎng)絡(luò)方法[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2002年03期

6 宋光雄,何勝鋒,曹輝,張崢,鐘群鵬;基于Hopfield神經(jīng)網(wǎng)絡(luò)的腐蝕失效模式識(shí)別[J];金屬熱處理學(xué)報(bào);2003年01期

7 王學(xué)武,譚得健;神經(jīng)網(wǎng)絡(luò)的應(yīng)用與發(fā)展趨勢(shì)[J];計(jì)算機(jī)工程與應(yīng)用;2003年03期

8 陳有偉,李為民;基于混合訓(xùn)練神經(jīng)網(wǎng)絡(luò)的武器系統(tǒng)效能評(píng)估[J];計(jì)算機(jī)工程與應(yīng)用;2003年08期

9 劉斌,劉新芝,廖曉昕;脈沖Hopfield神經(jīng)網(wǎng)絡(luò)的魯棒H-穩(wěn)定性及其脈沖控制器設(shè)計(jì)(英文)[J];控制理論與應(yīng)用;2003年02期

10 劉國(guó)良,強(qiáng)文義,麻亮,陳興林;基于粗神經(jīng)網(wǎng)絡(luò)的仿人智能機(jī)器人的語(yǔ)音融合算法研究[J];控制與決策;2003年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 王雷;陳宗海;;神經(jīng)網(wǎng)絡(luò)在過程系統(tǒng)建模中的應(yīng)用綜述[A];'2002系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第四卷）[C];2002年

2 周宗潭;胡德文;;自組織的神經(jīng)網(wǎng)絡(luò)方法和群落生長(zhǎng)模型研究[A];1995年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議暨智能自動(dòng)化專業(yè)委員會(huì)成立大會(huì)論文集（上冊(cè)）[C];1995年

3 侯媛彬;易繼鍇;楊玉珍;陳雙葉;韓崇昭;;一種能消除混沌現(xiàn)象的神經(jīng)網(wǎng)絡(luò)[A];1996年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1996年

4 江銘炎;江銘虎;;一種神經(jīng)網(wǎng)絡(luò)特征壓縮及分類的研究[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

5 陳文新;王長(zhǎng)富;戴蓓倩;;基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)四聲識(shí)別[A];第一屆全國(guó)語(yǔ)言識(shí)別學(xué)術(shù)報(bào)告與展示會(huì)論文集[C];1990年

6 劉豐;姜建新;程俊;易克初;;一種用于語(yǔ)音識(shí)別的神經(jīng)網(wǎng)絡(luò)[A];第二屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];1992年

7 梁循;;神經(jīng)網(wǎng)絡(luò)中訓(xùn)練樣本空間的分割特性及其應(yīng)用[A];1995中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1995年

8 黃小原;肖四漢;樊治平;;神經(jīng)網(wǎng)絡(luò)預(yù)警系統(tǒng)及其應(yīng)用[A];1995中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1995年

9 李艷;邵日祥;方建安;邵世煌;;神經(jīng)網(wǎng)絡(luò)在功率電子及拖動(dòng)控制中的應(yīng)用[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

10 高文忠;顧樹生;平力;;靜態(tài)神經(jīng)網(wǎng)絡(luò)新算法及其收斂性初探[A];1994年中國(guó)控制會(huì)議論文集[C];1994年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 美國(guó)明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國(guó)家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國(guó)教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國(guó)紡織報(bào);2003年

4 中國(guó)科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國(guó)際先進(jìn)水平[N];中國(guó)電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國(guó)船舶報(bào);2006年

，

本文編號(hào)：758329