基于RNN-RBM語(yǔ)言模型的語(yǔ)音識(shí)別研究
本文選題:語(yǔ)音識(shí)別 切入點(diǎn):語(yǔ)言模型 出處:《計(jì)算機(jī)研究與發(fā)展》2014年09期 論文類(lèi)型:期刊論文
【摘要】:近年來(lái)深度學(xué)習(xí)興起,其在語(yǔ)言模型領(lǐng)域有著不錯(cuò)的成效,如受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM)語(yǔ)言模型等.不同于N-gram語(yǔ)言模型,這些根植于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型可以將詞序列映射到連續(xù)空間來(lái)評(píng)估下一詞出現(xiàn)的概率,以解決數(shù)據(jù)稀疏的問(wèn)題.此外,也有學(xué)者使用遞歸神經(jīng)網(wǎng)絡(luò)來(lái)建構(gòu)語(yǔ)言模型,期望由遞歸的方式充分利用所有上文信息來(lái)預(yù)測(cè)下一詞,進(jìn)而有效處理長(zhǎng)距離語(yǔ)言約束.根據(jù)遞歸受限玻爾茲曼機(jī)神經(jīng)網(wǎng)絡(luò)(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基礎(chǔ)來(lái)捕捉長(zhǎng)距離信息;另外,也探討了根據(jù)語(yǔ)言中語(yǔ)句的特性來(lái)動(dòng)態(tài)地調(diào)整語(yǔ)言模型.實(shí)驗(yàn)結(jié)果顯示,使用RNN-RBM語(yǔ)言模型對(duì)于大詞匯連續(xù)語(yǔ)音識(shí)別的效能有相當(dāng)程度的提升.
[Abstract]:In recent years, the rise of in-depth learning has a good effect in the field of language modeling, such as restricted Boltzmann machine restricted Boltzmann model, which is different from N-gram language model. These neural network-based language models can map word sequences to a continuous space to evaluate the probability of the next word appearing to solve the problem of sparse data. In addition, some scholars use recurrent neural networks to construct language models. It is expected that all the above information can be used recursively to predict the next term and thus deal with long distance language constraints effectively. The long distance information is captured according to the recurrent neural network-restricted Boltzmann machine RNN-RBM, which is based on the recurrent neural network-restricted Boltzmann machine neural network of recursive constrained Boltzmann machine. This paper also discusses how to dynamically adjust the language model according to the characteristics of sentences in the language. The experimental results show that the effectiveness of using the RNN-RBM language model for the continuous speech recognition of large vocabulary is improved to a considerable extent.
【作者單位】: 湖北科技學(xué)院網(wǎng)絡(luò)管理中心;弗吉尼亞理工大學(xué)信息技術(shù)中心;湖北科技學(xué)院外國(guó)語(yǔ)學(xué)院;中南財(cái)經(jīng)政法大學(xué)外國(guó)語(yǔ)學(xué)院;
【分類(lèi)號(hào)】:TN912.34
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 劉加;漢語(yǔ)大詞匯量連續(xù)語(yǔ)音識(shí)別系統(tǒng)研究進(jìn)展[J];電子學(xué)報(bào);2000年01期
2 張建平;語(yǔ)音識(shí)別與理解的語(yǔ)言統(tǒng)計(jì)模型和搜索算法[J];電子商務(wù);1999年09期
3 申廣忠;;蒙古語(yǔ)語(yǔ)音識(shí)別系統(tǒng)語(yǔ)言模型的設(shè)計(jì)[J];微計(jì)算機(jī)信息;2007年12期
4 吳軍,,王作英;漢語(yǔ)信息熵和語(yǔ)言模型的復(fù)雜度[J];電子學(xué)報(bào);1996年10期
5 田野,李涓子,王作英,陸大金;電話(huà)語(yǔ)音識(shí)別系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2001年13期
6 沈兆勇;顧明亮;;基于符號(hào)化和語(yǔ)言模型方法的漢語(yǔ)方言自動(dòng)辨識(shí)[J];徐州師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年02期
7 孫靜,朱杰,徐向華;漢語(yǔ)語(yǔ)音識(shí)別中的加權(quán)概念轉(zhuǎn)移網(wǎng)絡(luò)語(yǔ)言模型[J];上海交通大學(xué)學(xué)報(bào);2003年10期
8 許永林,史曉東,蔡駿;利用FP-樹(shù)構(gòu)造多詞Trigger對(duì)語(yǔ)言模型[J];廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期
9 王仕超;;基于HTK的語(yǔ)音識(shí)別的語(yǔ)料搜集與語(yǔ)言模型[J];硅谷;2010年20期
10 汪志鴻;于水源;杜利民;;使用期待提高對(duì)話(huà)系統(tǒng)的語(yǔ)音識(shí)別率[J];黑龍江大學(xué)自然科學(xué)學(xué)報(bào);2006年01期
相關(guān)會(huì)議論文 前10條
1 陳振標(biāo);徐波;;限定領(lǐng)域的語(yǔ)言模型[A];第七屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議(NCMMSC7)論文集[C];2003年
2 蘇韜;汪俊杰;孫甲松;王作英;;基于最大似然估計(jì)的語(yǔ)言模型自適應(yīng)[A];第六屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];2001年
3 張建平;庹凌云;孫寶海;汪俊杰;劉建;顏永紅;;LVCSR系統(tǒng)中語(yǔ)言模型的參數(shù)選擇與性能評(píng)測(cè)[A];第六屆全國(guó)現(xiàn)代語(yǔ)音學(xué)學(xué)術(shù)會(huì)議論文集(下)[C];2003年
4 吳根清;鄭方;金凌;吳文虎;;一種在線(xiàn)遞增式語(yǔ)言模型自適應(yīng)方法[A];第六屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];2001年
5 吳宗憲;王駿發(fā);;語(yǔ)音辨認(rèn)中階層式以文法為主之馬可夫語(yǔ)言模型[A];第三屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];1994年
6 林小俊;田浩;王馨浩;杜蘊(yùn)璇;許敏;吳璽宏;遲惠生;;語(yǔ)言模型訓(xùn)練語(yǔ)料處理方法及解碼詞典的設(shè)計(jì)[A];第八屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議論文集[C];2005年
7 顏龍;劉剛;郭軍;;漢語(yǔ)大詞匯連續(xù)語(yǔ)音識(shí)別系統(tǒng)的研究[A];第七屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議(NCMMSC7)論文集[C];2003年
8 張家
本文編號(hào):1633530
本文鏈接:http://sikaile.net/kejilunwen/wltx/1633530.html