本文選題：語(yǔ)音識(shí)別 + 遞歸神經(jīng)網(wǎng)絡(luò)�。� 參考：《電子與信息學(xué)報(bào)》2017年04期

【摘要】：遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)如今已經(jīng)廣泛用于自動(dòng)語(yǔ)音識(shí)別(Automatic Speech Recognition,ASR)的聲學(xué)建模。雖然其較傳統(tǒng)的聲學(xué)建模方法有很大優(yōu)勢(shì),但相對(duì)較高的計(jì)算復(fù)雜度限制了這種神經(jīng)網(wǎng)絡(luò)的應(yīng)用,特別是在實(shí)時(shí)應(yīng)用場(chǎng)景中。由于遞歸神經(jīng)網(wǎng)絡(luò)采用的輸入特征通常有較長(zhǎng)的上下文,因此利用重疊信息來(lái)同時(shí)降低聲學(xué)后驗(yàn)和令牌傳遞的時(shí)間復(fù)雜度成為可能。該文介紹了一種新的解碼器結(jié)構(gòu),通過(guò)有規(guī)律拋棄存在重疊的幀來(lái)獲得解碼過(guò)程中的計(jì)算開(kāi)銷降低。特別地,這種方法可以直接用于原始的遞歸神經(jīng)網(wǎng)絡(luò)模型,只需對(duì)隱馬爾可夫模型(Hidden Markov Model,HMM)結(jié)構(gòu)做小的變動(dòng),這使得這種方法具有很高的靈活性。該文以時(shí)延神經(jīng)網(wǎng)絡(luò)為例驗(yàn)證了所提出的方法,證明該方法能夠在精度損失相對(duì)較小的情況下取得2~4倍的加速比。
[Abstract]:Recurrent Neural Network (RNN) has been widely used in acoustic modeling of automatic Speech recognition (ASR).Although it has a great advantage over the traditional acoustic modeling method, the relatively high computational complexity limits the application of this neural network, especially in real-time application scenarios.Since the input features used in recurrent neural networks usually have a long context it is possible to reduce the time complexity of acoustic posteriori and token passing by using overlapping information at the same time.In this paper, a new decoder structure is introduced, which can reduce the computation cost of decoding by regularly discarding overlapped frames.In particular, this method can be directly applied to the original recurrent neural network model, with small changes in the Hidden Markov Model (HMMs) structure, which makes this method highly flexible.In this paper, the delay neural network is taken as an example to verify the proposed method, and it is proved that the proposed method can achieve a speedup ratio of 2 to 4 times when the precision loss is relatively small.
【作者單位】： 中國(guó)科學(xué)院聲學(xué)研究所語(yǔ)言聲學(xué)與內(nèi)容理解重點(diǎn)實(shí)驗(yàn)室;中國(guó)科學(xué)院大學(xué);中國(guó)科學(xué)院新疆理化技術(shù)研究所新疆民族語(yǔ)音語(yǔ)言信息處理實(shí)驗(yàn)室;
【基金】：國(guó)家自然科學(xué)基金(U1536117,11590770-4) 國(guó)家重點(diǎn)研發(fā)計(jì)劃重點(diǎn)專項(xiàng)(2016YFB0801200,2016YFB0801203) 新疆維吾爾自治區(qū)科技重大專項(xiàng)(2016A03007-1)~~
【分類號(hào)】：TP183;TN912.34

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金仁貴;;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用[J];電腦知識(shí)與技術(shù);2006年29期

2 陳鋼;王占山;;連續(xù)時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[J];沈陽(yáng)理工大學(xué)學(xué)報(bào);2007年02期

3 汪曉夢(mèng);;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用優(yōu)化[J];甘肅聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

4 杜艷可;徐瑞;;具有時(shí)滯的遞歸神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)研究進(jìn)展[J];北華大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

5 蔣洪睿,莫瑋,李麗;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)均衡抗突發(fā)干擾研究[J];電訊技術(shù);2000年01期

6 宋軼民,余躍慶,張策,馬文貴;動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)及其在機(jī)敏機(jī)構(gòu)辨識(shí)中的應(yīng)用[J];機(jī)械科學(xué)與技術(shù);2001年04期

7 張奇志,賈永樂(lè),周雅莉;噪聲有源控制的遞歸神經(jīng)網(wǎng)絡(luò)方法[J];控制與決策;2001年03期

8 李峰,李樹(shù)榮;基于動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)矩陣控制[J];石油大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年03期

9 唐普英,李紹榮,黃順吉;一種新的復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及其應(yīng)用[J];信號(hào)處理;2001年06期

10 文敦偉,蔡自興;遞歸神經(jīng)網(wǎng)絡(luò)的模糊隨機(jī)學(xué)習(xí)算法[J];高技術(shù)通訊;2002年01期

相關(guān)會(huì)議論文 前10條

1 房毅憲;王寶文;王永茂;;基于偏差遞歸神經(jīng)網(wǎng)絡(luò)的股價(jià)預(yù)測(cè)(英文)[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2006年

2 劉勇;沈毅;胡恒章;;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)濾波器[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

3 趙英凱;蔡寧;;基于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的肟化投酮量在線預(yù)估[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

4 李樹(shù)榮;李峰;;基于動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)重構(gòu)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

5 史志偉;韓敏;;應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)建立非線性結(jié)構(gòu)系統(tǒng)模型[A];第二十三屆中國(guó)控制會(huì)議論文集（下冊(cè)）[C];2004年

6 叢爽;戴誼;;遞歸神經(jīng)網(wǎng)絡(luò)逼近性能的研究[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2006年

7 呂進(jìn);郭晨;劉雨;;基于不完全遞歸神經(jīng)網(wǎng)絡(luò)的二階導(dǎo)數(shù)多步預(yù)測(cè)模糊控制及應(yīng)用[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

8 蒲興成;;時(shí)變時(shí)滯不確定遞歸神經(jīng)網(wǎng)絡(luò)漸近穩(wěn)定的一個(gè)充分條件[A];2008’“先進(jìn)集成技術(shù)”院士論壇暨第二屆儀表、自動(dòng)化與先進(jìn)集成技術(shù)大會(huì)論文集[C];2008年

9 仉寶玉;吳志敏;;基于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的智能PID控制[A];'2003系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2003年

10 沈艷;謝美萍;;基于遞歸神經(jīng)網(wǎng)絡(luò)的船舶運(yùn)動(dòng)極短期建模預(yù)報(bào)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

相關(guān)博士學(xué)位論文 前10條

1 趙永昌;一類時(shí)滯靜態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為研究[D];中國(guó)海洋大學(xué);2010年

2 高海賓;擾動(dòng)作用下遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性研究[D];燕山大學(xué);2006年

3 黃玉嬌;具有廣義分段線性激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性分析[D];東北大學(xué);2014年

4 徐東坡;遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的收斂性[D];大連理工大學(xué);2009年

5 于佳麗;遞歸神經(jīng)網(wǎng)絡(luò)的連續(xù)吸引子與模糊控制[D];電子科技大學(xué);2009年

6 王芬;遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為分析[D];武漢科技大學(xué);2011年

7 季策;時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)特性研究[D];東北大學(xué);2005年

8 徐軍;遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];浙江大學(xué);2007年

9 張銳;幾類遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及其應(yīng)用研究[D];東北大學(xué);2010年

10 張益軍;時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析及網(wǎng)絡(luò)化同步控制[D];東華大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 柳玉華;一種遞歸神經(jīng)網(wǎng)絡(luò)方法研究及其在非線性系統(tǒng)跟蹤控制中的應(yīng)用[D];江西理工大學(xué);2015年

2 羅威威;全局指數(shù)穩(wěn)定的遞歸神經(jīng)網(wǎng)絡(luò)的魯棒性分析[D];中國(guó)礦業(yè)大學(xué);2015年

3 楊渺渺;具有時(shí)滯的遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];電子科技大學(xué);2015年

4 崔志超;基于產(chǎn)品特征的中文評(píng)論情感分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];河北科技大學(xué);2015年

5 余仕敏;基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點(diǎn)擊率預(yù)估[D];浙江理工大學(xué);2016年

6 宛立達(dá);基于振動(dòng)信號(hào)分析的故障診斷理論與應(yīng)用[D];東北石油大學(xué);2010年

7 李克強(qiáng);基于Spark的大規(guī)模RNNLM系統(tǒng)[D];江蘇大學(xué);2016年

8 謝偉浩;基于多尺度時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測(cè)[D];廣東工業(yè)大學(xué);2016年

9 曹成遠(yuǎn);基于深度學(xué)習(xí)的蛋白質(zhì)殘基相互作用預(yù)測(cè)[D];蘇州大學(xué);2016年

10 梁軍;基于深度學(xué)習(xí)的文本特征表示及分類應(yīng)用[D];鄭州大學(xué);2016年

，

本文編號(hào)：1760972