【摘要】：雙向長(zhǎng)短時(shí)記憶(bidirectional lorg short term memory,BLSTM)是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN),能夠有效地對(duì)語(yǔ)音的長(zhǎng)時(shí)上下文進(jìn)行建模。該文提出一種基于深度BLSTM的語(yǔ)音驅(qū)動(dòng)面部動(dòng)畫合成方法,利用說話人的音視頻雙模態(tài)信息訓(xùn)練BLSTM-RNN神經(jīng)網(wǎng)絡(luò),采用主動(dòng)外觀模型(active appearance model,AAM)對(duì)人臉圖像進(jìn)行建模,將AAM模型參數(shù)作為網(wǎng)絡(luò)輸出,研究網(wǎng)絡(luò)結(jié)構(gòu)和不同語(yǔ)音特征輸入對(duì)動(dòng)畫合成效果的影響�；贚IPS2008標(biāo)準(zhǔn)評(píng)測(cè)庫(kù)的實(shí)驗(yàn)結(jié)果表明:具有BLSTM層的網(wǎng)絡(luò)效果明顯優(yōu)于前向網(wǎng)絡(luò)的,基于BLSTM-前向-BLSTM 256節(jié)點(diǎn)(BFB256)的三層模型結(jié)構(gòu)的效果最佳,FBank、基頻和能量組合可以進(jìn)一步提升動(dòng)畫合成效果。
[Abstract]:Bidirectional long term memory (bidirectional lorg short term memory,BLSTM) is a special recurrent neural network (recurrent neural network,RNN), which can effectively model the long term context of speech. In this paper, a speech driven facial animation synthesis method based on deep BLSTM is proposed. The BLSTM-RNN neural network is trained by the speaker's audio and video bimodal information, and the active appearance model (active appearance model,AAM) is used to model the face image. The effect of network structure and speech feature input on animation synthesis is studied by using AAM model parameters as network output. The experimental results based on LIPS2008 standard library show that the network with BLSTM layer is better than that with forward network. The three-layer model structure based on BLSTM- forward -BLSTM256 node (BFB256) has the best effect of FBank.The combination of fundamental frequency and energy can further improve the animation synthesis effect.
【作者單位】： 西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院陜西省語(yǔ)音與圖像處理重點(diǎn)實(shí)驗(yàn)室;微軟亞洲研究院;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61571363)
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金仁貴;;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用[J];電腦知識(shí)與技術(shù);2006年29期

2 陳鋼;王占山;;連續(xù)時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[J];沈陽(yáng)理工大學(xué)學(xué)報(bào);2007年02期

3 汪曉夢(mèng);;帶有偏差單元的遞歸神經(jīng)網(wǎng)絡(luò)在故障診斷方面的應(yīng)用優(yōu)化[J];甘肅聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

4 杜艷可;徐瑞;;具有時(shí)滯的遞歸神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)研究進(jìn)展[J];北華大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

5 蔣洪睿,莫瑋,李麗;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)均衡抗突發(fā)干擾研究[J];電訊技術(shù);2000年01期

6 宋軼民,余躍慶,張策,馬文貴;動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)及其在機(jī)敏機(jī)構(gòu)辨識(shí)中的應(yīng)用[J];機(jī)械科學(xué)與技術(shù);2001年04期

7 張奇志,賈永樂,周雅莉;噪聲有源控制的遞歸神經(jīng)網(wǎng)絡(luò)方法[J];控制與決策;2001年03期

8 李峰,李樹榮;基于動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)矩陣控制[J];石油大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年03期

9 唐普英,李紹榮,黃順吉;一種新的復(fù)值遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及其應(yīng)用[J];信號(hào)處理;2001年06期

10 文敦偉,蔡自興;遞歸神經(jīng)網(wǎng)絡(luò)的模糊隨機(jī)學(xué)習(xí)算法[J];高技術(shù)通訊;2002年01期

相關(guān)會(huì)議論文 前10條

1 房毅憲;王寶文;王永茂;;基于偏差遞歸神經(jīng)網(wǎng)絡(luò)的股價(jià)預(yù)測(cè)(英文)[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2006年

2 劉勇;沈毅;胡恒章;;遞歸神經(jīng)網(wǎng)絡(luò)自適應(yīng)濾波器[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

3 趙英凱;蔡寧;;基于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的肟化投酮量在線預(yù)估[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

4 李樹榮;李峰;;基于動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)重構(gòu)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

5 史志偉;韓敏;;應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)建立非線性結(jié)構(gòu)系統(tǒng)模型[A];第二十三屆中國(guó)控制會(huì)議論文集（下冊(cè)）[C];2004年

6 叢爽;戴誼;;遞歸神經(jīng)網(wǎng)絡(luò)逼近性能的研究[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2006年

7 呂進(jìn);郭晨;劉雨;;基于不完全遞歸神經(jīng)網(wǎng)絡(luò)的二階導(dǎo)數(shù)多步預(yù)測(cè)模糊控制及應(yīng)用[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

8 蒲興成;;時(shí)變時(shí)滯不確定遞歸神經(jīng)網(wǎng)絡(luò)漸近穩(wěn)定的一個(gè)充分條件[A];2008’“先進(jìn)集成技術(shù)”院士論壇暨第二屆儀表、自動(dòng)化與先進(jìn)集成技術(shù)大會(huì)論文集[C];2008年

9 仉寶玉;吳志敏;;基于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的智能PID控制[A];'2003系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2003年

10 沈艷;謝美萍;;基于遞歸神經(jīng)網(wǎng)絡(luò)的船舶運(yùn)動(dòng)極短期建模預(yù)報(bào)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

相關(guān)博士學(xué)位論文 前10條

1 趙永昌;一類時(shí)滯靜態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為研究[D];中國(guó)海洋大學(xué);2010年

2 高海賓;擾動(dòng)作用下遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性研究[D];燕山大學(xué);2006年

3 黃玉嬌;具有廣義分段線性激活函數(shù)的遞歸神經(jīng)網(wǎng)絡(luò)的多穩(wěn)定性分析[D];東北大學(xué);2014年

4 徐東坡;遞歸神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法的收斂性[D];大連理工大學(xué);2009年

5 于佳麗;遞歸神經(jīng)網(wǎng)絡(luò)的連續(xù)吸引子與模糊控制[D];電子科技大學(xué);2009年

6 王芬;遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為分析[D];武漢科技大學(xué);2011年

7 季策;時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)特性研究[D];東北大學(xué);2005年

8 徐軍;遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];浙江大學(xué);2007年

9 張銳;幾類遞歸神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性及其應(yīng)用研究[D];東北大學(xué);2010年

10 張益軍;時(shí)滯遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析及網(wǎng)絡(luò)化同步控制[D];東華大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 柳玉華;一種遞歸神經(jīng)網(wǎng)絡(luò)方法研究及其在非線性系統(tǒng)跟蹤控制中的應(yīng)用[D];江西理工大學(xué);2015年

2 羅威威;全局指數(shù)穩(wěn)定的遞歸神經(jīng)網(wǎng)絡(luò)的魯棒性分析[D];中國(guó)礦業(yè)大學(xué);2015年

3 楊渺渺;具有時(shí)滯的遞歸神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];電子科技大學(xué);2015年

4 崔志超;基于產(chǎn)品特征的中文評(píng)論情感分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];河北科技大學(xué);2015年

5 余仕敏;基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點(diǎn)擊率預(yù)估[D];浙江理工大學(xué);2016年

6 宛立達(dá);基于振動(dòng)信號(hào)分析的故障診斷理論與應(yīng)用[D];東北石油大學(xué);2010年

7 李克強(qiáng);基于Spark的大規(guī)模RNNLM系統(tǒng)[D];江蘇大學(xué);2016年

8 謝偉浩;基于多尺度時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測(cè)[D];廣東工業(yè)大學(xué);2016年

9 曹成遠(yuǎn);基于深度學(xué)習(xí)的蛋白質(zhì)殘基相互作用預(yù)測(cè)[D];蘇州大學(xué);2016年

10 梁軍;基于深度學(xué)習(xí)的文本特征表示及分類應(yīng)用[D];鄭州大學(xué);2016年

，

本文編號(hào)：2211816