本文關(guān)鍵詞：漢語語音信號驅(qū)動虛擬人的研究

  更多相關(guān)文章： 虛擬現(xiàn)實 語音驅(qū)動 語音識別 虛擬人聊天系統(tǒng) 人臉動畫

【摘要】：隨著虛擬現(xiàn)實技術(shù)的發(fā)展,對三維虛擬人的研究成為虛擬現(xiàn)實領(lǐng)域的熱點。在電視動畫和計算機游戲中,逼真的模型給人以良好的視覺效果。近些年來,越來越多的學(xué)者對虛擬人的建模以及虛擬人的驅(qū)動方式的研究表現(xiàn)出極大的興趣,并分別提出了自己的方法。三維虛擬人驅(qū)動方法的研究不僅減少了開發(fā)商的投資,而且讓用戶有更大的選擇范圍,所以,它的商業(yè)價值與實用價值都是不可估量的。由于語音與口型有明顯的映射關(guān)系,可以通過這種映射關(guān)系實現(xiàn)語音信號對虛擬人口型動畫的驅(qū)動。而語音與虛擬人的動作之間則沒有直接的對應(yīng)關(guān)系,很難通過語音信號直接驅(qū)動虛擬人動作。雖然目前研究者們已經(jīng)提出了許多方法,實現(xiàn)了對虛擬人的驅(qū)動,但是方法的復(fù)雜度較高,有必要對其進行進一步改進。針對上述問題,本文提出一種基于漢語語音識別的方法驅(qū)動虛擬人,該方法通過語音識別,可以分別驅(qū)動虛擬人的肢體動作與面部動畫。首先,建立語音識別模塊,將語音信號轉(zhuǎn)化為文本信息；其次,將語音識別模塊加入到虛擬人聊天系統(tǒng)中,實現(xiàn)語音信號對虛擬人動作的驅(qū)動和聊天系統(tǒng)的控制；接著將語音識別模塊加到三維人臉口型動畫的系統(tǒng)中,實現(xiàn)語音信號對虛擬人口型動畫以及表情細節(jié)的驅(qū)動,并通過TTS技術(shù),得到與輸入語音同步的三維人臉動畫。本文使用微軟語音開發(fā)包,首先通過構(gòu)建語音識別類,從而建立語音識別模塊,完成語音信號到文本信息的轉(zhuǎn)換,接著將語音識別模塊分別添加到虛擬人聊天系統(tǒng)和三維虛擬人臉動畫的系統(tǒng)中,實現(xiàn)了漢語語音信號對虛擬人動作和面部動畫的驅(qū)動。最后,實驗結(jié)果表明該方法簡單實用,識別的準確率也能被用戶所接受。
【關(guān)鍵詞】：虛擬現(xiàn)實 語音驅(qū)動 語音識別 虛擬人聊天系統(tǒng) 人臉動畫
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TN912.3
【目錄】：

• 摘要6-7
• Abstract7-11
• 第1章 緒論11-19
• 1.1 研究背景及意義11-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-15
• 1.2.1 人體建模與動作合成的研究現(xiàn)狀12-13
• 1.2.2 人臉動畫與驅(qū)動的研究現(xiàn)狀13-15
• 1.3 研究目標及內(nèi)容15-16
• 1.3.1 研究目標15
• 1.3.2 研究內(nèi)容15-16
• 1.4 本研究的總體框架設(shè)計16-18
• 1.5 本文結(jié)構(gòu)安排18-19
• 第2章 語音信號處理及特征參數(shù)的提取19-27
• 2.1 語音信號預(yù)處理19-21
• 2.2 特征參數(shù)分析21-22
• 2.2.1 時域分析21-22
• 2.2.2 頻域分析22
• 2.3 特征參數(shù)提取22-26
• 2.4 本章小結(jié)26-27
• 第3章 語音驅(qū)動虛擬人動作及人臉動畫的實現(xiàn)27-39
• 3.1 語音識別介紹27
• 3.2 語音識別類的建立27-29
• 3.3 語音識別模塊的建立29-31
• 3.4 虛擬人模型的建立31-32
• 3.5 虛擬人動作的合成32-34
• 3.5.1 BVH文件介紹33
• 3.5.2 虛擬人動作合成33-34
• 3.6 語音驅(qū)動聊天系統(tǒng)34-35
• 3.6.1 系統(tǒng)的建立34
• 3.6.2 語音驅(qū)動聊天系統(tǒng)的實現(xiàn)34-35
• 3.7 語音驅(qū)動虛擬人人臉動畫35-38
• 3.7.1 虛擬人臉部模型36
• 3.7.2 語音驅(qū)動虛擬人臉動畫的實現(xiàn)36-38
• 3.8 本章小結(jié)38-39
• 第4章 實驗結(jié)果分析39-48
• 4.1 實驗環(huán)境39
• 4.2 實驗結(jié)果39-45
• 4.2.1 虛擬人聊天系統(tǒng)39-41
• 4.2.2 虛擬人唇部動畫與表情控制41-45
• 4.3 結(jié)果分析45-47
• 4.3.1 主觀分析45-46
• 4.3.2 客觀評價46-47
• 4.4 本章小結(jié)47-48
• 結(jié)論48-49
• 致謝49-51
• 參考文獻51-56
• 攻讀碩士學(xué)位期間發(fā)表的論文及科研成果56

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;交叉學(xué)科專家著手制造“虛擬人”[J];甘肅科技縱橫;2002年05期

2 ;科學(xué)家用虛擬人進行糖尿病研究[J];系統(tǒng)仿真學(xué)報;2003年03期

3 趙新培;;中國首位虛擬人終于面世[J];石油工業(yè)計算機應(yīng)用;2003年02期

4 羅冠,郝重陽,張雯,樊養(yǎng)余;虛擬人技術(shù)研究綜述[J];計算機工程;2005年18期

5 劉箴;潘志庚;;虛擬人動機驅(qū)動的自主情緒模型研究[J];中國圖象圖形學(xué)報;2009年05期

6 卞玉龍;劉箴;;一種虛擬人追逐過程中的情緒博弈模型[J];智能系統(tǒng)學(xué)報;2012年04期

7 耿欽濤;劉箴;;基于情緒驅(qū)動的虛擬人行走模型研究[J];系統(tǒng)仿真學(xué)報;2013年10期

8 曉軍;虛擬人的誕生[J];百科知識;2005年19期

9 莫文;張川;;美麗“虛擬人”[J];現(xiàn)代健康人;2005年09期

10 成舸;;虛擬人的第一步[J];新知客;2009年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉箴;;虛擬人社會性非言語情緒交互研究[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

2 張番;陳穎;馮秀娟;溫文彪;常士楠;孫紅三;;智能化虛擬人操作行為仿真分析及實現(xiàn)[A];二○○一年中國系統(tǒng)仿真學(xué)會學(xué)術(shù)年會論文集[C];2001年

3 趙江;馮秀娟;孫紅三;溫文彪;鄭國磊;;虛擬人對目標物手捕獲的實現(xiàn)[A];2003年全國系統(tǒng)仿真學(xué)術(shù)年會論文集[C];2003年

4 何雪微;龔光紅;;虛擬人運動的動力學(xué)實現(xiàn)方法研究[A];2003年全國系統(tǒng)仿真學(xué)術(shù)年會論文集[C];2003年

5 盧曉軍;李焱;賀漢根;;虛擬人行走規(guī)劃仿真的研究與實現(xiàn)[A];全國第13屆計算機輔助設(shè)計與圖形學(xué)（CAD/CG）學(xué)術(shù)會議論文集[C];2004年

6 劉箴;;虛擬人的行為規(guī)劃模型研究[A];全國第16屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2004年

7 周小建;向楠;朱思語;潘志庚;;基于視覺的虛擬人情感交互系統(tǒng)[A];第七屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2011)論文集【poster】[C];2011年

8 鄒沐昌;代玉仁;韓春穎;;虛擬人的體育運動實體仿真的研究與實現(xiàn)[A];中國圖象圖形學(xué)會第十屆全國圖像圖形學(xué)術(shù)會議（CIG’2001）和第一屆全國虛擬現(xiàn)實技術(shù)研討會（CVR’2001）論文集[C];2001年

9 胡維華;錢克寵;;娛樂型跑步機上三維場景與多角色虛擬人的融合設(shè)計[A];中國計算機圖形學(xué)進展2008--第七屆中國計算機圖形學(xué)大會論文集[C];2008年

10 楊長水;高文;王兆其;陳益強;;個性化虛擬人體模型驅(qū)動方法[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 程樂華 （作者為中山大學(xué)心理系教授）;長尾虛擬人：聚合人類時間和精力的長尾[N];第一財經(jīng)日報;2007年

2 ;走近虛擬人[N];大眾科技報;2003年

3 記者 翁淑賢;“中國虛擬人男1號”問世[N];人民日報;2005年

4 趙何娟;程樂華：SNS將帶來新一輪社會變革[N];第一財經(jīng)日報;2007年

5 騰 月;虛擬人何時為人類做替身[N];大眾科技報;2004年

6 奇 云;中國虛擬人男Ⅰ號“有血有肉”[N];大眾科技報;2005年

7 明江;虛擬人離我們有多遠[N];中國商報;2003年

8 本報記者 項錚;從切片到虛擬人[N];科技日報;2002年

9 孔德芳;揭開虛擬人的真實身份[N];科技日報;2004年

10 ;“中國虛擬人女1號”面世[N];人民日報;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 邱世廣;維修動作混合仿真及人機工效自動評估方法研究[D];上海交通大學(xué);2014年

2 倪慧;自主虛擬人關(guān)鍵技術(shù)的研究[D];天津大學(xué);2007年

3 李石磊;數(shù)據(jù)和模型混合驅(qū)動的虛擬人運動生成與控制技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2009年

4 葉綠;虛擬教育環(huán)境中虛擬人（角色）技術(shù)的研究與應(yīng)用[D];浙江大學(xué);2005年

5 羅冠;虛擬人的運動生成及控制技術(shù)研究[D];西北工業(yè)大學(xué);2004年

6 李小寧;虛擬人微觀仿真與宏觀交互關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2013年

7 盧曉軍;維修仿真中虛擬人動作建模與行為控制技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2006年

8 任利鋒;虛擬環(huán)境中的虛擬人技術(shù)研究[D];浙江大學(xué);2008年

9 索寧;基于運動捕捉的虛擬人關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學(xué)（北京）;2011年

10 向南;智能虛擬環(huán)境中虛擬人情感仿真研究[D];浙江大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 文占朝;基于流演算的智能虛擬人的研究與實現(xiàn)[D];江蘇大學(xué);2009年

2 甘凌云;基于模型分解的虛擬人骨架提取及其動畫研究[D];西南交通大學(xué);2015年

3 費婷婷;基于深度數(shù)據(jù)的虛擬人重建與蒙皮動畫算法[D];安徽大學(xué);2016年

4 楊宇盟;虛擬人避障運動規(guī)劃與裝配操作動作庫研究[D];華中科技大學(xué);2014年

5 崔麗君;面向大型活動的觀眾群體行為編排與仿真方法研究[D];北京理工大學(xué);2016年

6 吳曉升;虛擬地鐵環(huán)境下的人群仿真[D];西南交通大學(xué);2016年

7 曹寧哲;完整虛擬人頭部建模及面部表情合成研究[D];西南交通大學(xué);2016年

8 李克豹;漢語語音信號驅(qū)動虛擬人的研究[D];西南交通大學(xué);2015年

9 林本敬;情感虛擬人技術(shù)在人機交互中的應(yīng)用研究[D];北京化工大學(xué);2009年

10 伍國永;姿態(tài)可變輻射虛擬人建模研究[D];合肥工業(yè)大學(xué);2011年

，

本文編號：949232