本文關鍵詞：漢語語音信號驅動虛擬人的研究

  更多相關文章： 虛擬現(xiàn)實 語音驅動 語音識別 虛擬人聊天系統(tǒng) 人臉動畫

【摘要】：隨著虛擬現(xiàn)實技術的發(fā)展,對三維虛擬人的研究成為虛擬現(xiàn)實領域的熱點。在電視動畫和計算機游戲中,逼真的模型給人以良好的視覺效果。近些年來,越來越多的學者對虛擬人的建模以及虛擬人的驅動方式的研究表現(xiàn)出極大的興趣,并分別提出了自己的方法。三維虛擬人驅動方法的研究不僅減少了開發(fā)商的投資,而且讓用戶有更大的選擇范圍,所以,它的商業(yè)價值與實用價值都是不可估量的。由于語音與口型有明顯的映射關系,可以通過這種映射關系實現(xiàn)語音信號對虛擬人口型動畫的驅動。而語音與虛擬人的動作之間則沒有直接的對應關系,很難通過語音信號直接驅動虛擬人動作。雖然目前研究者們已經提出了許多方法,實現(xiàn)了對虛擬人的驅動,但是方法的復雜度較高,有必要對其進行進一步改進。針對上述問題,本文提出一種基于漢語語音識別的方法驅動虛擬人,該方法通過語音識別,可以分別驅動虛擬人的肢體動作與面部動畫。首先,建立語音識別模塊,將語音信號轉化為文本信息；其次,將語音識別模塊加入到虛擬人聊天系統(tǒng)中,實現(xiàn)語音信號對虛擬人動作的驅動和聊天系統(tǒng)的控制；接著將語音識別模塊加到三維人臉口型動畫的系統(tǒng)中,實現(xiàn)語音信號對虛擬人口型動畫以及表情細節(jié)的驅動,并通過TTS技術,得到與輸入語音同步的三維人臉動畫。本文使用微軟語音開發(fā)包,首先通過構建語音識別類,從而建立語音識別模塊,完成語音信號到文本信息的轉換,接著將語音識別模塊分別添加到虛擬人聊天系統(tǒng)和三維虛擬人臉動畫的系統(tǒng)中,實現(xiàn)了漢語語音信號對虛擬人動作和面部動畫的驅動。最后,實驗結果表明該方法簡單實用,識別的準確率也能被用戶所接受。
【關鍵詞】：虛擬現(xiàn)實 語音驅動 語音識別 虛擬人聊天系統(tǒng) 人臉動畫
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TN912.3
【目錄】：

• 摘要6-7
• Abstract7-11
• 第1章 緒論11-19
• 1.1 研究背景及意義11-12
• 1.2 國內外研究現(xiàn)狀12-15
• 1.2.1 人體建模與動作合成的研究現(xiàn)狀12-13
• 1.2.2 人臉動畫與驅動的研究現(xiàn)狀13-15
• 1.3 研究目標及內容15-16
• 1.3.1 研究目標15
• 1.3.2 研究內容15-16
• 1.4 本研究的總體框架設計16-18
• 1.5 本文結構安排18-19
• 第2章 語音信號處理及特征參數(shù)的提取19-27
• 2.1 語音信號預處理19-21
• 2.2 特征參數(shù)分析21-22
• 2.2.1 時域分析21-22
• 2.2.2 頻域分析22
• 2.3 特征參數(shù)提取22-26
• 2.4 本章小結26-27
• 第3章 語音驅動虛擬人動作及人臉動畫的實現(xiàn)27-39
• 3.1 語音識別介紹27
• 3.2 語音識別類的建立27-29
• 3.3 語音識別模塊的建立29-31
• 3.4 虛擬人模型的建立31-32
• 3.5 虛擬人動作的合成32-34
• 3.5.1 BVH文件介紹33
• 3.5.2 虛擬人動作合成33-34
• 3.6 語音驅動聊天系統(tǒng)34-35
• 3.6.1 系統(tǒng)的建立34
• 3.6.2 語音驅動聊天系統(tǒng)的實現(xiàn)34-35
• 3.7 語音驅動虛擬人人臉動畫35-38
• 3.7.1 虛擬人臉部模型36
• 3.7.2 語音驅動虛擬人臉動畫的實現(xiàn)36-38
• 3.8 本章小結38-39
• 第4章 實驗結果分析39-48
• 4.1 實驗環(huán)境39
• 4.2 實驗結果39-45
• 4.2.1 虛擬人聊天系統(tǒng)39-41
• 4.2.2 虛擬人唇部動畫與表情控制41-45
• 4.3 結果分析45-47
• 4.3.1 主觀分析45-46
• 4.3.2 客觀評價46-47
• 4.4 本章小結47-48
• 結論48-49
• 致謝49-51
• 參考文獻51-56
• 攻讀碩士學位期間發(fā)表的論文及科研成果56

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;交叉學科專家著手制造“虛擬人”[J];甘肅科技縱橫;2002年05期

2 ;科學家用虛擬人進行糖尿病研究[J];系統(tǒng)仿真學報;2003年03期

3 趙新培;;中國首位虛擬人終于面世[J];石油工業(yè)計算機應用;2003年02期

4 羅冠,郝重陽,張雯,樊養(yǎng)余;虛擬人技術研究綜述[J];計算機工程;2005年18期

5 劉箴;潘志庚;;虛擬人動機驅動的自主情緒模型研究[J];中國圖象圖形學報;2009年05期

6 卞玉龍;劉箴;;一種虛擬人追逐過程中的情緒博弈模型[J];智能系統(tǒng)學報;2012年04期

7 耿欽濤;劉箴;;基于情緒驅動的虛擬人行走模型研究[J];系統(tǒng)仿真學報;2013年10期

8 曉軍;虛擬人的誕生[J];百科知識;2005年19期

9 莫文;張川;;美麗“虛擬人”[J];現(xiàn)代健康人;2005年09期

10 成舸;;虛擬人的第一步[J];新知客;2009年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 劉箴;;虛擬人社會性非言語情緒交互研究[A];計算機技術與應用進展·2007——全國第18屆計算機技術與應用（CACIS）學術會議論文集[C];2007年

2 張番;陳穎;馮秀娟;溫文彪;常士楠;孫紅三;;智能化虛擬人操作行為仿真分析及實現(xiàn)[A];二○○一年中國系統(tǒng)仿真學會學術年會論文集[C];2001年

3 趙江;馮秀娟;孫紅三;溫文彪;鄭國磊;;虛擬人對目標物手捕獲的實現(xiàn)[A];2003年全國系統(tǒng)仿真學術年會論文集[C];2003年

4 何雪微;龔光紅;;虛擬人運動的動力學實現(xiàn)方法研究[A];2003年全國系統(tǒng)仿真學術年會論文集[C];2003年

5 盧曉軍;李焱;賀漢根;;虛擬人行走規(guī)劃仿真的研究與實現(xiàn)[A];全國第13屆計算機輔助設計與圖形學（CAD/CG）學術會議論文集[C];2004年

6 劉箴;;虛擬人的行為規(guī)劃模型研究[A];全國第16屆計算機科學與技術應用（CACIS）學術會議論文集[C];2004年

7 周小建;向楠;朱思語;潘志庚;;基于視覺的虛擬人情感交互系統(tǒng)[A];第七屆和諧人機環(huán)境聯(lián)合學術會議（HHME2011)論文集【poster】[C];2011年

8 鄒沐昌;代玉仁;韓春穎;;虛擬人的體育運動實體仿真的研究與實現(xiàn)[A];中國圖象圖形學會第十屆全國圖像圖形學術會議（CIG’2001）和第一屆全國虛擬現(xiàn)實技術研討會（CVR’2001）論文集[C];2001年

9 胡維華;錢克寵;;娛樂型跑步機上三維場景與多角色虛擬人的融合設計[A];中國計算機圖形學進展2008--第七屆中國計算機圖形學大會論文集[C];2008年

10 楊長水;高文;王兆其;陳益強;;個性化虛擬人體模型驅動方法[A];第一屆中國情感計算及智能交互學術會議論文集[C];2003年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 程樂華 （作者為中山大學心理系教授）;長尾虛擬人：聚合人類時間和精力的長尾[N];第一財經日報;2007年

2 ;走近虛擬人[N];大眾科技報;2003年

3 記者 翁淑賢;“中國虛擬人男1號”問世[N];人民日報;2005年

4 趙何娟;程樂華：SNS將帶來新一輪社會變革[N];第一財經日報;2007年

5 騰 月;虛擬人何時為人類做替身[N];大眾科技報;2004年

6 奇 云;中國虛擬人男Ⅰ號“有血有肉”[N];大眾科技報;2005年

7 明江;虛擬人離我們有多遠[N];中國商報;2003年

8 本報記者 項錚;從切片到虛擬人[N];科技日報;2002年

9 孔德芳;揭開虛擬人的真實身份[N];科技日報;2004年

10 ;“中國虛擬人女1號”面世[N];人民日報;2003年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 邱世廣;維修動作混合仿真及人機工效自動評估方法研究[D];上海交通大學;2014年

2 倪慧;自主虛擬人關鍵技術的研究[D];天津大學;2007年

3 李石磊;數(shù)據(jù)和模型混合驅動的虛擬人運動生成與控制技術研究[D];國防科學技術大學;2009年

4 葉綠;虛擬教育環(huán)境中虛擬人（角色）技術的研究與應用[D];浙江大學;2005年

5 羅冠;虛擬人的運動生成及控制技術研究[D];西北工業(yè)大學;2004年

6 李小寧;虛擬人微觀仿真與宏觀交互關鍵技術研究[D];中國海洋大學;2013年

7 盧曉軍;維修仿真中虛擬人動作建模與行為控制技術研究[D];國防科學技術大學;2006年

8 任利鋒;虛擬環(huán)境中的虛擬人技術研究[D];浙江大學;2008年

9 索寧;基于運動捕捉的虛擬人關鍵技術研究[D];中國礦業(yè)大學（北京）;2011年

10 向南;智能虛擬環(huán)境中虛擬人情感仿真研究[D];浙江大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 文占朝;基于流演算的智能虛擬人的研究與實現(xiàn)[D];江蘇大學;2009年

2 甘凌云;基于模型分解的虛擬人骨架提取及其動畫研究[D];西南交通大學;2015年

3 費婷婷;基于深度數(shù)據(jù)的虛擬人重建與蒙皮動畫算法[D];安徽大學;2016年

4 楊宇盟;虛擬人避障運動規(guī)劃與裝配操作動作庫研究[D];華中科技大學;2014年

5 崔麗君;面向大型活動的觀眾群體行為編排與仿真方法研究[D];北京理工大學;2016年

6 吳曉升;虛擬地鐵環(huán)境下的人群仿真[D];西南交通大學;2016年

7 曹寧哲;完整虛擬人頭部建模及面部表情合成研究[D];西南交通大學;2016年

8 李克豹;漢語語音信號驅動虛擬人的研究[D];西南交通大學;2015年

9 林本敬;情感虛擬人技術在人機交互中的應用研究[D];北京化工大學;2009年

10 伍國永;姿態(tài)可變輻射虛擬人建模研究[D];合肥工業(yè)大學;2011年

，

本文編號：949232