本文關(guān)鍵詞：語音手語合成系統(tǒng)研究與開發(fā)，由筆耕文化傳播整理發(fā)布。

【摘要】：聾啞人作為社會(huì)的弱勢群體,在生活、學(xué)習(xí)、娛樂方面由于受到溝通語言的限制,可使用的資源非常少。手語作為聾啞人之間溝通、交流的主要語言,需要得到更加規(guī)范化的推廣。隨著社會(huì)信息化的發(fā)展,建立一個(gè)健全人與聾啞人之間的溝通橋梁,變成一個(gè)極為迫切的需求。本文即在這樣的大背景下產(chǎn)生。 本文主要做了以下幾方面的工作： 語音識(shí)別方法的研究,包括對傳統(tǒng)算法的研究,已有語音識(shí)別引擎SDK的研究,最終選用SDK的方式,實(shí)現(xiàn)系統(tǒng)的語音識(shí)別功能。 中文語義分析的實(shí)現(xiàn)。本文使用中科院的HHMM模型,并對其詞典存儲(chǔ)方式做了改進(jìn),實(shí)現(xiàn)了系統(tǒng)的語義分析功能。 虛擬人建模的實(shí)現(xiàn)。本文分析了人體運(yùn)動(dòng)的基本情況,對關(guān)節(jié)的運(yùn)動(dòng)約束做出了總結(jié),通過學(xué)習(xí)不同的虛擬人建模方法,例如H-ANIM標(biāo)準(zhǔn)、建模軟件等等,最終建立了系統(tǒng)所需的虛擬人模型。 虛擬人運(yùn)動(dòng)控制,本文分析了不同的虛擬人運(yùn)動(dòng)控制方法。學(xué)習(xí)并改進(jìn)了基于HAL鏈的實(shí)時(shí)逆向運(yùn)動(dòng)學(xué)求解算法,解決了肘圓問題。并對虛擬人運(yùn)動(dòng)中的手語連音問題做了一定處理,使虛擬人的手勢表達(dá)與實(shí)際更相符合。提出了一套新的虛擬人手部動(dòng)畫的演繹方式,并根據(jù)關(guān)節(jié)自由度的不同情況使用了不同的插值方法,使用本文提及的方式控制虛擬人,不需要存儲(chǔ)大量虛擬人運(yùn)動(dòng)的片段,更加靈活。 在本文最后,對基于上述方法的系統(tǒng)做出了實(shí)現(xiàn),并且從多個(gè)方面對系統(tǒng)的性能做出了評估。本系統(tǒng)在實(shí)用性方面來講,是首個(gè)將中文語音與手語合成相聯(lián)系的系統(tǒng),將健全人與聾啞人的溝通變?yōu)榭赡?增加了可供聾啞人使用的社會(huì)資源,在創(chuàng)新性方面來講,本文具有很強(qiáng)的靈活性,虛擬人的運(yùn)動(dòng)完全由程序控制,只需要插入詞根的關(guān)鍵幀,將程序員從大量繁瑣的姿勢數(shù)據(jù)中解放,同時(shí)虛擬人手勢合成過程中,本文對連音現(xiàn)象進(jìn)行了處理,使得手勢更加逼真。本文無論在實(shí)際上還是在理論上,都有很重要的意義。
【關(guān)鍵詞】：語音識(shí)別 語義分析 虛擬人建模 動(dòng)畫控制 手語合成
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TN912.3;G762.2;G434
【目錄】：

• 摘要6-7
• Abstract7-11
• 第一章 緒論11-15
• 1.1 課題背景11
• 1.2 課題意義11-12
• 1.3 國內(nèi)外現(xiàn)狀12-14
• 1.4 本文主要研究內(nèi)容14-15
• 第二章 聾校教育現(xiàn)狀分析及系統(tǒng)設(shè)計(jì)15-24
• 2.1 引言15
• 2.2 聾校教育現(xiàn)狀15
• 2.3 聾童教育的困境15-16
• 2.4 理論基礎(chǔ)16-19
• 2.5 系統(tǒng)實(shí)施方案19-22
• 2.5.1 確定聾�；旌辖逃哪繕�(biāo)19
• 2.5.2 聾�；旌蠈W(xué)習(xí)設(shè)計(jì)方案19-22
• 2.5.2.1 分析聾兒特征19-20
• 2.5.2.2 學(xué)習(xí)內(nèi)容和學(xué)習(xí)目標(biāo)分析20
• 2.5.2.3 學(xué)習(xí)活動(dòng)設(shè)計(jì)20-21
• 2.5.2.4 學(xué)習(xí)支持的設(shè)計(jì)21
• 2.5.2.5 學(xué)習(xí)評價(jià)的設(shè)計(jì)21-22
• 2.5.3 演示系統(tǒng)設(shè)計(jì)22
• 2.6 本章小結(jié)22-24
• 第三章 語音處理模塊設(shè)計(jì)與實(shí)現(xiàn)24-32
• 3.1 語音識(shí)別基本原理24
• 3.2 語音識(shí)別的方法24-25
• 3.2.1 傳統(tǒng)算法24-25
• 3.2.2 語音識(shí)別SDK25
• 3.3 Microsoft Speech SAPI介紹25-27
• 3.3.1 語音識(shí)別API26-27
• 3.4 語音識(shí)別模塊27-28
• 3.4.1 設(shè)計(jì)與實(shí)現(xiàn)27-28
• 3.5 分詞模塊28-31
• 3.5.1 中文分詞存在的難題28-29
• 3.5.2 分詞算法29-31
• 3.5.2.1 基于HHMM的漢語詞法分析框架29-30
• 3.5.2.2 準(zhǔn)確率分析30-31
• 3.6 本章小結(jié)31-32
• 第四章 手語碼轉(zhuǎn)換與虛擬人建模32-45
• 4.1 系統(tǒng)研究手語定義32
• 4.2 漢語手勢語的表示32-33
• 4.3 模塊流程設(shè)計(jì)33
• 4.4 人體骨骼模型層次33-34
• 4.5 人體運(yùn)動(dòng)分析34-39
• 4.5.1 關(guān)節(jié)的解剖學(xué)原理34
• 4.5.2 關(guān)節(jié)運(yùn)動(dòng)分析34-37
• 4.5.3 關(guān)節(jié)運(yùn)動(dòng)約束37-39
• 4.5.4 上肢關(guān)節(jié)層次化39
• 4.6 手勢庫設(shè)計(jì)39-42
• 4.7 虛擬人建模方法42-43
• 4.8 本章小結(jié)43-45
• 第五章 虛擬人運(yùn)動(dòng)控制45-64
• 5.1 虛擬人運(yùn)動(dòng)控制辦法45
• 5.2 關(guān)鍵幀選取策略45-46
• 5.3 關(guān)鍵幀編輯46-51
• 5.3.1 手指關(guān)鍵幀編輯46
• 5.3.2 手臂關(guān)鍵幀編輯46-49
• 5.3.3 手語連音現(xiàn)象及處理方案49-51
• 5.3.3.1 手形相似度計(jì)算49-50
• 5.3.3.2 手形關(guān)鍵幀修改50-51
• 5.4 虛擬人動(dòng)畫51-52
• 5.4.1 XNA動(dòng)畫引擎51-52
• 5.4.1.1 XNA基本介紹51
• 5.4.1.2 XNA工作機(jī)制51-52
• 5.4.1.3 XNA中的內(nèi)容管道52
• 5.5 基于骨骼蒙皮的虛擬人動(dòng)畫52-63
• 5.5.1 3D模型動(dòng)畫基本原理及分類52-53
• 5.5.2 骨骼蒙皮動(dòng)畫原理解析53-54
• 5.5.3 骨骼蒙皮動(dòng)畫中的結(jié)構(gòu)部件54-55
• 5.5.3.1 骨骼和骨骼層次結(jié)構(gòu)54
• 5.5.3.2 蒙皮信息和蒙皮過程54-55
• 5.5.3.4 動(dòng)畫數(shù)據(jù)和播放動(dòng)畫55
• 5.5.4 基于XNA的骨骼蒙皮動(dòng)畫55-63
• 5.5.4.1 動(dòng)畫模型的導(dǎo)入56-57
• 5.5.4.2 骨骼動(dòng)畫運(yùn)動(dòng)公式57-59
• 5.5.4.3 骨骼動(dòng)畫旋轉(zhuǎn)公式59-61
• 5.5.4.4 關(guān)鍵幀插值方法61-63
• 5.6 本章小結(jié)63-64
• 第六章 系統(tǒng)實(shí)現(xiàn)與結(jié)果分析64-71
• 6.1 基于語音識(shí)別的虛擬人手語合成的演示系統(tǒng)的設(shè)計(jì)64-65
• 6.2 基于語音識(shí)別的虛擬人手語合成的演示系統(tǒng)的實(shí)現(xiàn)65-68
• 6.3 結(jié)果分析68-70
• 6.3.1 系統(tǒng)存儲(chǔ)容量68
• 6.3.2 運(yùn)行準(zhǔn)確性及速度68-69
• 6.3.3 系統(tǒng)的可重用性69
• 6.3.4 系統(tǒng)的易操作性與可用性69-70
• 6.4 本章小結(jié)70-71
• 結(jié)論71-73
• 致謝73-74
• 參考文獻(xiàn)74-77
• 攻讀碩士學(xué)位期間發(fā)表的論文77

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李璐;;語音識(shí)別的拼音學(xué)習(xí)中發(fā)音識(shí)別和評分模塊的系統(tǒng)設(shè)計(jì)[J];黑龍江科技信息;2010年01期

2 劉群,張華平,俞鴻魁,程學(xué)旗;基于層疊隱馬模型的漢語詞法分析[J];計(jì)算機(jī)研究與發(fā)展;2004年08期

3 劉濤 ,孫守遷 ,潘云鶴;面向藝術(shù)與設(shè)計(jì)的虛擬人技術(shù)研究[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2004年11期

4 陳劍峰;陸偉;安然;;面向互動(dòng)電視的關(guān)鍵技術(shù)探討[J];計(jì)算機(jī)應(yīng)用與軟件;2011年06期

5 孫細(xì)斌;邱繼偉;;音控MP3播放器的設(shè)計(jì)與實(shí)現(xiàn)[J];科技廣場;2010年05期

6 鄧莎;張振宇;;語音識(shí)別技術(shù)分析及展望[J];現(xiàn)代計(jì)算機(jī);2007年04期

7 高青琳;;雙語教學(xué)在聾兒康復(fù)教育中運(yùn)用的可行性論證[J];現(xiàn)代特殊教育;2001年09期

8 楊長水,王兆其,高文;基于WEB的手語新聞虛擬主持人的研究與實(shí)現(xiàn)[J];系統(tǒng)仿真學(xué)報(bào);2001年S2期

9 王行仁;建模與仿真技術(shù)的若干問題探討[J];系統(tǒng)仿真學(xué)報(bào);2004年09期

10 楊開城;;學(xué)生模型與學(xué)習(xí)活動(dòng)的設(shè)計(jì)[J];中國電化教育;2002年12期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 周傳剛;HMM模型在高噪聲環(huán)境下的語音識(shí)別應(yīng)用研究[D];中北大學(xué);2006年

2 師晨曦;基于句型庫的語音識(shí)別研究[D];大連理工大學(xué);2006年

3 李寧;面向互動(dòng)式游戲引擎的語音識(shí)別算法應(yīng)用研究[D];大連理工大學(xué);2008年

4 李晶晶;高校師生虛實(shí)結(jié)合交往模式的建構(gòu)與應(yīng)用研究[D];西南大學(xué);2009年

5 張寒暉;虛擬人步行運(yùn)動(dòng)模擬與三維場景中路徑規(guī)劃的研究與實(shí)現(xiàn)[D];廈門大學(xué);2009年

6 付詩;基于HMM/ANN混合模型的語音識(shí)別系統(tǒng)研究[D];長春理工大學(xué);2009年

  本文關(guān)鍵詞：語音手語合成系統(tǒng)研究與開發(fā)，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：328601