本文采用三維運動捕捉技術對漢語普通話的語音以及人臉特征點坐標進行數(shù)據(jù)采集,通過研究分析發(fā)音人漢語普通話唇部的發(fā)音變化特征,實現(xiàn)漢語普通話語音學習軟件的設計,從而達到語音教學的目的。全文的研究工作主要包括以下三部分內容:（1）采用經過Vicon Cara和Dynamixyz兩者改裝相結合的面部捕捉技術,得到能夠同步采集音頻和視頻的運動捕捉系統(tǒng)。首先,對人臉面部特征點及語音數(shù)據(jù)進行采集;其次,使用該系統(tǒng)的CaraPost軟件對人臉面部特征點進行預處理;最后,使用Motion Builder導出已處理的人臉三維坐標點。（2）使用MATLAB開發(fā)工具構建人臉模型。首先,使用人臉模型方法對三維人臉特征點進行構建;其次,由于構建的人臉唇形曲線不夠生動自然,采用三次樣條插值方法對內外唇輪廓進行數(shù)據(jù)平滑處理,從而實現(xiàn)光滑的唇輪廓曲線;最后,三維人臉與語音數(shù)據(jù)的合成,利用Premiere工具將發(fā)音人臉與語音進行渲染合并,并利用切音工具按音節(jié)切分,最終得到所有的動態(tài)三維人臉發(fā)音視頻庫。（3）通過Director多媒體開發(fā)工具實現(xiàn)漢語普通話語音學習軟件的設計。首先,依據(jù)設計方案對開發(fā)軟件所需要的素材進行制作... 

【文章來源】：西北民族大學甘肅省

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 國內外研究現(xiàn)狀
        1.2.1 運動捕捉技術的研究
        1.2.2 語音同步人臉動畫技術的研究
    1.3 研究目的與意義
    1.4 實驗研究方法
    1.5 論文主要內容及結構安排
第2章 漢語普通話語音數(shù)據(jù)采集與處理
    2.1 漢語普通話概述
    2.2 人臉運動捕捉技術
    2.3 三維運動捕捉環(huán)境的搭建
    2.4 實驗數(shù)據(jù)采集
        2.4.1 數(shù)據(jù)采集準備工作
        2.4.2 數(shù)據(jù)采集流程
    2.5 實驗數(shù)據(jù)預處理
    2.6 本章小結
第3章 三維人臉模型構建與合成
    3.1 人臉網格模型
    3.2 數(shù)據(jù)擬合
        3.2.1 三次樣條插值
        3.2.2 實驗結果
    3.3 人臉合成方法
        3.3.1 工具介紹
        3.3.2 動態(tài)發(fā)音人臉的合成
    3.4 本章小結
第4章 漢語普通話語音學習軟件的設計與實現(xiàn)
    4.1 軟件開發(fā)環(huán)境
    4.2 軟件總體設計
        4.2.1 軟件開發(fā)流程
        4.2.2 軟件內容
    4.3 軟件交互界面設計
        4.3.1 軟件素材制備
        4.3.2 軟件界面設計
    4.4 軟件功能實現(xiàn)
        4.4.1 軟件界面的搭建
        4.4.2 Lingo腳本語言設計
    4.5 本章小結
第5章 總結與展望
    5.1 總結
    5.2 研究展望
參考文獻
附錄
致謝


【參考文獻】：
期刊論文
[1]三次Cardinal樣條插值函數(shù)的改進及其性質[J]. 楊虹.  無線互聯(lián)科技. 2018(18)
[2]運動捕捉技術工藝流程及數(shù)據(jù)處理——面部運動捕捉及數(shù)據(jù)處理[J]. 常一孜.  現(xiàn)代電影技術. 2016(01)
[3]探討基于Director的互動多媒體學習光盤的設計與實現(xiàn)[J]. 張鵬麗.  天津職業(yè)院校聯(lián)合學報. 2015(04)
[4]運動捕獲技術在三維動畫角色面部表情設計的運用[J]. 張漫宇.  天津美術學院學報. 2013(04)
[5]運動捕捉技術及其應用研究綜述[J]. 向澤銳,支錦亦,徐伯初,李娟.  計算機應用研究. 2013(08)
[6]人體運動捕捉儀的設計與實現(xiàn)[J]. 段世梅,孫倩,陳彥明.  中國科技信息. 2011(06)
[7]動作捕捉在影視作品中的應用[J]. 尹釗.  影視制作. 2010(11)
[8]基于運動捕捉技術的中國少數(shù)民族舞蹈藝術保護方法研究[J]. 邱望標,李超.  電子科技大學學報(社科版). 2009(04)
[9]虛擬人技術研究綜述[J]. 羅冠,郝重陽,張雯,樊養(yǎng)余.  計算機工程. 2005(18)
[10]三維人臉建模與應用[J]. 徐成華,王蘊紅,譚鐵牛.  中國圖象圖形學報. 2004(08)

博士論文
[1]基于運動捕捉的虛擬人關鍵技術研究[D]. 索寧.中國礦業(yè)大學（北京） 2011
[2]人臉運動捕捉數(shù)據(jù)處理及表情動畫重構研究[D]. 方小勇.大連理工大學 2010
[3]漢語語音同步的真實感三維人臉動畫研究[D]. 周維.中國科學技術大學 2008

碩士論文
[1]基于Cardinal樣條曲線的微小線段間平滑過渡算法的設計與實現(xiàn)[D]. 袁家蘭.中國科學院大學(中國科學院沈陽計算技術研究所) 2018
[2]基于動捕信息的虛實交互技術研究[D]. 郭嬌嬌.北方工業(yè)大學 2017
[3]運動捕捉系統(tǒng)設計及基于運動捕捉數(shù)據(jù)的步態(tài)模式研究[D]. 付龍.北京工業(yè)大學 2016
[4]基于運動捕捉數(shù)據(jù)的三維人體運動合成[D]. 張迪.長安大學 2015
[5]基于漢語協(xié)同發(fā)音模型的文本驅動三維口型動畫合成研究[D]. 王躍.山東財經大學 2014
[6]基于光學運動捕捉的虛擬交互系統(tǒng)開發(fā)[D]. 周曉陽.哈爾濱工業(yè)大學 2012
[7]三維人臉唇形動畫的語音驅動研究[D]. 喬德明.電子科技大學 2010
[8]基于Director軟件的有機化學實驗的開發(fā)與技術研究[D]. 馮慧.武漢理工大學 2009
[9]基于漢語驅動人臉語音動畫的研究[D]. 羅琰欽.電子科技大學 2009



本文編號：3166256