隨著電子技術(shù)產(chǎn)業(yè)和多媒體信息技術(shù)的蓬勃發(fā)展,人們已經(jīng)不再滿足于簡單的視覺體驗,而逐漸興起的基于體感的虛擬現(xiàn)實交互技術(shù),很好地彌補了技術(shù)與需求上的空白,被廣泛地應(yīng)用到教育輔助、電影制作、醫(yī)學(xué)康復(fù)治療和直播互動等領(lǐng)域。針對目前虛擬現(xiàn)實交互系統(tǒng)存在動作捕捉裝置復(fù)雜、價格昂貴、功能單一、環(huán)境要求嚴苛等問題,本文設(shè)計并實現(xiàn)了基于Kinect的虛擬現(xiàn)實交互系統(tǒng)。用戶能夠?qū)崟r地與3D模型進行交互,將表情和身體運動數(shù)據(jù)實時映射到3D虛擬角色上,具有廣泛的市場前景和實用價值。本文的虛擬現(xiàn)實交互系統(tǒng)主要從交互方式、檢測方式和檢測性能進行了改進和提升。在交互方式上,本文采用Kinect攝像頭作為圖像采集設(shè)備,通過主動表觀模型和骨骼追蹤算法捕捉臉部和身體特征點,進行3D模型的實時交互驅(qū)動。在檢測方式上,本文利用RGB和深度圖像信息進行人體特征點的聯(lián)合檢測。在檢測性能方面,本文提出手部關(guān)節(jié)的位置推斷方法以解決手部關(guān)節(jié)檢測丟失和特征點定位不準確的問題,然后對人體運動數(shù)據(jù)進行中值濾波,有效提升了數(shù)據(jù)采集的準確度。本文根據(jù)系統(tǒng)需求將虛擬現(xiàn)實交互系統(tǒng)劃分為界面終端,數(shù)據(jù)采集終端,表情檢測終端,動作捕捉終端和后臺終端。選... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

虛擬現(xiàn)實系統(tǒng)效果圖

重慶郵電大學(xué)碩士學(xué)位論文第2章系統(tǒng)的總體分析和設(shè)計142.5系統(tǒng)開發(fā)平臺的分析與選擇2.5.1數(shù)據(jù)采集設(shè)備分析與選擇圖像采集的質(zhì)量對于系統(tǒng)功能的準確度相當(dāng)重要。高清的圖像質(zhì)量能夠為系統(tǒng)提供可靠穩(wěn)定的數(shù)據(jù)[18]，本小節(jié)將對Kinect攝像頭進行介紹與分析。微軟公司在2010年推出了第一代Kinect3D體感攝像頭，于2014年推出KinectV2攝像頭，KinectV2硬件結(jié)構(gòu)如圖2.5所示。下文以“Kinect”特指KinectV2。紅外投影機深度攝像頭麥克風(fēng)陣列彩色攝像頭狀態(tài)指示燈圖2.5KinectV2傳感器KinectV2同時擁有的彩色攝像頭、深度攝像頭和紅外投影機，極大地提升該攝像頭的數(shù)據(jù)采集能力。彩色攝像頭能夠捕捉高清的RGB彩色圖像，紅外投影機發(fā)射紅外光線后可以通過深度攝像頭采集深度圖像和紅外圖像。Kinect相較于其他數(shù)據(jù)采集設(shè)備的優(yōu)勢在于，使用Kinect采集的深度圖像能夠快速地檢測人體并且提取出人體骨骼關(guān)節(jié)坐標(biāo)數(shù)據(jù)。第二代Kinect（KinectV2）和第一代Kinect（KinectV1）相比，提取的深度信息數(shù)據(jù)更準確，操作環(huán)境要求更低，骨骼關(guān)節(jié)定位精度更高。KinectV1和KinectV2捕捉深度圖像的原理如圖2.6所示。圖2.6KinectV1與KinectV2深度圖像獲取機制對比圖

重慶郵電大學(xué)碩士學(xué)位論文第3章人臉特征點定位與運動捕捉技術(shù)的分析與研究223.2.3模型匹配通過調(diào)整可變參數(shù)p使得輸入圖像I(x)與平均紋理0A(x)的差值最小，即對公式(3.5)進行能量最優(yōu)的非線性迭代求解，求得使匹配誤差最小的外觀系數(shù)C，完成模型匹配。)])));;((()()([(0210SxmiiiAargminxAxqNupxWI(3.5)其中,miiiAxAxq10)()(表示估計的紋理，NupxWI)));;(((表示將輸入圖像映射到平均形狀中得到的紋理，是平移和旋轉(zhuǎn)縮放參數(shù)。3.2.4實驗結(jié)果分析將IMM人臉數(shù)據(jù)庫作為訓(xùn)練樣本，測試AAM算法的性能。本文對240張圖像進行訓(xùn)練，使用200張圖片進行測試。實驗結(jié)果如圖3.2所示。圖3.2原始圖像與標(biāo)定特征點后圖像為了驗證算法的性能，本文將AAM算法與ASM算法的消耗時間進行對比。每次測試選擇相同的圖像進行對比，進行100次測試，獲得測試所得的平均時間如表3.2所示。綜合實驗結(jié)果表明，AAM算法可以簡單快速地捕捉人臉特征點，且滿足系統(tǒng)實時性需求。

【參考文獻】：
期刊論文
[1]無標(biāo)記點面部表情捕捉及動畫在Unity3D上的實現(xiàn)[J]. 鄭立國,于宏偉.  中國高新科技. 2019(02)
[2]動作捕捉技術(shù)在微電影中的應(yīng)用與實現(xiàn)[J]. 葉燕,李夢,陳文娟.  電腦知識與技術(shù). 2018(32)
[3]淺談VR的應(yīng)用及前景[J]. 周超.  數(shù)碼世界. 2017(07)
[4]基于AAM和光流法的動態(tài)序列表情識別[J]. 邵虹,王洋,王昳昀.  計算機工程與設(shè)計. 2017(06)
[5]基于Leap Motion的手掌感知應(yīng)用[J]. 吳麗群,廖一鵬.  工業(yè)控制計算機. 2017(02)
[6]基于Kinect與網(wǎng)格幾何變形的人臉表情動畫[J]. 張滿囤,霍江雷,單新媛,王小芳,吳鴻韜.  計算機工程與應(yīng)用. 2017(14)
[7]基于Kinect的人體單關(guān)節(jié)點修復(fù)算法研究[J]. 李昕迪,王云龍,何艷,朱國強.  自動化技術(shù)與應(yīng)用. 2016(04)
[8]一種基于Kinect的角色骨骼動畫方法[J]. 李紅波,冉光勇,吳渝,丁林建.  重慶郵電大學(xué)學(xué)報(自然科學(xué)版). 2014(04)
[9]基于AAM和ASM的面部特征點提取研究[J]. 王智.  電子設(shè)計工程. 2013(10)
[10]四元數(shù)和旋轉(zhuǎn)矩陣相互轉(zhuǎn)化的算法實現(xiàn)[J]. 鄭軍.  陰山學(xué)刊(自然科學(xué)). 2012(03)

博士論文
[1]基于統(tǒng)計學(xué)習(xí)的人臉特征點定位算法研究[D]. 崔瀅.南京理工大學(xué) 2015

碩士論文
[1]基于Kinect的人體行為識別研究[D]. 裴啟程.南京郵電大學(xué) 2018
[2]劃船健身器的虛擬現(xiàn)實交互系統(tǒng)設(shè)計[D]. 彭智婷.中南林業(yè)科技大學(xué) 2018
[3]基于反向運動學(xué)的運動重定向研究[D]. 徐少帥.大連理工大學(xué) 2018
[4]基于Kinect的駕駛員狀態(tài)檢測系統(tǒng)設(shè)計與實現(xiàn)[D]. 王君龍.重慶郵電大學(xué) 2018
[5]虛擬現(xiàn)實場景交互系統(tǒng)的設(shè)計與實現(xiàn)[D]. 葛磊.北京郵電大學(xué) 2018
[6]基于Kinect的AAM特征點定位方法研究[D]. 劉啟明.哈爾濱理工大學(xué) 2017
[7]某增強現(xiàn)實交互系統(tǒng)的分析與設(shè)計[D]. 勞家毅.北京郵電大學(xué) 2017
[8]基于表情識別的虛擬環(huán)境交互技術(shù)研究[D]. 楊洋.重慶郵電大學(xué) 2017
[9]基于角色動畫的運動重定向技術(shù)研究[D]. 楊曉蒙.湖南大學(xué) 2017
[10]基于Kinect的動作捕捉系統(tǒng)設(shè)計與實現(xiàn)[D]. 張作運.重慶郵電大學(xué) 2017



本文編號：3131617