發(fā)布時(shí)間：2021-04-11 16:52

　　隨著電子技術(shù)產(chǎn)業(yè)和多媒體信息技術(shù)的蓬勃發(fā)展,人們已經(jīng)不再滿(mǎn)足于簡(jiǎn)單的視覺(jué)體驗(yàn),而逐漸興起的基于體感的虛擬現(xiàn)實(shí)交互技術(shù),很好地彌補(bǔ)了技術(shù)與需求上的空白,被廣泛地應(yīng)用到教育輔助、電影制作、醫(yī)學(xué)康復(fù)治療和直播互動(dòng)等領(lǐng)域。針對(duì)目前虛擬現(xiàn)實(shí)交互系統(tǒng)存在動(dòng)作捕捉裝置復(fù)雜、價(jià)格昂貴、功能單一、環(huán)境要求嚴(yán)苛等問(wèn)題,本文設(shè)計(jì)并實(shí)現(xiàn)了基于Kinect的虛擬現(xiàn)實(shí)交互系統(tǒng)。用戶(hù)能夠?qū)崟r(shí)地與3D模型進(jìn)行交互,將表情和身體運(yùn)動(dòng)數(shù)據(jù)實(shí)時(shí)映射到3D虛擬角色上,具有廣泛的市場(chǎng)前景和實(shí)用價(jià)值。本文的虛擬現(xiàn)實(shí)交互系統(tǒng)主要從交互方式、檢測(cè)方式和檢測(cè)性能進(jìn)行了改進(jìn)和提升。在交互方式上,本文采用Kinect攝像頭作為圖像采集設(shè)備,通過(guò)主動(dòng)表觀模型和骨骼追蹤算法捕捉臉部和身體特征點(diǎn),進(jìn)行3D模型的實(shí)時(shí)交互驅(qū)動(dòng)。在檢測(cè)方式上,本文利用RGB和深度圖像信息進(jìn)行人體特征點(diǎn)的聯(lián)合檢測(cè)。在檢測(cè)性能方面,本文提出手部關(guān)節(jié)的位置推斷方法以解決手部關(guān)節(jié)檢測(cè)丟失和特征點(diǎn)定位不準(zhǔn)確的問(wèn)題,然后對(duì)人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行中值濾波,有效提升了數(shù)據(jù)采集的準(zhǔn)確度。本文根據(jù)系統(tǒng)需求將虛擬現(xiàn)實(shí)交互系統(tǒng)劃分為界面終端,數(shù)據(jù)采集終端,表情檢測(cè)終端,動(dòng)作捕捉終端和后臺(tái)終端。選... 

【文章來(lái)源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：85 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

虛擬現(xiàn)實(shí)系統(tǒng)效果圖

重慶郵電大學(xué)碩士學(xué)位論文第2章系統(tǒng)的總體分析和設(shè)計(jì)142.5系統(tǒng)開(kāi)發(fā)平臺(tái)的分析與選擇2.5.1數(shù)據(jù)采集設(shè)備分析與選擇圖像采集的質(zhì)量對(duì)于系統(tǒng)功能的準(zhǔn)確度相當(dāng)重要。高清的圖像質(zhì)量能夠?yàn)橄到y(tǒng)提供可靠穩(wěn)定的數(shù)據(jù)[18]，本小節(jié)將對(duì)Kinect攝像頭進(jìn)行介紹與分析。微軟公司在2010年推出了第一代Kinect3D體感攝像頭，于2014年推出KinectV2攝像頭，KinectV2硬件結(jié)構(gòu)如圖2.5所示。下文以“Kinect”特指KinectV2。紅外投影機(jī)深度攝像頭麥克風(fēng)陣列彩色攝像頭狀態(tài)指示燈圖2.5KinectV2傳感器KinectV2同時(shí)擁有的彩色攝像頭、深度攝像頭和紅外投影機(jī)，極大地提升該攝像頭的數(shù)據(jù)采集能力。彩色攝像頭能夠捕捉高清的RGB彩色圖像，紅外投影機(jī)發(fā)射紅外光線(xiàn)后可以通過(guò)深度攝像頭采集深度圖像和紅外圖像。Kinect相較于其他數(shù)據(jù)采集設(shè)備的優(yōu)勢(shì)在于，使用Kinect采集的深度圖像能夠快速地檢測(cè)人體并且提取出人體骨骼關(guān)節(jié)坐標(biāo)數(shù)據(jù)。第二代Kinect（KinectV2）和第一代Kinect（KinectV1）相比，提取的深度信息數(shù)據(jù)更準(zhǔn)確，操作環(huán)境要求更低，骨骼關(guān)節(jié)定位精度更高。KinectV1和KinectV2捕捉深度圖像的原理如圖2.6所示。圖2.6KinectV1與KinectV2深度圖像獲取機(jī)制對(duì)比圖

重慶郵電大學(xué)碩士學(xué)位論文第3章人臉特征點(diǎn)定位與運(yùn)動(dòng)捕捉技術(shù)的分析與研究223.2.3模型匹配通過(guò)調(diào)整可變參數(shù)p使得輸入圖像I(x)與平均紋理0A(x)的差值最小，即對(duì)公式(3.5)進(jìn)行能量最優(yōu)的非線(xiàn)性迭代求解，求得使匹配誤差最小的外觀系數(shù)C，完成模型匹配。)])));;((()()([(0210SxmiiiAargminxAxqNupxWI(3.5)其中,miiiAxAxq10)()(表示估計(jì)的紋理，NupxWI)));;(((表示將輸入圖像映射到平均形狀中得到的紋理，是平移和旋轉(zhuǎn)縮放參數(shù)。3.2.4實(shí)驗(yàn)結(jié)果分析將IMM人臉數(shù)據(jù)庫(kù)作為訓(xùn)練樣本，測(cè)試AAM算法的性能。本文對(duì)240張圖像進(jìn)行訓(xùn)練，使用200張圖片進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如圖3.2所示。圖3.2原始圖像與標(biāo)定特征點(diǎn)后圖像為了驗(yàn)證算法的性能，本文將AAM算法與ASM算法的消耗時(shí)間進(jìn)行對(duì)比。每次測(cè)試選擇相同的圖像進(jìn)行對(duì)比，進(jìn)行100次測(cè)試，獲得測(cè)試所得的平均時(shí)間如表3.2所示。綜合實(shí)驗(yàn)結(jié)果表明，AAM算法可以簡(jiǎn)單快速地捕捉人臉特征點(diǎn)，且滿(mǎn)足系統(tǒng)實(shí)時(shí)性需求。

【參考文獻(xiàn)】：
期刊論文
[1]無(wú)標(biāo)記點(diǎn)面部表情捕捉及動(dòng)畫(huà)在Unity3D上的實(shí)現(xiàn)[J]. 鄭立國(guó),于宏偉.  中國(guó)高新科技. 2019(02)
[2]動(dòng)作捕捉技術(shù)在微電影中的應(yīng)用與實(shí)現(xiàn)[J]. 葉燕,李夢(mèng),陳文娟.  電腦知識(shí)與技術(shù). 2018(32)
[3]淺談VR的應(yīng)用及前景[J]. 周超.  數(shù)碼世界. 2017(07)
[4]基于AAM和光流法的動(dòng)態(tài)序列表情識(shí)別[J]. 邵虹,王洋,王昳昀.  計(jì)算機(jī)工程與設(shè)計(jì). 2017(06)
[5]基于Leap Motion的手掌感知應(yīng)用[J]. 吳麗群,廖一鵬.  工業(yè)控制計(jì)算機(jī). 2017(02)
[6]基于Kinect與網(wǎng)格幾何變形的人臉表情動(dòng)畫(huà)[J]. 張滿(mǎn)囤,霍江雷,單新媛,王小芳,吳鴻韜.  計(jì)算機(jī)工程與應(yīng)用. 2017(14)
[7]基于Kinect的人體單關(guān)節(jié)點(diǎn)修復(fù)算法研究[J]. 李昕迪,王云龍,何艷,朱國(guó)強(qiáng).  自動(dòng)化技術(shù)與應(yīng)用. 2016(04)
[8]一種基于Kinect的角色骨骼動(dòng)畫(huà)方法[J]. 李紅波,冉光勇,吳渝,丁林建.  重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[9]基于AAM和ASM的面部特征點(diǎn)提取研究[J]. 王智.  電子設(shè)計(jì)工程. 2013(10)
[10]四元數(shù)和旋轉(zhuǎn)矩陣相互轉(zhuǎn)化的算法實(shí)現(xiàn)[J]. 鄭軍.  陰山學(xué)刊(自然科學(xué)). 2012(03)

博士論文
[1]基于統(tǒng)計(jì)學(xué)習(xí)的人臉特征點(diǎn)定位算法研究[D]. 崔瀅.南京理工大學(xué) 2015

碩士論文
[1]基于Kinect的人體行為識(shí)別研究[D]. 裴啟程.南京郵電大學(xué) 2018
[2]劃船健身器的虛擬現(xiàn)實(shí)交互系統(tǒng)設(shè)計(jì)[D]. 彭智婷.中南林業(yè)科技大學(xué) 2018
[3]基于反向運(yùn)動(dòng)學(xué)的運(yùn)動(dòng)重定向研究[D]. 徐少帥.大連理工大學(xué) 2018
[4]基于Kinect的駕駛員狀態(tài)檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王君龍.重慶郵電大學(xué) 2018
[5]虛擬現(xiàn)實(shí)場(chǎng)景交互系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 葛磊.北京郵電大學(xué) 2018
[6]基于Kinect的AAM特征點(diǎn)定位方法研究[D]. 劉啟明.哈爾濱理工大學(xué) 2017
[7]某增強(qiáng)現(xiàn)實(shí)交互系統(tǒng)的分析與設(shè)計(jì)[D]. 勞家毅.北京郵電大學(xué) 2017
[8]基于表情識(shí)別的虛擬環(huán)境交互技術(shù)研究[D]. 楊洋.重慶郵電大學(xué) 2017
[9]基于角色動(dòng)畫(huà)的運(yùn)動(dòng)重定向技術(shù)研究[D]. 楊曉蒙.湖南大學(xué) 2017
[10]基于Kinect的動(dòng)作捕捉系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 張作運(yùn).重慶郵電大學(xué) 2017



本文編號(hào)：3131617