隨著人機(jī)交互、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和物聯(lián)網(wǎng)等新技術(shù)的出現(xiàn),傳統(tǒng)鼠標(biāo)和鍵盤在這些情況下無法滿足交互需求。這些新技術(shù)的應(yīng)用環(huán)境特征更偏向用戶與系統(tǒng)使用簡單和高效的自然交互。目前人機(jī)自然交互技術(shù)主要存在高效的自然交互、用戶在場景中的移動(dòng)與導(dǎo)航、多模態(tài)協(xié)同交互等關(guān)鍵技術(shù)問題�；谟�(jì)算機(jī)視覺的手勢、姿勢、人臉等識別與交互是自然交互技術(shù)的研究熱點(diǎn),本文提出基于深度神經(jīng)網(wǎng)絡(luò)的手勢識別技術(shù)解決自然手勢交互問題;提出基于HOG和SVM算法的人臉識別技術(shù)與基于Kinect的姿勢檢測解決自然移動(dòng)與導(dǎo)航問題;在Unity3D與C#的開發(fā)環(huán)境下,設(shè)計(jì)并實(shí)現(xiàn)了虛擬現(xiàn)實(shí)環(huán)境下的自然交互系統(tǒng);最后通過虛擬空間配置的應(yīng)用論證了本文所提出的技術(shù)方案。本文具體包括以下四方面的工作。（1）采用Kinect Studio錄制手勢、姿勢樣本,采集的樣本在Visual Gesture Builder（VGB）中進(jìn)行訓(xùn)練,完成手勢和姿勢的檢測并將其應(yīng)用于虛擬環(huán)境的交互和導(dǎo)航;基于深度神經(jīng)網(wǎng)絡(luò)利用Object detection API在Pycharm中完成手勢的訓(xùn)練,然后將其檢測結(jié)果應(yīng)用于虛擬空間配置中與家具的自然交互,提高了手勢識別... 

【文章來源】：廣東工業(yè)大學(xué)廣東省

【文章頁數(shù)】：88 頁

【學(xué)位級別】：碩士

【部分圖文】：

D空間Fig.2-23Dspace

圖 2-2 3D 空間Fig.2-2 3D space首先選擇所需數(shù)據(jù)流，從原始數(shù)據(jù)中產(chǎn)生的數(shù)據(jù)流是深度、紅外數(shù)據(jù)以及身體身。然后錄制剪輯，以抓取手勢為例，站在合適的位置勻速做抓取動(dòng)作，本文抓手勢每個(gè)剪輯做 5 組（圖 2-3 a））。錄制完畢可在 Play 界面回放（圖 2-3 b））。

圖 2-4 格式轉(zhuǎn)換Fig.2-4 Format conversion.2.2 基于 Visual Gesture Builder 的手勢訓(xùn)練本文采用 Visual Gesture Builder 實(shí)現(xiàn)手勢訓(xùn)練，其動(dòng)作識別依托于 Adabo法，通過樣本訓(xùn)練得到手勢的分類器和特征集，并以此為基礎(chǔ)識別出人體動(dòng)作訓(xùn)練和識別框架如圖 2-5 所示。生成弱分類器生成若分類器集獲取手勢特征集分割數(shù)據(jù)

【參考文獻(xiàn)】：
期刊論文
[1]基于HMM的虛擬場景控制手勢識別研究[J]. 張玉軍,孟曉軍,白漫濤.  電子設(shè)計(jì)工程. 2018(24)
[2]多通道融合的虛擬實(shí)驗(yàn)環(huán)境設(shè)計(jì)[J]. 張碩,楊賢,何漢武.  實(shí)驗(yàn)室研究與探索. 2018(12)
[3]基于手勢識別的智能家居系統(tǒng)[J]. 任小康,葛化亞,丁星,李道全.  電腦知識與技術(shù). 2018(27)
[4]新一代人機(jī)交互:自然用戶界面的現(xiàn)狀、類型與教育應(yīng)用探究——兼對腦機(jī)接口技術(shù)的初步展望[J]. 徐振國,陳秋惠,張冠文.  遠(yuǎn)程教育雜志. 2018(04)
[5]基于計(jì)算機(jī)視覺的手勢識別人機(jī)交互技術(shù)[J]. 楊益平,閔嘯.  電子技術(shù)與軟件工程. 2018(12)
[6]基于神經(jīng)網(wǎng)絡(luò)及虛擬現(xiàn)實(shí)技術(shù)的智能手勢識別研究[J]. 劉敏.  長春師范大學(xué)學(xué)報(bào). 2018(06)
[7]基于Kinect的動(dòng)態(tài)手勢識別[J]. 王兵,董洪偉,張明敏,潘志庚.  傳感器與微系統(tǒng). 2018(02)
[8]仿生機(jī)械靈巧手的手指設(shè)計(jì)[J]. 馬翔宇,楊武成,李阿為.  重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)). 2017(11)
[9]支持自然交互的虛擬跑步機(jī)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J]. 潘志庚,劉從晉,葛瑩瑩,袁慶曙.  系統(tǒng)仿真學(xué)報(bào). 2017(11)
[10]GL-RBF優(yōu)化的數(shù)據(jù)手套手勢識別算法[J]. 李東潔,李洋洋,楊柳.  哈爾濱理工大學(xué)學(xué)報(bào). 2017(04)

博士論文
[1]虛擬現(xiàn)實(shí)自然交互環(huán)境下用戶認(rèn)知的數(shù)學(xué)表達(dá)及其可視化評估[D]. 楊賢.廣東工業(yè)大學(xué) 2018



本文編號：3390164