隨著人機(jī)交互、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和物聯(lián)網(wǎng)等新技術(shù)的出現(xiàn),傳統(tǒng)鼠標(biāo)和鍵盤(pán)在這些情況下無(wú)法滿足交互需求。這些新技術(shù)的應(yīng)用環(huán)境特征更偏向用戶與系統(tǒng)使用簡(jiǎn)單和高效的自然交互。目前人機(jī)自然交互技術(shù)主要存在高效的自然交互、用戶在場(chǎng)景中的移動(dòng)與導(dǎo)航、多模態(tài)協(xié)同交互等關(guān)鍵技術(shù)問(wèn)題�；谟�(jì)算機(jī)視覺(jué)的手勢(shì)、姿勢(shì)、人臉等識(shí)別與交互是自然交互技術(shù)的研究熱點(diǎn),本文提出基于深度神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別技術(shù)解決自然手勢(shì)交互問(wèn)題;提出基于HOG和SVM算法的人臉識(shí)別技術(shù)與基于Kinect的姿勢(shì)檢測(cè)解決自然移動(dòng)與導(dǎo)航問(wèn)題;在Unity3D與C#的開(kāi)發(fā)環(huán)境下,設(shè)計(jì)并實(shí)現(xiàn)了虛擬現(xiàn)實(shí)環(huán)境下的自然交互系統(tǒng);最后通過(guò)虛擬空間配置的應(yīng)用論證了本文所提出的技術(shù)方案。本文具體包括以下四方面的工作。（1）采用Kinect Studio錄制手勢(shì)、姿勢(shì)樣本,采集的樣本在Visual Gesture Builder（VGB）中進(jìn)行訓(xùn)練,完成手勢(shì)和姿勢(shì)的檢測(cè)并將其應(yīng)用于虛擬環(huán)境的交互和導(dǎo)航;基于深度神經(jīng)網(wǎng)絡(luò)利用Object detection API在Pycharm中完成手勢(shì)的訓(xùn)練,然后將其檢測(cè)結(jié)果應(yīng)用于虛擬空間配置中與家具的自然交互,提高了手勢(shì)識(shí)別... 

【文章來(lái)源】：廣東工業(yè)大學(xué)廣東省

【文章頁(yè)數(shù)】：88 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

D空間Fig.2-23Dspace

圖 2-2 3D 空間Fig.2-2 3D space首先選擇所需數(shù)據(jù)流，從原始數(shù)據(jù)中產(chǎn)生的數(shù)據(jù)流是深度、紅外數(shù)據(jù)以及身體身。然后錄制剪輯，以抓取手勢(shì)為例，站在合適的位置勻速做抓取動(dòng)作，本文抓手勢(shì)每個(gè)剪輯做 5 組（圖 2-3 a））。錄制完畢可在 Play 界面回放（圖 2-3 b））。

圖 2-4 格式轉(zhuǎn)換Fig.2-4 Format conversion.2.2 基于 Visual Gesture Builder 的手勢(shì)訓(xùn)練本文采用 Visual Gesture Builder 實(shí)現(xiàn)手勢(shì)訓(xùn)練，其動(dòng)作識(shí)別依托于 Adabo法，通過(guò)樣本訓(xùn)練得到手勢(shì)的分類(lèi)器和特征集，并以此為基礎(chǔ)識(shí)別出人體動(dòng)作訓(xùn)練和識(shí)別框架如圖 2-5 所示。生成弱分類(lèi)器生成若分類(lèi)器集獲取手勢(shì)特征集分割數(shù)據(jù)

【參考文獻(xiàn)】：
期刊論文
[1]基于HMM的虛擬場(chǎng)景控制手勢(shì)識(shí)別研究[J]. 張玉軍,孟曉軍,白漫濤.  電子設(shè)計(jì)工程. 2018(24)
[2]多通道融合的虛擬實(shí)驗(yàn)環(huán)境設(shè)計(jì)[J]. 張碩,楊賢,何漢武.  實(shí)驗(yàn)室研究與探索. 2018(12)
[3]基于手勢(shì)識(shí)別的智能家居系統(tǒng)[J]. 任小康,葛化亞,丁星,李道全.  電腦知識(shí)與技術(shù). 2018(27)
[4]新一代人機(jī)交互:自然用戶界面的現(xiàn)狀、類(lèi)型與教育應(yīng)用探究——兼對(duì)腦機(jī)接口技術(shù)的初步展望[J]. 徐振國(guó),陳秋惠,張冠文.  遠(yuǎn)程教育雜志. 2018(04)
[5]基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別人機(jī)交互技術(shù)[J]. 楊益平,閔嘯.  電子技術(shù)與軟件工程. 2018(12)
[6]基于神經(jīng)網(wǎng)絡(luò)及虛擬現(xiàn)實(shí)技術(shù)的智能手勢(shì)識(shí)別研究[J]. 劉敏.  長(zhǎng)春師范大學(xué)學(xué)報(bào). 2018(06)
[7]基于Kinect的動(dòng)態(tài)手勢(shì)識(shí)別[J]. 王兵,董洪偉,張明敏,潘志庚.  傳感器與微系統(tǒng). 2018(02)
[8]仿生機(jī)械靈巧手的手指設(shè)計(jì)[J]. 馬翔宇,楊武成,李阿為.  重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)). 2017(11)
[9]支持自然交互的虛擬跑步機(jī)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J]. 潘志庚,劉從晉,葛瑩瑩,袁慶曙.  系統(tǒng)仿真學(xué)報(bào). 2017(11)
[10]GL-RBF優(yōu)化的數(shù)據(jù)手套手勢(shì)識(shí)別算法[J]. 李東潔,李洋洋,楊柳.  哈爾濱理工大學(xué)學(xué)報(bào). 2017(04)

博士論文
[1]虛擬現(xiàn)實(shí)自然交互環(huán)境下用戶認(rèn)知的數(shù)學(xué)表達(dá)及其可視化評(píng)估[D]. 楊賢.廣東工業(yè)大學(xué) 2018



本文編號(hào)：3390164