【摘要】：手勢(shì)識(shí)別是人機(jī)交互領(lǐng)域一個(gè)重要的研究方向。使用手勢(shì)作為人機(jī)交互接口,自然、直觀(guān),又貼近人類(lèi)交流習(xí)慣,其應(yīng)用前景廣泛。針對(duì)手勢(shì)識(shí)別算法應(yīng)用于人機(jī)交互時(shí),往往要求使用者手勢(shì)所在平面平行于攝像頭成像平面即垂直于水平面才能進(jìn)行識(shí)別這個(gè)問(wèn)題,本文提出一種應(yīng)用手勢(shì)姿態(tài)估計(jì)方法于手勢(shì)識(shí)別之中的算法。通過(guò)應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)深度圖中人手進(jìn)行姿態(tài)估計(jì),得到關(guān)鍵關(guān)節(jié)點(diǎn)的空間坐標(biāo)再使用它們進(jìn)行手勢(shì)識(shí)別,使得非典型手勢(shì)可以同典型手勢(shì)一樣被識(shí)別。本論文主要做了如下三部分工作:1.基于Kinect獲取深度信息,跟蹤并分割出復(fù)雜場(chǎng)景中的手勢(shì)部分。對(duì)分割出來(lái)的手勢(shì)深度圖進(jìn)行形態(tài)學(xué)處理及數(shù)據(jù)歸一化得到能夠輸入卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)深度圖。2.對(duì)于用于姿態(tài)估計(jì)的卷積網(wǎng)絡(luò)模型,通過(guò)加入非線(xiàn)性手勢(shì)模型中間層以及使用多分辨率的手勢(shì)深度圖作為網(wǎng)絡(luò)輸入提高準(zhǔn)確率;通過(guò)減少需要估計(jì)的手勢(shì)關(guān)節(jié)點(diǎn)數(shù)只保留有關(guān)鍵作用的關(guān)節(jié)點(diǎn)以提高檢測(cè)速度。實(shí)驗(yàn)證明,本文提出的網(wǎng)絡(luò)模型使手勢(shì)姿態(tài)估計(jì)平均誤差降低了2.21mm。3.基于指尖點(diǎn)到指根距離與手指中間關(guān)節(jié)點(diǎn)到指根距離之間的比例可以表征手指的彎曲程度,而經(jīng)過(guò)手勢(shì)姿態(tài)估計(jì)步驟能夠得到手勢(shì)各關(guān)節(jié)點(diǎn)空間坐標(biāo),進(jìn)一步求出關(guān)節(jié)點(diǎn)之間距離,所以本文以手指彎曲程度比例為特征應(yīng)用于猜拳手勢(shì)識(shí)別。本文手勢(shì)識(shí)別算法平均識(shí)別率為95.8%,非典型性手勢(shì)識(shí)別率94.6%。
[Abstract]:Gesture recognition is an important research direction in the field of human-computer interaction. Gesture is used as human-computer interface. It is natural, intuitive and close to human communication habits, so it has a wide application prospect. When the gesture recognition algorithm is applied to human-computer interaction, it is often required that the user's gesture plane be parallel to the camera imaging plane, that is, perpendicular to the horizontal plane. This paper presents an algorithm for gesture recognition using gesture attitude estimation method. By using convolutional neural network to estimate the human hand attitude in the depth map, the spatial coordinates of the key points are obtained and then used for gesture recognition, so that the atypical gestures can be recognized as typical gestures. The main work of this paper is as follows: 1. Get depth information based on Kinect, track and segment hand gesture in complex scene. The gesture depth map which can input convolutional neural network can be obtained by morphological processing and data normalization. 2. 2. For the convolution network model for attitude estimation, the accuracy is improved by adding the middle layer of the nonlinear gesture model and using the multi-resolution gesture depth map as the network input. The detection speed is improved by reducing the number of gesture nodes that need to be estimated. Experimental results show that the proposed network model can reduce the average error of gesture attitude estimation by 2.21mm. 3. Based on the ratio between finger tip distance and finger root distance, the curvature of finger can be represented by the ratio of finger tip to finger root distance, and the spatial coordinates of each node can be obtained by gesture attitude estimation. The distance between the knots is further calculated, so this paper applies the ratio of finger bending to the recognition of guessing hand gesture. The average recognition rate of gesture recognition algorithm is 95.8 and the recognition rate of atypical gesture is 94.6.
【學(xué)位授予單位】：南昌大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 操小文;薄華;;基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別研究[J];微型機(jī)與應(yīng)用;2016年09期

2 蔡娟;蔡堅(jiān)勇;廖曉東;黃海濤;丁僑俊;;基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別初探[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年04期

3 陶麗君;李翠華;張希婧;李勝睿;;基于Kinect傳感器深度信息的動(dòng)態(tài)手勢(shì)識(shí)別[J];廈門(mén)大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期

4 何超;胡章芳;王艷;;一種基于改進(jìn)DTW算法的動(dòng)態(tài)手勢(shì)識(shí)別方法[J];數(shù)字通信;2013年03期

5 曹雛清;李瑞峰;趙立軍;;基于深度圖像技術(shù)的手勢(shì)識(shí)別方法[J];計(jì)算機(jī)工程;2012年08期

6 吳江琴;高文;陳熙霖;;基于數(shù)據(jù)手套輸入的漢語(yǔ)手指字母的識(shí)別[J];模式識(shí)別與人工智能;1999年01期

相關(guān)碩士學(xué)位論文 前10條

1 胡蘇陽(yáng);基于Kinect深度數(shù)據(jù)及組合特征的靜態(tài)手勢(shì)識(shí)別研究[D];南昌大學(xué);2016年

2 曹海波;基于Kinect深度信息的靜態(tài)手勢(shì)識(shí)別方法研究[D];山東大學(xué);2016年

3 吳正文;卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)中的應(yīng)用研究[D];電子科技大學(xué);2015年

4 范文婕;基于深度圖像的手勢(shì)識(shí)別研究及應(yīng)用[D];南昌大學(xué);2015年

5 何鵬程;改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究[D];大連理工大學(xué);2015年

6 王松林;基于Kinect的手勢(shì)識(shí)別與機(jī)器人控制技術(shù)研究[D];北京交通大學(xué);2014年

7 鄭斌玨;基于Kinect深度信息的手勢(shì)識(shí)別[D];杭州電子科技大學(xué);2014年

8 莫舒;基于視覺(jué)的手勢(shì)分割算法的研究[D];華南理工大學(xué);2012年

9 常亞南;基于HMM的動(dòng)態(tài)手勢(shì)識(shí)別[D];華南理工大學(xué);2012年

10 許可;卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D];浙江大學(xué);2012年

，

本文編號(hào)：2297251