近年來隨著人工智能技術(shù)和計算機技術(shù)的快速發(fā)展,人機交互的方式也得到了很大的解放,基于手勢的人機交互方式因其簡單高效、自然方便而受到人們的青睞。手勢識別通常又可以分為靜態(tài)手勢識別和動態(tài)手勢識別,本文就這兩個手勢識別分支所做的研究工作主要如下所示:分析了手勢識別的幾種常用方法類別,包括基于模板匹配、基于數(shù)據(jù)手套、基于概率統(tǒng)計、基于無線射頻、基于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)五種方法分類,并比較各自的優(yōu)缺點。隨后提出當前主流的目標檢測研究方向,即基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的目標檢測算法。在以上基礎(chǔ)上提出一種基于改進YOLOv3(You Only Look Once:Version 3)的靜態(tài)手勢實時識別方法。首先,基于卷積神經(jīng)網(wǎng)絡(luò)YOLOv3模型,通過使用Kinect傳感器采集的四種類型的Kinect圖像(IR圖像、Registration of RGB圖像、RGB圖像和Depth圖像)數(shù)據(jù)集代替常用的RGB圖像數(shù)據(jù)集,并且融合四類圖像的識別結(jié)果,提高了識別準確率;然后,采用K-Means聚類算法對YOLOv3的初始候選框參數(shù)進行改進,提高了識別速度;最后,采用遷移學(xué)習(xí)的方法對基礎(chǔ)特征提取器進行改進,減少了模型的訓(xùn)練時間。實驗表明,所提方法對流式視頻靜態(tài)手勢的平均識別準確率(mean average precision,mAP)為99.1%,識別速度為42 FPS(Frames Per Second),模型訓(xùn)練時間為12小時,相比改進前的YOLOv3方法,mAP提高6.6個百分點,識別速度提高4 FPS,模型訓(xùn)練時間減少25%。與其他先進的深度學(xué)習(xí)方法,如Faster R-CNN(Faster Regions with CNN features)、SSD(Single Shot MultiBox Detector)、YOLOv2(You Only Look Once:Version 2)和殘差網(wǎng)絡(luò)101(RetinaNet-101)相比,本文方法取得了較好的識別結(jié)果。最后又提出一種基于YOLOv3的連續(xù)動態(tài)手勢識別方法。手勢動作數(shù)據(jù)采集階段使用基于信道狀態(tài)信息(Channel State Information,CSI)的方式,通過對CSI數(shù)據(jù)進行自適應(yīng)加權(quán)融合、卡爾曼濾波、閾值分割和數(shù)據(jù)轉(zhuǎn)換生成灰度值圖像,結(jié)合YOLOv3算法,對連續(xù)動態(tài)手勢進行訓(xùn)練和識別。使用識別混淆矩陣的表達方式驗證所提方法的有效性。實驗結(jié)果表明,本文方法對自定義的四種連續(xù)動態(tài)手勢的識別率達到94%,取得了較好的識別效果。
【學(xué)位單位】：合肥工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TN713
【部分圖文】：

圖 2.1 MP 神經(jīng)元模型Fig 2.1 Diagram of MP neuron model信號，共n個輸入信號， j 表示神經(jīng)元，ijw 表示輸入的權(quán)重值，jb 表示神經(jīng)元的內(nèi)部狀態(tài)即偏置值，jO 表關(guān)系可以用下式表示： nijjiijOfbxw1激活函數(shù)，常用的有 sigmoid 函數(shù)、tanh(x)函數(shù)、線r Unit, ReLU)[36]、Leaky ReLU 函數(shù)、ELU 函數(shù)[37]等eptive field）可以理解成是 CNN 中的神經(jīng)元對輸入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相鄰網(wǎng)絡(luò)層間的神經(jīng)元采用全連接的方數(shù)龐大，難以訓(xùn)練。CNN 中提出了局部感受野的概念知，有效地避免了這一困難。

圖 2.2 CNN 中的局部感受野示意圖Fig 2.2 Schematic diagram of local receptive filed in CNN元之間局部感知的操作，極大地減少了參數(shù)個數(shù)，又不會一核心思想，權(quán)值共享，即共享網(wǎng)絡(luò)模型的權(quán)值參數(shù)。C發(fā)于相鄰的生物神經(jīng)元在結(jié)構(gòu)和功能上的類似性和可替代核使用一組共享的權(quán)值來對上層特征圖譜進行遍歷。通俗同一個卷積核上的所有神經(jīng)元共享同一個權(quán)值參數(shù)。之所是因為同一個卷積核在某個區(qū)域提取到的特征，同樣適用

圖 2.2 CNN 中的局部感受野示意圖Fig 2.2 Schematic diagram of local receptive filed in CNN種神經(jīng)元之間局部感知的操作，極大地減少了參數(shù)個數(shù)，又不會丟失。值共享N 中另一核心思想，權(quán)值共享，即共享網(wǎng)絡(luò)模型的權(quán)值參數(shù)。CNN 中思想啟發(fā)于相鄰的生物神經(jīng)元在結(jié)構(gòu)和功能上的類似性和可替代性，，卷積核使用一組共享的權(quán)值來對上層特征圖譜進行遍歷。通俗意義上享就是同一個卷積核上的所有神經(jīng)元共享同一個權(quán)值參數(shù)。之所以可參數(shù)，是因為同一個卷積核在某個區(qū)域提取到的特征，同樣適用于其

【參考文獻】

相關(guān)期刊論文 前9條

1 呂蕾;張金玲;朱英杰;劉弘;;一種基于數(shù)據(jù)手套的靜態(tài)手勢識別方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2015年12期

2 杜金輝;管業(yè)鵬;時勇杰;;基于快速SIFT匹配的行人信息檢測[J];電子器件;2012年05期

3 羅元;謝_g;張毅;;基于Kinect傳感器的智能輪椅手勢控制系統(tǒng)的設(shè)計與實現(xiàn)[J];機器人;2012年01期

4 李忠海;李申;崔建國;劉羅曼;;基于快速SIFT特征提取的模板匹配算法[J];計算機工程;2011年24期

5 陳勇飛;劉新明;;基于膚色和類Harr特征的人臉圖像的人眼檢測[J];計算機工程與應(yīng)用;2008年33期

6 王西穎;戴國忠;張習(xí)文;張鳳軍;;基于HMM-FNN模型的復(fù)雜動態(tài)手勢識別[J];軟件學(xué)報;2008年09期

7 劉江華,陳佳品,程君實;基于光流及耦合隱馬爾可夫模型的動態(tài)手勢識別[J];上海交通大學(xué)學(xué)報;2003年05期

8 張良國,吳江琴,高文,姚鴻勛;基于Hausdorff距離的手勢識別[J];中國圖象圖形學(xué)報;2002年11期

9 吳江琴;高文;陳熙霖;;基于數(shù)據(jù)手套輸入的漢語手指字母的識別[J];模式識別與人工智能;1999年01期

相關(guān)碩士學(xué)位論文 前9條

1 柳毅;基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識別方法研究[D];南京郵電大學(xué);2018年

2 周健;無線感知網(wǎng)絡(luò)中基于CSI的室內(nèi)入侵檢測與行為識別研究[D];南京郵電大學(xué);2018年

3 胡鵬程;基于深度學(xué)習(xí)的手勢識別系統(tǒng)研究與實現(xiàn)[D];北京郵電大學(xué);2018年

4 呂妙嫻;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法研究[D];暨南大學(xué);2017年

5 張碩;基于KNN算法的空間手勢識別研究與應(yīng)用[D];吉林大學(xué);2017年

6 劉佳林;基于CSI的復(fù)雜場景下人體運動檢測研究[D];大連理工大學(xué);2017年

7 梅華鋒;基于CSI的人體行為識別研究與實現(xiàn)[D];武漢理工大學(xué);2017年

8 何文鋒;基于WIFI的手勢識別研究[D];深圳大學(xué);2015年

9 周科嘉;基于HOG特征和模板匹配的行人檢測與跟蹤研究[D];吉林大學(xué);2014年

本文編號：2814799