近年來隨著人工智能技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展,人機(jī)交互的方式也得到了很大的解放,基于手勢的人機(jī)交互方式因其簡單高效、自然方便而受到人們的青睞。手勢識(shí)別通常又可以分為靜態(tài)手勢識(shí)別和動(dòng)態(tài)手勢識(shí)別,本文就這兩個(gè)手勢識(shí)別分支所做的研究工作主要如下所示:分析了手勢識(shí)別的幾種常用方法類別,包括基于模板匹配、基于數(shù)據(jù)手套、基于概率統(tǒng)計(jì)、基于無線射頻、基于人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)五種方法分類,并比較各自的優(yōu)缺點(diǎn)。隨后提出當(dāng)前主流的目標(biāo)檢測研究方向,即基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的目標(biāo)檢測算法。在以上基礎(chǔ)上提出一種基于改進(jìn)YOLOv3(You Only Look Once:Version 3)的靜態(tài)手勢實(shí)時(shí)識(shí)別方法。首先,基于卷積神經(jīng)網(wǎng)絡(luò)YOLOv3模型,通過使用Kinect傳感器采集的四種類型的Kinect圖像(IR圖像、Registration of RGB圖像、RGB圖像和Depth圖像)數(shù)據(jù)集代替常用的RGB圖像數(shù)據(jù)集,并且融合四類圖像的識(shí)別結(jié)果,提高了識(shí)別準(zhǔn)確率;然后,采用K-Means聚類算法對(duì)YOLOv3的初始候選框參數(shù)進(jìn)行改進(jìn),提高了識(shí)別速度;最后,采用遷移學(xué)習(xí)的方法對(duì)基礎(chǔ)特征提取器進(jìn)行改進(jìn),減少了模型的訓(xùn)練時(shí)間。實(shí)驗(yàn)表明,所提方法對(duì)流式視頻靜態(tài)手勢的平均識(shí)別準(zhǔn)確率(mean average precision,mAP)為99.1%,識(shí)別速度為42 FPS(Frames Per Second),模型訓(xùn)練時(shí)間為12小時(shí),相比改進(jìn)前的YOLOv3方法,mAP提高6.6個(gè)百分點(diǎn),識(shí)別速度提高4 FPS,模型訓(xùn)練時(shí)間減少25%。與其他先進(jìn)的深度學(xué)習(xí)方法,如Faster R-CNN(Faster Regions with CNN features)、SSD(Single Shot MultiBox Detector)、YOLOv2(You Only Look Once:Version 2)和殘差網(wǎng)絡(luò)101(RetinaNet-101)相比,本文方法取得了較好的識(shí)別結(jié)果。最后又提出一種基于YOLOv3的連續(xù)動(dòng)態(tài)手勢識(shí)別方法。手勢動(dòng)作數(shù)據(jù)采集階段使用基于信道狀態(tài)信息(Channel State Information,CSI)的方式,通過對(duì)CSI數(shù)據(jù)進(jìn)行自適應(yīng)加權(quán)融合、卡爾曼濾波、閾值分割和數(shù)據(jù)轉(zhuǎn)換生成灰度值圖像,結(jié)合YOLOv3算法,對(duì)連續(xù)動(dòng)態(tài)手勢進(jìn)行訓(xùn)練和識(shí)別。使用識(shí)別混淆矩陣的表達(dá)方式驗(yàn)證所提方法的有效性。實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)自定義的四種連續(xù)動(dòng)態(tài)手勢的識(shí)別率達(dá)到94%,取得了較好的識(shí)別效果。
【學(xué)位單位】：合肥工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TN713
【部分圖文】：

圖 2.1 MP 神經(jīng)元模型Fig 2.1 Diagram of MP neuron model信號(hào)，共n個(gè)輸入信號(hào)， j 表示神經(jīng)元，ijw 表示輸入的權(quán)重值，jb 表示神經(jīng)元的內(nèi)部狀態(tài)即偏置值，jO 表關(guān)系可以用下式表示： nijjiijOfbxw1激活函數(shù)，常用的有 sigmoid 函數(shù)、tanh(x)函數(shù)、線r Unit, ReLU)[36]、Leaky ReLU 函數(shù)、ELU 函數(shù)[37]等eptive field）可以理解成是 CNN 中的神經(jīng)元對(duì)輸入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相鄰網(wǎng)絡(luò)層間的神經(jīng)元采用全連接的方數(shù)龐大，難以訓(xùn)練。CNN 中提出了局部感受野的概念知，有效地避免了這一困難。

圖 2.2 CNN 中的局部感受野示意圖Fig 2.2 Schematic diagram of local receptive filed in CNN元之間局部感知的操作，極大地減少了參數(shù)個(gè)數(shù)，又不會(huì)一核心思想，權(quán)值共享，即共享網(wǎng)絡(luò)模型的權(quán)值參數(shù)。C發(fā)于相鄰的生物神經(jīng)元在結(jié)構(gòu)和功能上的類似性和可替代核使用一組共享的權(quán)值來對(duì)上層特征圖譜進(jìn)行遍歷。通俗同一個(gè)卷積核上的所有神經(jīng)元共享同一個(gè)權(quán)值參數(shù)。之所是因?yàn)橥粋�(gè)卷積核在某個(gè)區(qū)域提取到的特征，同樣適用

圖 2.2 CNN 中的局部感受野示意圖Fig 2.2 Schematic diagram of local receptive filed in CNN種神經(jīng)元之間局部感知的操作，極大地減少了參數(shù)個(gè)數(shù)，又不會(huì)丟失。值共享N 中另一核心思想，權(quán)值共享，即共享網(wǎng)絡(luò)模型的權(quán)值參數(shù)。CNN 中思想啟發(fā)于相鄰的生物神經(jīng)元在結(jié)構(gòu)和功能上的類似性和可替代性，，卷積核使用一組共享的權(quán)值來對(duì)上層特征圖譜進(jìn)行遍歷。通俗意義上享就是同一個(gè)卷積核上的所有神經(jīng)元共享同一個(gè)權(quán)值參數(shù)。之所以可參數(shù)，是因?yàn)橥粋�(gè)卷積核在某個(gè)區(qū)域提取到的特征，同樣適用于其

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 呂蕾;張金玲;朱英杰;劉弘;;一種基于數(shù)據(jù)手套的靜態(tài)手勢識(shí)別方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年12期

2 杜金輝;管業(yè)鵬;時(shí)勇杰;;基于快速SIFT匹配的行人信息檢測[J];電子器件;2012年05期

3 羅元;謝_g;張毅;;基于Kinect傳感器的智能輪椅手勢控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];機(jī)器人;2012年01期

4 李忠海;李申;崔建國;劉羅曼;;基于快速SIFT特征提取的模板匹配算法[J];計(jì)算機(jī)工程;2011年24期

5 陳勇飛;劉新明;;基于膚色和類Harr特征的人臉圖像的人眼檢測[J];計(jì)算機(jī)工程與應(yīng)用;2008年33期

6 王西穎;戴國忠;張習(xí)文;張鳳軍;;基于HMM-FNN模型的復(fù)雜動(dòng)態(tài)手勢識(shí)別[J];軟件學(xué)報(bào);2008年09期

7 劉江華,陳佳品,程君實(shí);基于光流及耦合隱馬爾可夫模型的動(dòng)態(tài)手勢識(shí)別[J];上海交通大學(xué)學(xué)報(bào);2003年05期

8 張良國,吳江琴,高文,姚鴻勛;基于Hausdorff距離的手勢識(shí)別[J];中國圖象圖形學(xué)報(bào);2002年11期

9 吳江琴;高文;陳熙霖;;基于數(shù)據(jù)手套輸入的漢語手指字母的識(shí)別[J];模式識(shí)別與人工智能;1999年01期

相關(guān)碩士學(xué)位論文 前9條

1 柳毅;基于卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別方法研究[D];南京郵電大學(xué);2018年

2 周健;無線感知網(wǎng)絡(luò)中基于CSI的室內(nèi)入侵檢測與行為識(shí)別研究[D];南京郵電大學(xué);2018年

3 胡鵬程;基于深度學(xué)習(xí)的手勢識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2018年

4 呂妙嫻;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法研究[D];暨南大學(xué);2017年

5 張碩;基于KNN算法的空間手勢識(shí)別研究與應(yīng)用[D];吉林大學(xué);2017年

6 劉佳林;基于CSI的復(fù)雜場景下人體運(yùn)動(dòng)檢測研究[D];大連理工大學(xué);2017年

7 梅華鋒;基于CSI的人體行為識(shí)別研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2017年

8 何文鋒;基于WIFI的手勢識(shí)別研究[D];深圳大學(xué);2015年

9 周科嘉;基于HOG特征和模板匹配的行人檢測與跟蹤研究[D];吉林大學(xué);2014年

本文編號(hào)：2814799