隨著機器人的應(yīng)用越來越廣泛,人機交互一直是目前熱門的研究領(lǐng)域。人和機器一般通過語音、姿態(tài)、腦電波追蹤和視覺傳感等方式進行交流,其中,人體手勢作為姿態(tài)的一種能給機器傳遞豐富的信息。然而,手勢具有的多樣性、復(fù)雜性以及運動過程中時間和空間上的差異性,使手勢在識別的問題上存在一定困難。傳統(tǒng)的識別方式要借助可穿戴設(shè)備,并利用各種傳感器進行定位和識別,存在代價大、受外部影響大和識別不準等缺陷�；谏疃葘W(xué)習(xí)的識別方法能大大改善這些缺陷。本文研究了卷積神經(jīng)網(wǎng)絡(luò)對手勢分類識別的算法原理,并通過構(gòu)建雙流卷積神經(jīng)網(wǎng)絡(luò)完成了動態(tài)手勢的識別,具體內(nèi)容如下:首先,根據(jù)LeNet-5網(wǎng)絡(luò)設(shè)計了一套卷積神經(jīng)網(wǎng)絡(luò)模型,利用自行拍攝的手勢數(shù)據(jù)集對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。通過設(shè)計對比實驗,確定網(wǎng)絡(luò)層數(shù)、輸入尺寸與卷積核尺寸等參數(shù)。以識別精度和訓(xùn)練時間為準則,搭建最佳的網(wǎng)絡(luò)模型來完成靜態(tài)手勢的識別任務(wù),并設(shè)計了兩種誤差處理方案進一步提高網(wǎng)絡(luò)的識別準確率。然后,利用光流法完成視頻中運動手勢動態(tài)特征的提取,并額外搭建一套卷積神經(jīng)網(wǎng)絡(luò),利用包含手勢運動時間維信息的光流圖對該神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。將兩套卷積神經(jīng)網(wǎng)絡(luò)并行連接,構(gòu)成一個雙... 

【文章來源】：西南交通大學(xué)四川省 211工程院校 教育部直屬院校

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【部分圖文】：

常見的幾種激活函數(shù)加上激活函數(shù)和偏置項后，此時神經(jīng)元模型前向傳播的數(shù)學(xué)表達式如下：1w

圖 2-19 卷積神經(jīng)網(wǎng)絡(luò)傳播過程代碼示例上述程序分別定義了卷積核尺寸、偏置量和激活函數(shù)，并完成了卷積計算和池化計算，具體解釋如下：第一行：通過 tensorflow 框架提供的 get_variable()方法創(chuàng)建并初始化卷積核的各項參數(shù)，其中前兩個維度表示卷積核的尺寸，第三個維度表示卷積核的深度，第四個維度表示卷積核的個數(shù)，并將卷積核的值初始化為標準差等于 0.1 的正態(tài)分布的隨機數(shù)。第二行：定義偏置項，并初始化為 0.1。與卷積核的個數(shù)相對應(yīng)，本例中卷積核的個數(shù)為 16。第三行：tf.nn.conv2d()是 TensorFlow 提供的一個非常簡單的函數(shù)來實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的前向傳播算法。input 為當(dāng)前層的輸入圖像，是一個四維矩陣，后三維的矩陣表示一副輸入圖像，第一維表示圖像的代號。例如，input[0,:,:,:]表示第一張輸入圖像，input[1,:,:,:]表示第二張輸入圖像。filter_weight 表示卷積層的參數(shù)，對應(yīng)前文的第一行代碼；strides 表示卷積核的移動步長，本例中步長為 1；padding 表示該層卷積層是否

1( )i i nyjjsoftmax y ye (通過公式(3-2)將神經(jīng)網(wǎng)絡(luò)的輸出向量轉(zhuǎn)化成概率分布，假設(shè) p 代表真實值，q 代測值，根據(jù)公式(3-1)得知當(dāng)交叉熵值越小，兩個概率分布越接近，即預(yù)測值越接實值，此時神經(jīng)網(wǎng)絡(luò)模型的識別效果越好。.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的確定通過對比實驗，確定卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)和結(jié)構(gòu)，分析在 dropout 機制下，不同尺寸和卷積核尺寸對卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時長和識別精度的影響。2.1 靜態(tài)手勢數(shù)據(jù)集為了驗證改進后神經(jīng)網(wǎng)絡(luò)的可行性，本文自行拍攝靜態(tài)手勢數(shù)據(jù)集供神經(jīng)網(wǎng)絡(luò)并驗證。該靜態(tài)手勢數(shù)據(jù)集包含 5 類手勢，約 5500 張圖像，每類手勢約 1100 張始圖像的尺寸均為 640×360。圖 3-2 展示了數(shù)據(jù)集中的五類手勢。

【參考文獻】：
期刊論文
[1]Recent advances in efficient computation of deep convolutional neural networks[J]. Jian CHENG,Pei-song WANG,Gang LI,Qing-hao HU,Han-qing LU.  Frontiers of Information Technology & Electronic Engineering. 2018(01)
[2]模板匹配的三維手勢識別算法[J]. 劉杰,黃進,韓冬奇,田豐,戴國忠,王宏安.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2016(08)
[3]基于視覺思維的人機交互遙感解譯模式研究[J]. 魯學(xué)軍,尚偉濤,周和頤.  遙感信息. 2013(06)
[4]基于AdaBoost算法和光流匹配的實時手勢識別[J]. 王凱,于鴻洋,張萍.  微電子學(xué)與計算機. 2012(04)
[5]一種面向?qū)崟r交互的變形手勢跟蹤方法[J]. 王西穎,張習(xí)文,戴國忠.  軟件學(xué)報. 2007(10)
[6]一種基于交叉熵的改進型PCNN圖像自動分割新方法[J]. 劉勍,馬義德,錢志柏.  中國圖象圖形學(xué)報. 2005(05)
[7]復(fù)雜背景下的手勢分割與識別[J]. 任海兵,祝遠新,徐光祐,張曉平,林學(xué)訚.  自動化學(xué)報. 2002(02)
[8]連續(xù)動態(tài)手勢的時空表觀建模及識別[J]. 任海兵,祝遠新,徐光祐,林學(xué)訚,張曉平.  計算機學(xué)報. 2000(08)
[9]基于表觀的動態(tài)孤立手勢識別[J]. 祝遠新,徐光祐,黃浴.  軟件學(xué)報. 2000(01)

碩士論文
[1]基于計算機視覺的手勢識別方法研究[D]. 李玉娟.西安電子科技大學(xué) 2017
[2]基于紅外攝像的行人檢測算法研究[D]. 吳思穎.吉林大學(xué) 2017
[3]基于數(shù)字圖像處理的交警手勢識別算法研究[D]. 馬躍峰.吉林大學(xué) 2016
[4]基于數(shù)據(jù)手套的手勢識別研究[D]. 王夢宇.東北大學(xué) 2015



本文編號：3240677