發(fā)布時(shí)間：2020-05-09 01:01

【摘要】：手勢(shì)交流作為人們?nèi)粘Ｉ罱涣鞯某Ｒ娦问?已成為人機(jī)交互的重要組成部分。隨著人們對(duì)手勢(shì)識(shí)別的準(zhǔn)確性以及應(yīng)用場(chǎng)景的豐富性越來越高的要求,基于單目相機(jī)的手勢(shì)識(shí)別受到更為廣泛的關(guān)注。由于手勢(shì)存在形變大、自身遮擋、背景復(fù)雜等問題,本文基于單目相機(jī)拍攝的手勢(shì)圖像,使用深度學(xué)習(xí)技術(shù),探索提高手勢(shì)識(shí)別準(zhǔn)確率的方法。為了解決上述問題,本文設(shè)計(jì)了結(jié)合手指姿態(tài)估計(jì)的深度學(xué)習(xí)手勢(shì)識(shí)別框架。該框架共包含兩部分:首先,本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)深度學(xué)習(xí)模型——HandPoseNet,用于從圖像中精確地恢復(fù)手指姿態(tài)。本課題使用置信圖表示手指位置,對(duì)于輸入的手勢(shì)圖像,通過HandPoseNet生成對(duì)應(yīng)的置信圖。本文在三個(gè)手指姿態(tài)估計(jì)數(shù)據(jù)集上進(jìn)行訓(xùn)練,得到一個(gè)可靠的適用于多場(chǎng)景的HandPoseNet模型。然后,結(jié)合訓(xùn)練好的HandPoseNet模型,本文設(shè)計(jì)和實(shí)現(xiàn)了多模態(tài)深度融合網(wǎng)絡(luò),將原始圖像與HandPoseNet模型得到的手指姿態(tài)作為融合網(wǎng)絡(luò)的輸入,進(jìn)行手勢(shì)識(shí)別。與現(xiàn)有多模態(tài)方法不同的是,本文的手指姿態(tài)通過姿態(tài)估計(jì)模型自動(dòng)得到,融合框架本質(zhì)上只使用了彩色圖像作為輸入。為了充分利用雙模態(tài)數(shù)據(jù)之間的互補(bǔ)性,本文設(shè)計(jì)了兩種多模態(tài)深度融合方法,并在多個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,結(jié)合姿態(tài)估計(jì)進(jìn)行手勢(shì)識(shí)別的方法可以有效提高手勢(shì)識(shí)別的準(zhǔn)確率。
【圖文】：

圖３．２結(jié)合手指姿態(tài)估計(jì)的手勢(shì)識(shí)別框架逡逑

圖３．３邋ＡＳＬ各類手勢(shì)示意圖逡逑該數(shù)據(jù)集中不同的手勢(shì)之間可能存在較大相似性，增加了識(shí)別的難度，如圖逡逑
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 翟朋輝;王靜怡;;一種簡(jiǎn)易手勢(shì)識(shí)別裝置[J];山東工業(yè)技術(shù);2019年12期

2 鐘習(xí);陳益強(qiáng);于漢超;楊曉東;胡子昂;;融合情境感知信息的超聲波手勢(shì)識(shí)別方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2018年01期

3 王健;朱恩成;黃四牛;任華;;基于深度學(xué)習(xí)的動(dòng)態(tài)手勢(shì)識(shí)別方法[J];計(jì)算機(jī)仿真;2018年02期

4 楊欣怡;李雙;;基于手勢(shì)識(shí)別的智能電視交互專利技術(shù)綜述[J];科技創(chuàng)新與應(yīng)用;2018年24期

5 宋昆哲;閆曉虎;田樂;王奇俊;劉珂;;基于多點(diǎn)特征提取的手勢(shì)識(shí)別的研究[J];科技創(chuàng)新與應(yīng)用;2018年25期

6 丁偉利;胡艷玲;申亞輝;劉洪海;;基于虛擬試驗(yàn)箱的康復(fù)手勢(shì)識(shí)別算法研究[J];高技術(shù)通訊;2017年03期

7 袁博;查晨東;;手勢(shì)識(shí)別技術(shù)發(fā)展現(xiàn)狀與展望[J];科學(xué)技術(shù)創(chuàng)新;2018年32期

8 羅于恒;王洋;劉偉;;一種非接觸式的手勢(shì)識(shí)別裝置[J];科技與創(chuàng)新;2018年21期

9 孫竟豪;;基于深度學(xué)習(xí)的手勢(shì)識(shí)別研究[J];計(jì)算機(jī)產(chǎn)品與流通;2018年09期

10 于漢超;楊曉東;張迎偉;鐘習(xí);陳益強(qiáng);;凌空手勢(shì)識(shí)別綜述[J];科技導(dǎo)報(bào);2017年16期

相關(guān)會(huì)議論文 前10條

1 祝遠(yuǎn)新;徐光佑;黃浴;林學(xué);俞志和;;一個(gè)基于表觀的孤立手勢(shì)識(shí)別系統(tǒng)[A];中國(guó)圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國(guó)圖象圖形科技大會(huì)論文集[C];1998年

2 張宏源;袁家政;;基于視覺的手勢(shì)識(shí)別新方法綜述[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

3 鄧智方;袁家政;;基于深度學(xué)習(xí)的視覺手勢(shì)識(shí)別綜述[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

4 丁勇;蘇坪;潘超群;沈石松;;毫米波非接觸式手勢(shì)識(shí)別雷達(dá)[A];2019年全國(guó)微波毫米波會(huì)議論文集（上冊(cè)）[C];2019年

5 鄭穎;姚登峰;鮑泓;喬良;;基于機(jī)器學(xué)習(xí)的手勢(shì)識(shí)別研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

6 管珊珊;張益農(nóng);;基于Kinect的手勢(shì)識(shí)別研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2018年

7 易曉;秦圣峰;康金勝;;基于手勢(shì)識(shí)別技術(shù)的快速三維建模(英文)[A];第十屆中國(guó)科協(xié)年會(huì)論文集（三）[C];2008年

8 鄭穎;李培峰;羅恒杰;徐成;鮑泓;;交警手勢(shì)識(shí)別的研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2018年

9 沈世宏;李蔚清;;基于Kinect的體感手勢(shì)識(shí)別系統(tǒng)的研究[A];第八屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2012)論文集CHCI[C];2012年

10 李騰;郭文成;;基于手勢(shì)識(shí)別的車載音樂控制儀的設(shè)計(jì)[A];“裝備中國(guó)”2016年“濱海杯”高端裝備工業(yè)設(shè)計(jì)大賽論文集[C];2016年

相關(guān)重要報(bào)紙文章 前10條

1 實(shí)習(xí)生 張燕;揮手玩“蘋果”的高三男孩[N];中國(guó)青年報(bào);2011年

2 本報(bào)記者 王偉;巨頭看上的“手勢(shì)識(shí)別”能照進(jìn)現(xiàn)實(shí)嗎？[N];中國(guó)電子報(bào);2019年

3 記者 郝曉明;國(guó)內(nèi)首套手勢(shì)識(shí)別智能無人飛行系統(tǒng)亮相[N];科技日?qǐng)?bào);2017年

4 本報(bào)記者 喻思孌;操作手機(jī)，揮揮手就行[N];人民日?qǐng)?bào);2017年

5 本報(bào)記者 董添;谷歌申請(qǐng)手勢(shì)識(shí)別專利引關(guān)注[N];中國(guó)證券報(bào);2017年

6 倪明 段郴群;谷歌等巨頭布局手勢(shì)識(shí)別市場(chǎng)[N];企業(yè)家日?qǐng)?bào);2017年

7 肖思思;TCL新型數(shù)字家電可進(jìn)行手勢(shì)識(shí)別[N];中國(guó)稅務(wù)報(bào);2007年

8 華凌;首個(gè)無電池手勢(shì)識(shí)別系統(tǒng)有望替代觸摸屏[N];科技日?qǐng)?bào);2014年

9 本報(bào)記者 張曉麗;未來智能家電真能一“手”掌控[N];遼寧日?qǐng)?bào);2014年

10 記者 張瀟;“創(chuàng)新，，讓學(xué)習(xí)不僅僅止于課本”[N];西安日?qǐng)?bào);2015年

相關(guān)博士學(xué)位論文 前10條

1 徐軍;基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別及人機(jī)交互技術(shù)的應(yīng)用研究[D];東南大學(xué);2018年

2 Isack Emmanuel Bulugu;基于高階局部自相關(guān)的特征提取方法及其在手勢(shì)識(shí)別中的應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

3 衛(wèi)文韜;肌電手勢(shì)識(shí)別中的多流融合和多視圖深度學(xué)習(xí)方法研究[D];浙江大學(xué);2018年

4 周航;基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別系統(tǒng)研究[D];北京交通大學(xué);2008年

5 顧立忠;基于表觀的手勢(shì)識(shí)別及人機(jī)交互研究[D];上海交通大學(xué);2008年

6 萬軍;動(dòng)態(tài)手勢(shì)識(shí)別中的時(shí)空特征表示和字典優(yōu)化研究[D];北京交通大學(xué);2014年

7 成可立;數(shù)據(jù)驅(qū)動(dòng)的虛擬試衣系統(tǒng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

8 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

9 覃文軍;基于視覺信息的手勢(shì)識(shí)別算法與模型研究[D];東北大學(xué);2010年

10 杜宇;基于深度機(jī)器學(xué)習(xí)的體態(tài)與手勢(shì)感知計(jì)算關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 林佰鳳;基于Kinect的手勢(shì)識(shí)別及其應(yīng)用研究[D];沈陽建筑大學(xué);2017年

2 郭凱;基于單目視覺的靜態(tài)手勢(shì)識(shí)別研究及應(yīng)用[D];天津理工大學(xué);2019年

3 廖毅雄;基于深度學(xué)習(xí)的手勢(shì)識(shí)別及人體行為識(shí)別算法研究[D];北京郵電大學(xué);2019年

4 雷蕾;基于粒子群優(yōu)化算法和自生成神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別研究[D];太原理工大學(xué);2018年

5 王蘇振;基于深度學(xué)習(xí)的手勢(shì)識(shí)別技術(shù)研究[D];浙江大學(xué);2019年

6 王蕊;基于IOS的攝影攝像輔助教學(xué)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北科技大學(xué);2019年

7 許平;基于Kinect體感交互技術(shù)的電子哈哈鏡系統(tǒng)設(shè)計(jì)[D];安徽大學(xué);2019年

8 彭星;面向智能服務(wù)機(jī)器人的手勢(shì)識(shí)別技術(shù)研究[D];深圳大學(xué);2018年

9 徐詩藝;基于計(jì)算機(jī)視覺的動(dòng)態(tài)手勢(shì)識(shí)別研究[D];西南石油大學(xué);2018年

10 韓笑;基于視覺和幾何特征的靜態(tài)手勢(shì)識(shí)別的研究[D];天津工業(yè)大學(xué);2019年

本文編號(hào)：2655325