【摘要】：隨著增強(qiáng)現(xiàn)實(shí)(Argument Reality,AR)和機(jī)器視覺(jué)的發(fā)展,單一的二維場(chǎng)景和落后的交互手段已經(jīng)不能滿足用戶日益增長(zhǎng)的體驗(yàn)感需求。AR的本質(zhì)是將渲染出的虛擬物體疊加在相機(jī)拍攝的真實(shí)世界圖層之上,虛擬物體是三維的,而相機(jī)拍攝的圖像是二維的,這導(dǎo)致了二者無(wú)法完美疊加,從而顯示上存在錯(cuò)位,晃動(dòng)等視覺(jué)錯(cuò)誤,用戶體驗(yàn)感差。其次,傳統(tǒng)交互手段無(wú)法滿足AR交互需求,借助數(shù)據(jù)手套或手柄需要額外輔助設(shè)備,缺乏自然性,發(fā)展受到制約。現(xiàn)階段增強(qiáng)現(xiàn)實(shí)設(shè)備(如Kinect)成本高,且戶外無(wú)法使用,用戶交互需要借助手柄,沒(méi)有廣泛的適用性。因此,為了實(shí)現(xiàn)AR輕量化和自然化,本文結(jié)合最近幾年發(fā)展快速的同時(shí)定位與地圖重建技術(shù)(SLAM)和計(jì)算機(jī)視覺(jué)中神經(jīng)網(wǎng)絡(luò)技術(shù)。進(jìn)行了如下研究:1.使用單目視覺(jué)方法進(jìn)行點(diǎn)云和平面重建。視覺(jué)SLAM方法通過(guò)對(duì)極幾何,在多幀圖像間可以確定出待測(cè)點(diǎn)深度信息,從而重建出三維點(diǎn)云。選擇合適特征點(diǎn)算法,實(shí)現(xiàn)三維點(diǎn)云獲取,并改進(jìn)視覺(jué)SLAM中視覺(jué)里程計(jì)部分,使用IMU模塊對(duì)視覺(jué)SLAM中快速運(yùn)動(dòng)易丟失現(xiàn)象進(jìn)行改進(jìn),最終構(gòu)建出帶有深度信息的三維點(diǎn)云。將點(diǎn)云通過(guò)KD樹(shù)管理查找,使用最小二乘法擬合出平面。2.通過(guò)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)行手勢(shì)識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)Χ喑叨忍卣鲗?shí)現(xiàn)提取,在圖像識(shí)別領(lǐng)域有很好效果,因此使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別,使用MobileNet神經(jīng)網(wǎng)絡(luò)架構(gòu)代替普通卷積神經(jīng)網(wǎng)絡(luò),具有計(jì)算速度快,硬件需求小的優(yōu)勢(shì),并且可以在手機(jī)端實(shí)現(xiàn)。用SVM分類器代替卷積神經(jīng)網(wǎng)絡(luò)中的Softmax分類器,將全連接層訓(xùn)練得到的特征提取出來(lái)后,使用SVM分類器進(jìn)行二次訓(xùn)練,得到一個(gè)識(shí)別精度高和泛化能力強(qiáng)的識(shí)別模型,提升神經(jīng)網(wǎng)絡(luò)識(shí)別效果。實(shí)驗(yàn)表明,使用改進(jìn)后的視覺(jué)SLAM可以穩(wěn)定且快速的單目視覺(jué)重建出稀疏點(diǎn)云,結(jié)合點(diǎn)云信息可以提取出空間平面信息,同時(shí)實(shí)現(xiàn)空間結(jié)構(gòu)識(shí)別。使用改進(jìn)后的MobileNet架構(gòu)訓(xùn)練CNN,進(jìn)行手勢(shì)識(shí)別,可以有效減少計(jì)算量,實(shí)現(xiàn)AR輕量化和自然化。
【學(xué)位授予單位】：內(nèi)蒙古科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP391.9;TP183
【圖文】：

0 填充后卷積，可以有效利用全部信息，但一定程度上會(huì)失真 下圖為有效卷積，將部分邊緣信息舍棄，保留真實(shí)圖像信息 圖2.4 卷積過(guò)程示例池化層也稱為下采樣層，通過(guò)對(duì)圖像中像素處理，也就是對(duì)每個(gè)特征圖進(jìn)行下采樣，使得特征圖簡(jiǎn)化，降低特征圖維度，簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)計(jì)算，另一方面壓縮特征圖像提取出主要特征，使特征圖具有尺度不變性，降低如傾斜，旋轉(zhuǎn)等位移對(duì)特征圖的影響 下采樣層進(jìn)行采樣工作，只縮小輸入特征圖尺度，并不影響輸出圖個(gè)數(shù)，相當(dāng)于進(jìn)行一

圖2.5 Relu 函數(shù)圖像一個(gè)完整的神經(jīng)網(wǎng)絡(luò)一般包含一個(gè)輸入層，多個(gè)卷積層和池化層，多個(gè)激活函數(shù)，和一個(gè)全連接層，其中全連接層也稱為輸出層，激活函數(shù)也稱為激活層 根據(jù)其使用的分類方法不同有著不同的效果 圖2.6 為手寫(xiě)文字經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)Le-net5 架構(gòu)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 穆寶良;王利;;計(jì)算機(jī)視覺(jué)下的實(shí)時(shí)手勢(shì)識(shí)別技術(shù)及其應(yīng)用[J];科學(xué)技術(shù)創(chuàng)新;2019年35期

2 翟朋輝;王靜怡;;一種簡(jiǎn)易手勢(shì)識(shí)別裝置[J];山東工業(yè)技術(shù);2019年12期

3 惠丹;;基于深度學(xué)習(xí)算法的可穿戴設(shè)備手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)[J];信息技術(shù)與網(wǎng)絡(luò)安全;2019年09期

4 楊蕊;米文輝;;手勢(shì)識(shí)別裝置的設(shè)計(jì)與實(shí)現(xiàn)[J];信息與電腦(理論版);2019年18期

5 鐘習(xí);陳益強(qiáng);于漢超;楊曉東;胡子昂;;融合情境感知信息的超聲波手勢(shì)識(shí)別方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2018年01期

6 王健;朱恩成;黃四牛;任華;;基于深度學(xué)習(xí)的動(dòng)態(tài)手勢(shì)識(shí)別方法[J];計(jì)算機(jī)仿真;2018年02期

7 楊欣怡;李雙;;基于手勢(shì)識(shí)別的智能電視交互專利技術(shù)綜述[J];科技創(chuàng)新與應(yīng)用;2018年24期

8 宋昆哲;閆曉虎;田樂(lè);王奇俊;劉珂;;基于多點(diǎn)特征提取的手勢(shì)識(shí)別的研究[J];科技創(chuàng)新與應(yīng)用;2018年25期

9 丁偉利;胡艷玲;申亞輝;劉洪海;;基于虛擬試驗(yàn)箱的康復(fù)手勢(shì)識(shí)別算法研究[J];高技術(shù)通訊;2017年03期

10 袁博;查晨東;;手勢(shì)識(shí)別技術(shù)發(fā)展現(xiàn)狀與展望[J];科學(xué)技術(shù)創(chuàng)新;2018年32期

相關(guān)會(huì)議論文 前10條

1 祝遠(yuǎn)新;徐光佑;黃浴;林學(xué);俞志和;;一個(gè)基于表觀的孤立手勢(shì)識(shí)別系統(tǒng)[A];中國(guó)圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國(guó)圖象圖形科技大會(huì)論文集[C];1998年

2 張宏源;袁家政;;基于視覺(jué)的手勢(shì)識(shí)別新方法綜述[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

3 鄧智方;袁家政;;基于深度學(xué)習(xí)的視覺(jué)手勢(shì)識(shí)別綜述[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

4 丁勇;蘇坪;潘超群;沈石松;;毫米波非接觸式手勢(shì)識(shí)別雷達(dá)[A];2019年全國(guó)微波毫米波會(huì)議論文集（上冊(cè)）[C];2019年

5 鄭穎;姚登峰;鮑泓;喬良;;基于機(jī)器學(xué)習(xí)的手勢(shì)識(shí)別研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

6 管珊珊;張益農(nóng);;基于Kinect的手勢(shì)識(shí)別研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2018年

7 易曉;秦圣峰;康金勝;;基于手勢(shì)識(shí)別技術(shù)的快速三維建模(英文)[A];第十屆中國(guó)科協(xié)年會(huì)論文集（三）[C];2008年

8 鄭穎;李培峰;羅恒杰;徐成;鮑泓;;交警手勢(shì)識(shí)別的研究進(jìn)展[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2018年

9 沈世宏;李蔚清;;基于Kinect的體感手勢(shì)識(shí)別系統(tǒng)的研究[A];第八屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2012)論文集CHCI[C];2012年

10 王鼎衡;趙廣社;李國(guó)齊;鄧?yán)?;基于張量鏈壓縮的卷積神經(jīng)網(wǎng)絡(luò)及手勢(shì)識(shí)別應(yīng)用研究[A];2018中國(guó)自動(dòng)化大會(huì)(CAC2018)論文集[C];2018年

相關(guān)重要報(bào)紙文章 前10條

1 實(shí)習(xí)生 張燕;揮手玩“蘋(píng)果”的高三男孩[N];中國(guó)青年報(bào);2011年

2 本報(bào)記者 王偉;巨頭看上的“手勢(shì)識(shí)別”能照進(jìn)現(xiàn)實(shí)嗎？[N];中國(guó)電子報(bào);2019年

3 記者 郝曉明;國(guó)內(nèi)首套手勢(shì)識(shí)別智能無(wú)人飛行系統(tǒng)亮相[N];科技日?qǐng)?bào);2017年

4 本報(bào)記者 喻思孌;操作手機(jī)，揮揮手就行[N];人民日?qǐng)?bào);2017年

5 本報(bào)記者 董添;谷歌申請(qǐng)手勢(shì)識(shí)別專利引關(guān)注[N];中國(guó)證券報(bào);2017年

6 倪明 段郴群;谷歌等巨頭布局手勢(shì)識(shí)別市場(chǎng)[N];企業(yè)家日?qǐng)?bào);2017年

7 肖思思;TCL新型數(shù)字家電可進(jìn)行手勢(shì)識(shí)別[N];中國(guó)稅務(wù)報(bào);2007年

8 華凌;首個(gè)無(wú)電池手勢(shì)識(shí)別系統(tǒng)有望替代觸摸屏[N];科技日?qǐng)?bào);2014年

9 本報(bào)記者 張曉麗;未來(lái)智能家電真能一“手”掌控[N];遼寧日?qǐng)?bào);2014年

10 記者 張瀟;“創(chuàng)新，讓學(xué)習(xí)不僅僅止于課本”[N];西安日?qǐng)?bào);2015年

相關(guān)博士學(xué)位論文 前10條

1 徐軍;基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別及人機(jī)交互技術(shù)的應(yīng)用研究[D];東南大學(xué);2018年

2 佴威至;手勢(shì)交互中的手勢(shì)識(shí)別算法及交互參數(shù)研究[D];北京理工大學(xué);2017年

3 Isack Emmanuel Bulugu;基于高階局部自相關(guān)的特征提取方法及其在手勢(shì)識(shí)別中的應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

4 衛(wèi)文韜;肌電手勢(shì)識(shí)別中的多流融合和多視圖深度學(xué)習(xí)方法研究[D];浙江大學(xué);2018年

5 周航;基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別系統(tǒng)研究[D];北京交通大學(xué);2008年

6 顧立忠;基于表觀的手勢(shì)識(shí)別及人機(jī)交互研究[D];上海交通大學(xué);2008年

7 萬(wàn)軍;動(dòng)態(tài)手勢(shì)識(shí)別中的時(shí)空特征表示和字典優(yōu)化研究[D];北京交通大學(xué);2014年

8 成可立;數(shù)據(jù)驅(qū)動(dòng)的虛擬試衣系統(tǒng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

9 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

10 覃文軍;基于視覺(jué)信息的手勢(shì)識(shí)別算法與模型研究[D];東北大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 張哲;基于優(yōu)化查詢的手部交互技術(shù)研究[D];南京航空航天大學(xué);2019年

2 張僮潼;基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2019年

3 黎佳明;采用RGBD圖像的三維手勢(shì)識(shí)別算法研究[D];國(guó)防科技大學(xué);2017年

4 伍杰;基于視覺(jué)的實(shí)時(shí)手勢(shì)識(shí)別方法研究[D];大連理工大學(xué);2019年

5 張迪;基于機(jī)器學(xué)習(xí)的手勢(shì)識(shí)別技術(shù)研究[D];南京郵電大學(xué);2019年

6 程康;基于RFID技術(shù)的動(dòng)態(tài)手勢(shì)識(shí)別及其交互應(yīng)用研究[D];南京郵電大學(xué);2019年

7 張姝;基于地址事件表示信號(hào)的動(dòng)態(tài)手勢(shì)識(shí)別方法[D];西安電子科技大學(xué);2019年

8 齊相達(dá);基于時(shí)空模型的多模態(tài)動(dòng)態(tài)手勢(shì)識(shí)別[D];西安電子科技大學(xué);2019年

9 姜杰文;基于手勢(shì)識(shí)別的協(xié)作機(jī)器人人機(jī)交互系統(tǒng)設(shè)計(jì)[D];大連理工大學(xué);2019年

10 陳宏峰;面向手勢(shì)識(shí)別的表面肌電信號(hào)采樣率與特征提取方法研究[D];浙江工業(yè)大學(xué);2019年

本文編號(hào)：2717917