發(fā)布時間：2020-06-17 17:26

【摘要】：隨著增強現(xiàn)實(Argument Reality,AR)和機器視覺的發(fā)展,單一的二維場景和落后的交互手段已經(jīng)不能滿足用戶日益增長的體驗感需求。AR的本質(zhì)是將渲染出的虛擬物體疊加在相機拍攝的真實世界圖層之上,虛擬物體是三維的,而相機拍攝的圖像是二維的,這導(dǎo)致了二者無法完美疊加,從而顯示上存在錯位,晃動等視覺錯誤,用戶體驗感差。其次,傳統(tǒng)交互手段無法滿足AR交互需求,借助數(shù)據(jù)手套或手柄需要額外輔助設(shè)備,缺乏自然性,發(fā)展受到制約�，F(xiàn)階段增強現(xiàn)實設(shè)備(如Kinect)成本高,且戶外無法使用,用戶交互需要借助手柄,沒有廣泛的適用性。因此,為了實現(xiàn)AR輕量化和自然化,本文結(jié)合最近幾年發(fā)展快速的同時定位與地圖重建技術(shù)(SLAM)和計算機視覺中神經(jīng)網(wǎng)絡(luò)技術(shù)。進行了如下研究:1.使用單目視覺方法進行點云和平面重建。視覺SLAM方法通過對極幾何,在多幀圖像間可以確定出待測點深度信息,從而重建出三維點云。選擇合適特征點算法,實現(xiàn)三維點云獲取,并改進視覺SLAM中視覺里程計部分,使用IMU模塊對視覺SLAM中快速運動易丟失現(xiàn)象進行改進,最終構(gòu)建出帶有深度信息的三維點云。將點云通過KD樹管理查找,使用最小二乘法擬合出平面。2.通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練進行手勢識別。卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)Χ喑叨忍卣鲗崿F(xiàn)提取,在圖像識別領(lǐng)域有很好效果,因此使用卷積神經(jīng)網(wǎng)絡(luò)進行手勢識別,使用MobileNet神經(jīng)網(wǎng)絡(luò)架構(gòu)代替普通卷積神經(jīng)網(wǎng)絡(luò),具有計算速度快,硬件需求小的優(yōu)勢,并且可以在手機端實現(xiàn)。用SVM分類器代替卷積神經(jīng)網(wǎng)絡(luò)中的Softmax分類器,將全連接層訓(xùn)練得到的特征提取出來后,使用SVM分類器進行二次訓(xùn)練,得到一個識別精度高和泛化能力強的識別模型,提升神經(jīng)網(wǎng)絡(luò)識別效果。實驗表明,使用改進后的視覺SLAM可以穩(wěn)定且快速的單目視覺重建出稀疏點云,結(jié)合點云信息可以提取出空間平面信息,同時實現(xiàn)空間結(jié)構(gòu)識別。使用改進后的MobileNet架構(gòu)訓(xùn)練CNN,進行手勢識別,可以有效減少計算量,實現(xiàn)AR輕量化和自然化。
【學(xué)位授予單位】：內(nèi)蒙古科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP391.9;TP183
【圖文】：

0 填充后卷積，可以有效利用全部信息，但一定程度上會失真 下圖為有效卷積，將部分邊緣信息舍棄，保留真實圖像信息 圖2.4 卷積過程示例池化層也稱為下采樣層，通過對圖像中像素處理，也就是對每個特征圖進行下采樣，使得特征圖簡化，降低特征圖維度，簡化神經(jīng)網(wǎng)絡(luò)計算，另一方面壓縮特征圖像提取出主要特征，使特征圖具有尺度不變性，降低如傾斜，旋轉(zhuǎn)等位移對特征圖的影響 下采樣層進行采樣工作，只縮小輸入特征圖尺度，并不影響輸出圖個數(shù)，相當(dāng)于進行一

圖2.5 Relu 函數(shù)圖像一個完整的神經(jīng)網(wǎng)絡(luò)一般包含一個輸入層，多個卷積層和池化層，多個激活函數(shù)，和一個全連接層，其中全連接層也稱為輸出層，激活函數(shù)也稱為激活層 根據(jù)其使用的分類方法不同有著不同的效果 圖2.6 為手寫文字經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)Le-net5 架構(gòu)

【相似文獻】

相關(guān)期刊論文 前10條

1 穆寶良;王利;;計算機視覺下的實時手勢識別技術(shù)及其應(yīng)用[J];科學(xué)技術(shù)創(chuàng)新;2019年35期

2 翟朋輝;王靜怡;;一種簡易手勢識別裝置[J];山東工業(yè)技術(shù);2019年12期

3 惠丹;;基于深度學(xué)習(xí)算法的可穿戴設(shè)備手勢識別系統(tǒng)設(shè)計[J];信息技術(shù)與網(wǎng)絡(luò)安全;2019年09期

4 楊蕊;米文輝;;手勢識別裝置的設(shè)計與實現(xiàn)[J];信息與電腦(理論版);2019年18期

5 鐘習(xí);陳益強;于漢超;楊曉東;胡子昂;;融合情境感知信息的超聲波手勢識別方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2018年01期

6 王健;朱恩成;黃四牛;任華;;基于深度學(xué)習(xí)的動態(tài)手勢識別方法[J];計算機仿真;2018年02期

7 楊欣怡;李雙;;基于手勢識別的智能電視交互專利技術(shù)綜述[J];科技創(chuàng)新與應(yīng)用;2018年24期

8 宋昆哲;閆曉虎;田樂;王奇俊;劉珂;;基于多點特征提取的手勢識別的研究[J];科技創(chuàng)新與應(yīng)用;2018年25期

9 丁偉利;胡艷玲;申亞輝;劉洪海;;基于虛擬試驗箱的康復(fù)手勢識別算法研究[J];高技術(shù)通訊;2017年03期

10 袁博;查晨東;;手勢識別技術(shù)發(fā)展現(xiàn)狀與展望[J];科學(xué)技術(shù)創(chuàng)新;2018年32期

相關(guān)會議論文 前10條

1 祝遠新;徐光佑;黃浴;林學(xué);俞志和;;一個基于表觀的孤立手勢識別系統(tǒng)[A];中國圖象圖形科學(xué)技術(shù)新進展——第九屆全國圖象圖形科技大會論文集[C];1998年

2 張宏源;袁家政;;基于視覺的手勢識別新方法綜述[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2017年

3 鄧智方;袁家政;;基于深度學(xué)習(xí)的視覺手勢識別綜述[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2017年

4 丁勇;蘇坪;潘超群;沈石松;;毫米波非接觸式手勢識別雷達[A];2019年全國微波毫米波會議論文集（上冊）[C];2019年

5 鄭穎;姚登峰;鮑泓;喬良;;基于機器學(xué)習(xí)的手勢識別研究進展[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2017年

6 管珊珊;張益農(nóng);;基于Kinect的手勢識別研究進展[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2018年

7 易曉;秦圣峰;康金勝;;基于手勢識別技術(shù)的快速三維建模(英文)[A];第十屆中國科協(xié)年會論文集（三）[C];2008年

8 鄭穎;李培峰;羅恒杰;徐成;鮑泓;;交警手勢識別的研究進展[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2018年

9 沈世宏;李蔚清;;基于Kinect的體感手勢識別系統(tǒng)的研究[A];第八屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2012)論文集CHCI[C];2012年

10 王鼎衡;趙廣社;李國齊;鄧磊;;基于張量鏈壓縮的卷積神經(jīng)網(wǎng)絡(luò)及手勢識別應(yīng)用研究[A];2018中國自動化大會(CAC2018)論文集[C];2018年

相關(guān)重要報紙文章 前10條

1 實習(xí)生 張燕;揮手玩“蘋果”的高三男孩[N];中國青年報;2011年

2 本報記者 王偉;巨頭看上的“手勢識別”能照進現(xiàn)實嗎？[N];中國電子報;2019年

3 記者 郝曉明;國內(nèi)首套手勢識別智能無人飛行系統(tǒng)亮相[N];科技日報;2017年

4 本報記者 喻思孌;操作手機，揮揮手就行[N];人民日報;2017年

5 本報記者 董添;谷歌申請手勢識別專利引關(guān)注[N];中國證券報;2017年

6 倪明 段郴群;谷歌等巨頭布局手勢識別市場[N];企業(yè)家日報;2017年

7 肖思思;TCL新型數(shù)字家電可進行手勢識別[N];中國稅務(wù)報;2007年

8 華凌;首個無電池手勢識別系統(tǒng)有望替代觸摸屏[N];科技日報;2014年

9 本報記者 張曉麗;未來智能家電真能一“手”掌控[N];遼寧日報;2014年

10 記者 張瀟;“創(chuàng)新，讓學(xué)習(xí)不僅僅止于課本”[N];西安日報;2015年

相關(guān)博士學(xué)位論文 前10條

1 徐軍;基于計算機視覺的手勢識別及人機交互技術(shù)的應(yīng)用研究[D];東南大學(xué);2018年

2 佴威至;手勢交互中的手勢識別算法及交互參數(shù)研究[D];北京理工大學(xué);2017年

3 Isack Emmanuel Bulugu;基于高階局部自相關(guān)的特征提取方法及其在手勢識別中的應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2018年

4 衛(wèi)文韜;肌電手勢識別中的多流融合和多視圖深度學(xué)習(xí)方法研究[D];浙江大學(xué);2018年

5 周航;基于計算機視覺的手勢識別系統(tǒng)研究[D];北京交通大學(xué);2008年

6 顧立忠;基于表觀的手勢識別及人機交互研究[D];上海交通大學(xué);2008年

7 萬軍;動態(tài)手勢識別中的時空特征表示和字典優(yōu)化研究[D];北京交通大學(xué);2014年

8 成可立;數(shù)據(jù)驅(qū)動的虛擬試衣系統(tǒng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

9 趙守偉;增強現(xiàn)實輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

10 覃文軍;基于視覺信息的手勢識別算法與模型研究[D];東北大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 張哲;基于優(yōu)化查詢的手部交互技術(shù)研究[D];南京航空航天大學(xué);2019年

2 張僮潼;基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)手勢識別系統(tǒng)設(shè)計[D];哈爾濱工業(yè)大學(xué);2019年

3 黎佳明;采用RGBD圖像的三維手勢識別算法研究[D];國防科技大學(xué);2017年

4 伍杰;基于視覺的實時手勢識別方法研究[D];大連理工大學(xué);2019年

5 張迪;基于機器學(xué)習(xí)的手勢識別技術(shù)研究[D];南京郵電大學(xué);2019年

6 程康;基于RFID技術(shù)的動態(tài)手勢識別及其交互應(yīng)用研究[D];南京郵電大學(xué);2019年

7 張姝;基于地址事件表示信號的動態(tài)手勢識別方法[D];西安電子科技大學(xué);2019年

8 齊相達;基于時空模型的多模態(tài)動態(tài)手勢識別[D];西安電子科技大學(xué);2019年

9 姜杰文;基于手勢識別的協(xié)作機器人人機交互系統(tǒng)設(shè)計[D];大連理工大學(xué);2019年

10 陳宏峰;面向手勢識別的表面肌電信號采樣率與特征提取方法研究[D];浙江工業(yè)大學(xué);2019年

本文編號：2717917