基于虛擬現(xiàn)實的飛行模擬器通過軟件構(gòu)建不同機型駕駛艙虛擬環(huán)境實現(xiàn)一個訓(xùn)練平臺完成多種飛行任務(wù)的訓(xùn)練,使用、維護(hù)成本低。該類模擬機駕駛艙中采用虛擬頭盔顯示視景,由于虛擬頭盔對外界視覺的阻隔,手部交互受到阻礙,成為制約基于虛擬現(xiàn)實模擬器發(fā)展的瓶頸問題。在人機交互技術(shù)領(lǐng)域,基于視覺的手部交互技術(shù)憑借其良好的舒適性和自然性被廣泛研究和應(yīng)用。但基于視覺的方法容易受到外部環(huán)境和自身因素的干擾,影響交互過程的性能。本文主要研究交互過程中的手部跟蹤和手勢識別,通過分析交互過程中的特點以及存在的問題,提出一種基于優(yōu)化查詢的手部交互技術(shù)來提高跟蹤和識別過程的魯棒性。手部跟蹤屬于目標(biāo)跟蹤研究的范疇,跟蹤環(huán)境的復(fù)雜性和目標(biāo)變化的多樣性給穩(wěn)定、實時的跟蹤帶來了諸多挑戰(zhàn)。本文在相關(guān)濾波框架下提出一種基于多特征優(yōu)化查詢的目標(biāo)跟蹤算法。利用多源特征訓(xùn)練濾波器,提高對環(huán)境和自身變化的適應(yīng)性。對多個濾波響應(yīng)結(jié)果,提出使用Pareto-Optimality優(yōu)化查詢方法對結(jié)果進(jìn)行融合,得到最優(yōu)跟蹤結(jié)果。同時針對跟蹤器可能出現(xiàn)的錯誤,提出一種基于關(guān)鍵點匹配的目標(biāo)重檢測機制。結(jié)合實時更新的融合時空信息的關(guān)鍵點數(shù)據(jù)庫,在判斷跟蹤失敗的情況下對目標(biāo)進(jìn)行全局檢測并對跟蹤結(jié)果進(jìn)行糾正,防止錯誤在濾波跟蹤模型中的積累。與多種跟蹤算法在多種屬性場景下的對比實驗驗證了本文跟蹤算法的魯棒性。手勢識別的過程中,由于人手自由度高,手勢在單視點下容易出現(xiàn)自遮擋或者同一手勢變體之間差異過大的問題,給準(zhǔn)確識別手勢帶來困難。因此本文提出一種以深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)的正交雙視點手勢識別框架。利用深度網(wǎng)絡(luò)提取特征,并提出一種降維融合方法將網(wǎng)絡(luò)提取的淺層和深層卷積特征結(jié)合起來,提高特征魯棒性。同時分別對兩個視點下的手勢圖像進(jìn)行識別得到分類概率向量,再結(jié)合Pareto-Optimality方法對分類結(jié)果進(jìn)行優(yōu)化,得到最終的識別結(jié)果。實驗證明,融合多層的卷積特征和雙視點識別框架能有效提高手勢識別準(zhǔn)確率。
【學(xué)位單位】：南京航空航天大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：V216.7;TP391.9
【部分圖文】：

第二章 基于優(yōu)化查詢的手部交互總體框架手部交互過程特點分析文研究內(nèi)容主要包括手部跟蹤和手勢識別兩大部分。其中手部跟蹤屬于目標(biāo)跟覺的跟蹤方法容易受環(huán)境變化、目標(biāo)自身變化、設(shè)備性能等多方面影響，同時要考慮算法速度等實際問題。而手勢識別屬于目標(biāo)識別領(lǐng)域，由于人手的靈活體較多，增加了識別難度。手部跟蹤過程特點及問題標(biāo)跟蹤是針對運動的物體在視頻序列中，根據(jù)目標(biāo)初始化信息對后續(xù)的每一幀推斷的過程。其任務(wù)是在視頻中的每一幀都定位出所跟蹤對象位置并提供完整廣泛地應(yīng)用在軍事和民用領(lǐng)域，如無人飛行器、精確制導(dǎo)、智能交通系統(tǒng)、人機交實等。本文研究的手部跟蹤是目標(biāo)跟蹤在實際場景中的應(yīng)用，同不斷推陳出新方法一樣，手部跟蹤始終面對著跟蹤魯棒性和實時性這兩大挑戰(zhàn)。

圖 2. 2 單一視點下手勢自遮擋導(dǎo)致的“同形異構(gòu)”現(xiàn)象導(dǎo)致的不同手勢形狀外觀接近，增加識別困難外，同一不用角度的條件下采集的圖像也會存在很大差異。圖 現(xiàn)的差異。圖 2. 3 同一手勢不同角度下的形態(tài)變化自由度，能在空間一定范圍內(nèi)旋轉(zhuǎn)。上圖中是同一手勢度旋轉(zhuǎn)所采集的圖像序列�？梢钥吹绞謩菰谶B續(xù)旋轉(zhuǎn)的角度不斷累積，可能會導(dǎo)致同一手勢的二維圖像存在巨的手勢圖像所示。這同樣給手勢的準(zhǔn)確識別帶來了不小架總體設(shè)計

圖 2. 2 單一視點下手勢自遮擋導(dǎo)致的“同形異構(gòu)”現(xiàn)象自遮擋導(dǎo)致的不同手勢形狀外觀接近，增加識別困難外，同一種手勢者或者不用角度的條件下采集的圖像也會存在很大差異。圖 2.3 對比度下呈現(xiàn)的差異。圖 2. 3 同一手勢不同角度下的形態(tài)變化很高的自由度，能在空間一定范圍內(nèi)旋轉(zhuǎn)。上圖中是同一手勢繞三維相同角度旋轉(zhuǎn)所采集的圖像序列�？梢钥吹绞謩菰谶B續(xù)旋轉(zhuǎn)的過程中當(dāng)旋轉(zhuǎn)角度不斷累積，可能會導(dǎo)致同一手勢的二維圖像存在巨大的差束時的手勢圖像所示。這同樣給手勢的準(zhǔn)確識別帶來了不小的挑戰(zhàn)互框架總體設(shè)計
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 穆寶良;王利;;計算機視覺下的實時手勢識別技術(shù)及其應(yīng)用[J];科學(xué)技術(shù)創(chuàng)新;2019年35期

2 翟朋輝;王靜怡;;一種簡易手勢識別裝置[J];山東工業(yè)技術(shù);2019年12期

3 惠丹;;基于深度學(xué)習(xí)算法的可穿戴設(shè)備手勢識別系統(tǒng)設(shè)計[J];信息技術(shù)與網(wǎng)絡(luò)安全;2019年09期

4 楊蕊;米文輝;;手勢識別裝置的設(shè)計與實現(xiàn)[J];信息與電腦(理論版);2019年18期

5 鐘習(xí);陳益強;于漢超;楊曉東;胡子昂;;融合情境感知信息的超聲波手勢識別方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2018年01期

6 王健;朱恩成;黃四牛;任華;;基于深度學(xué)習(xí)的動態(tài)手勢識別方法[J];計算機仿真;2018年02期

7 楊欣怡;李雙;;基于手勢識別的智能電視交互專利技術(shù)綜述[J];科技創(chuàng)新與應(yīng)用;2018年24期

8 宋昆哲;閆曉虎;田樂;王奇俊;劉珂;;基于多點特征提取的手勢識別的研究[J];科技創(chuàng)新與應(yīng)用;2018年25期

9 丁偉利;胡艷玲;申亞輝;劉洪海;;基于虛擬試驗箱的康復(fù)手勢識別算法研究[J];高技術(shù)通訊;2017年03期

10 袁博;查晨東;;手勢識別技術(shù)發(fā)展現(xiàn)狀與展望[J];科學(xué)技術(shù)創(chuàng)新;2018年32期

相關(guān)博士學(xué)位論文 前10條

1 徐軍;基于計算機視覺的手勢識別及人機交互技術(shù)的應(yīng)用研究[D];東南大學(xué);2018年

2 佴威至;手勢交互中的手勢識別算法及交互參數(shù)研究[D];北京理工大學(xué);2017年

3 Isack Emmanuel Bulugu;基于高階局部自相關(guān)的特征提取方法及其在手勢識別中的應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2018年

4 衛(wèi)文韜;肌電手勢識別中的多流融合和多視圖深度學(xué)習(xí)方法研究[D];浙江大學(xué);2018年

5 周航;基于計算機視覺的手勢識別系統(tǒng)研究[D];北京交通大學(xué);2008年

6 顧立忠;基于表觀的手勢識別及人機交互研究[D];上海交通大學(xué);2008年

7 萬軍;動態(tài)手勢識別中的時空特征表示和字典優(yōu)化研究[D];北京交通大學(xué);2014年

8 成可立;數(shù)據(jù)驅(qū)動的虛擬試衣系統(tǒng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

9 趙守偉;增強現(xiàn)實輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

10 覃文軍;基于視覺信息的手勢識別算法與模型研究[D];東北大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 金珂;基于深度信息的復(fù)雜場景下手勢識別關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2018年

2 郭錦輝;手勢識別及其在人機交互系統(tǒng)中的應(yīng)用[D];華南理工大學(xué);2019年

3 代雨錕;基于可穿戴數(shù)據(jù)手套的手勢識別方法研究[D];華南理工大學(xué);2019年

4 王宇杰;基于MEMS-IMU的手勢識別[D];哈爾濱工業(yè)大學(xué);2019年

5 王威;智能試衣鏡關(guān)鍵技術(shù)研究[D];華僑大學(xué);2018年

6 羅昆;基于神經(jīng)網(wǎng)絡(luò)的交警動態(tài)手勢識別方法研究與實現(xiàn)[D];東華理工大學(xué);2019年

7 楊剛;基于Wi-Fi的手部動作識別算法研究[D];西北大學(xué);2019年

8 劉峰;手勢識別毫米波雷達(dá)硬件的設(shè)計與實現(xiàn)[D];重慶郵電大學(xué);2018年

9 袁菲;基于Kinect的手勢識別系統(tǒng)設(shè)計與應(yīng)用[D];西安科技大學(xué);2018年

10 張雅琪;基于Kinect的手勢識別研究及應(yīng)用[D];電子科技大學(xué);2019年

本文編號：2861034