基于虛擬現(xiàn)實(shí)的飛行模擬器通過(guò)軟件構(gòu)建不同機(jī)型駕駛艙虛擬環(huán)境實(shí)現(xiàn)一個(gè)訓(xùn)練平臺(tái)完成多種飛行任務(wù)的訓(xùn)練,使用、維護(hù)成本低。該類(lèi)模擬機(jī)駕駛艙中采用虛擬頭盔顯示視景,由于虛擬頭盔對(duì)外界視覺(jué)的阻隔,手部交互受到阻礙,成為制約基于虛擬現(xiàn)實(shí)模擬器發(fā)展的瓶頸問(wèn)題。在人機(jī)交互技術(shù)領(lǐng)域,基于視覺(jué)的手部交互技術(shù)憑借其良好的舒適性和自然性被廣泛研究和應(yīng)用。但基于視覺(jué)的方法容易受到外部環(huán)境和自身因素的干擾,影響交互過(guò)程的性能。本文主要研究交互過(guò)程中的手部跟蹤和手勢(shì)識(shí)別,通過(guò)分析交互過(guò)程中的特點(diǎn)以及存在的問(wèn)題,提出一種基于優(yōu)化查詢(xún)的手部交互技術(shù)來(lái)提高跟蹤和識(shí)別過(guò)程的魯棒性。手部跟蹤屬于目標(biāo)跟蹤研究的范疇,跟蹤環(huán)境的復(fù)雜性和目標(biāo)變化的多樣性給穩(wěn)定、實(shí)時(shí)的跟蹤帶來(lái)了諸多挑戰(zhàn)。本文在相關(guān)濾波框架下提出一種基于多特征優(yōu)化查詢(xún)的目標(biāo)跟蹤算法。利用多源特征訓(xùn)練濾波器,提高對(duì)環(huán)境和自身變化的適應(yīng)性。對(duì)多個(gè)濾波響應(yīng)結(jié)果,提出使用Pareto-Optimality優(yōu)化查詢(xún)方法對(duì)結(jié)果進(jìn)行融合,得到最優(yōu)跟蹤結(jié)果。同時(shí)針對(duì)跟蹤器可能出現(xiàn)的錯(cuò)誤,提出一種基于關(guān)鍵點(diǎn)匹配的目標(biāo)重檢測(cè)機(jī)制。結(jié)合實(shí)時(shí)更新的融合時(shí)空信息的關(guān)鍵點(diǎn)數(shù)據(jù)庫(kù),在判斷跟蹤失敗的情況下對(duì)目標(biāo)進(jìn)行全局檢測(cè)并對(duì)跟蹤結(jié)果進(jìn)行糾正,防止錯(cuò)誤在濾波跟蹤模型中的積累。與多種跟蹤算法在多種屬性場(chǎng)景下的對(duì)比實(shí)驗(yàn)驗(yàn)證了本文跟蹤算法的魯棒性。手勢(shì)識(shí)別的過(guò)程中,由于人手自由度高,手勢(shì)在單視點(diǎn)下容易出現(xiàn)自遮擋或者同一手勢(shì)變體之間差異過(guò)大的問(wèn)題,給準(zhǔn)確識(shí)別手勢(shì)帶來(lái)困難。因此本文提出一種以深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)的正交雙視點(diǎn)手勢(shì)識(shí)別框架。利用深度網(wǎng)絡(luò)提取特征,并提出一種降維融合方法將網(wǎng)絡(luò)提取的淺層和深層卷積特征結(jié)合起來(lái),提高特征魯棒性。同時(shí)分別對(duì)兩個(gè)視點(diǎn)下的手勢(shì)圖像進(jìn)行識(shí)別得到分類(lèi)概率向量,再結(jié)合Pareto-Optimality方法對(duì)分類(lèi)結(jié)果進(jìn)行優(yōu)化,得到最終的識(shí)別結(jié)果。實(shí)驗(yàn)證明,融合多層的卷積特征和雙視點(diǎn)識(shí)別框架能有效提高手勢(shì)識(shí)別準(zhǔn)確率。
【學(xué)位單位】：南京航空航天大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：V216.7;TP391.9
【部分圖文】：

第二章 基于優(yōu)化查詢(xún)的手部交互總體框架手部交互過(guò)程特點(diǎn)分析文研究?jī)?nèi)容主要包括手部跟蹤和手勢(shì)識(shí)別兩大部分。其中手部跟蹤屬于目標(biāo)跟覺(jué)的跟蹤方法容易受環(huán)境變化、目標(biāo)自身變化、設(shè)備性能等多方面影響，同時(shí)要考慮算法速度等實(shí)際問(wèn)題。而手勢(shì)識(shí)別屬于目標(biāo)識(shí)別領(lǐng)域，由于人手的靈活體較多，增加了識(shí)別難度。手部跟蹤過(guò)程特點(diǎn)及問(wèn)題標(biāo)跟蹤是針對(duì)運(yùn)動(dòng)的物體在視頻序列中，根據(jù)目標(biāo)初始化信息對(duì)后續(xù)的每一幀推斷的過(guò)程。其任務(wù)是在視頻中的每一幀都定位出所跟蹤對(duì)象位置并提供完整廣泛地應(yīng)用在軍事和民用領(lǐng)域，如無(wú)人飛行器、精確制導(dǎo)、智能交通系統(tǒng)、人機(jī)交實(shí)等。本文研究的手部跟蹤是目標(biāo)跟蹤在實(shí)際場(chǎng)景中的應(yīng)用，同不斷推陳出新方法一樣，手部跟蹤始終面對(duì)著跟蹤魯棒性和實(shí)時(shí)性這兩大挑戰(zhàn)。

圖 2. 2 單一視點(diǎn)下手勢(shì)自遮擋導(dǎo)致的“同形異構(gòu)”現(xiàn)象導(dǎo)致的不同手勢(shì)形狀外觀接近，增加識(shí)別困難外，同一不用角度的條件下采集的圖像也會(huì)存在很大差異。圖 現(xiàn)的差異。圖 2. 3 同一手勢(shì)不同角度下的形態(tài)變化自由度，能在空間一定范圍內(nèi)旋轉(zhuǎn)。上圖中是同一手勢(shì)度旋轉(zhuǎn)所采集的圖像序列。可以看到手勢(shì)在連續(xù)旋轉(zhuǎn)的角度不斷累積，可能會(huì)導(dǎo)致同一手勢(shì)的二維圖像存在巨的手勢(shì)圖像所示。這同樣給手勢(shì)的準(zhǔn)確識(shí)別帶來(lái)了不小架總體設(shè)計(jì)

圖 2. 2 單一視點(diǎn)下手勢(shì)自遮擋導(dǎo)致的“同形異構(gòu)”現(xiàn)象自遮擋導(dǎo)致的不同手勢(shì)形狀外觀接近，增加識(shí)別困難外，同一種手勢(shì)者或者不用角度的條件下采集的圖像也會(huì)存在很大差異。圖 2.3 對(duì)比度下呈現(xiàn)的差異。圖 2. 3 同一手勢(shì)不同角度下的形態(tài)變化很高的自由度，能在空間一定范圍內(nèi)旋轉(zhuǎn)。上圖中是同一手勢(shì)繞三維相同角度旋轉(zhuǎn)所采集的圖像序列�？梢钥吹绞謩�(shì)在連續(xù)旋轉(zhuǎn)的過(guò)程中當(dāng)旋轉(zhuǎn)角度不斷累積，可能會(huì)導(dǎo)致同一手勢(shì)的二維圖像存在巨大的差束時(shí)的手勢(shì)圖像所示。這同樣給手勢(shì)的準(zhǔn)確識(shí)別帶來(lái)了不小的挑戰(zhàn)互框架總體設(shè)計(jì)
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 穆寶良;王利;;計(jì)算機(jī)視覺(jué)下的實(shí)時(shí)手勢(shì)識(shí)別技術(shù)及其應(yīng)用[J];科學(xué)技術(shù)創(chuàng)新;2019年35期

2 翟朋輝;王靜怡;;一種簡(jiǎn)易手勢(shì)識(shí)別裝置[J];山東工業(yè)技術(shù);2019年12期

3 惠丹;;基于深度學(xué)習(xí)算法的可穿戴設(shè)備手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)[J];信息技術(shù)與網(wǎng)絡(luò)安全;2019年09期

4 楊蕊;米文輝;;手勢(shì)識(shí)別裝置的設(shè)計(jì)與實(shí)現(xiàn)[J];信息與電腦(理論版);2019年18期

5 鐘習(xí);陳益強(qiáng);于漢超;楊曉東;胡子昂;;融合情境感知信息的超聲波手勢(shì)識(shí)別方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2018年01期

6 王健;朱恩成;黃四牛;任華;;基于深度學(xué)習(xí)的動(dòng)態(tài)手勢(shì)識(shí)別方法[J];計(jì)算機(jī)仿真;2018年02期

7 楊欣怡;李雙;;基于手勢(shì)識(shí)別的智能電視交互專(zhuān)利技術(shù)綜述[J];科技創(chuàng)新與應(yīng)用;2018年24期

8 宋昆哲;閆曉虎;田樂(lè);王奇俊;劉珂;;基于多點(diǎn)特征提取的手勢(shì)識(shí)別的研究[J];科技創(chuàng)新與應(yīng)用;2018年25期

9 丁偉利;胡艷玲;申亞輝;劉洪海;;基于虛擬試驗(yàn)箱的康復(fù)手勢(shì)識(shí)別算法研究[J];高技術(shù)通訊;2017年03期

10 袁博;查晨東;;手勢(shì)識(shí)別技術(shù)發(fā)展現(xiàn)狀與展望[J];科學(xué)技術(shù)創(chuàng)新;2018年32期

相關(guān)博士學(xué)位論文 前10條

1 徐軍;基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別及人機(jī)交互技術(shù)的應(yīng)用研究[D];東南大學(xué);2018年

2 佴威至;手勢(shì)交互中的手勢(shì)識(shí)別算法及交互參數(shù)研究[D];北京理工大學(xué);2017年

3 Isack Emmanuel Bulugu;基于高階局部自相關(guān)的特征提取方法及其在手勢(shì)識(shí)別中的應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2018年

4 衛(wèi)文韜;肌電手勢(shì)識(shí)別中的多流融合和多視圖深度學(xué)習(xí)方法研究[D];浙江大學(xué);2018年

5 周航;基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別系統(tǒng)研究[D];北京交通大學(xué);2008年

6 顧立忠;基于表觀的手勢(shì)識(shí)別及人機(jī)交互研究[D];上海交通大學(xué);2008年

7 萬(wàn)軍;動(dòng)態(tài)手勢(shì)識(shí)別中的時(shí)空特征表示和字典優(yōu)化研究[D];北京交通大學(xué);2014年

8 成可立;數(shù)據(jù)驅(qū)動(dòng)的虛擬試衣系統(tǒng)若干關(guān)鍵技術(shù)研究[D];浙江大學(xué);2016年

9 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

10 覃文軍;基于視覺(jué)信息的手勢(shì)識(shí)別算法與模型研究[D];東北大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 金珂;基于深度信息的復(fù)雜場(chǎng)景下手勢(shì)識(shí)別關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2018年

2 郭錦輝;手勢(shì)識(shí)別及其在人機(jī)交互系統(tǒng)中的應(yīng)用[D];華南理工大學(xué);2019年

3 代雨錕;基于可穿戴數(shù)據(jù)手套的手勢(shì)識(shí)別方法研究[D];華南理工大學(xué);2019年

4 王宇杰;基于MEMS-IMU的手勢(shì)識(shí)別[D];哈爾濱工業(yè)大學(xué);2019年

5 王威;智能試衣鏡關(guān)鍵技術(shù)研究[D];華僑大學(xué);2018年

6 羅昆;基于神經(jīng)網(wǎng)絡(luò)的交警動(dòng)態(tài)手勢(shì)識(shí)別方法研究與實(shí)現(xiàn)[D];東華理工大學(xué);2019年

7 楊剛;基于Wi-Fi的手部動(dòng)作識(shí)別算法研究[D];西北大學(xué);2019年

8 劉峰;手勢(shì)識(shí)別毫米波雷達(dá)硬件的設(shè)計(jì)與實(shí)現(xiàn)[D];重慶郵電大學(xué);2018年

9 袁菲;基于Kinect的手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)與應(yīng)用[D];西安科技大學(xué);2018年

10 張雅琪;基于Kinect的手勢(shì)識(shí)別研究及應(yīng)用[D];電子科技大學(xué);2019年

本文編號(hào)：2861034