【摘要】：手勢交互是“工業(yè)4.0”與“中國制造2050”的關(guān)鍵技術(shù)。在智能制造中使用手勢交互,可以提高智能制造的生產(chǎn)效率,增加工人的工作舒適度。其中基于單目視覺的手勢交互可以配合帶有攝像頭的普通移動設(shè)備,實現(xiàn)無障礙式的任意場景下的自由交互,適用于機器人的手勢交互,是目前手勢交互的主流�，F(xiàn)有交互方法多針對靜態(tài)手勢,或只能處理簡單的單模態(tài)手勢,或在交互中限制性較多而影響手勢交互的可用性。因此,提取手勢多模態(tài)特征,對其連續(xù)變化的不同因素進行分析是很有必要的。論文針對移動機器人手勢交互中手勢時空變化的多樣性進行研究,從不同條件下拍攝到的視頻序列入手,綜合運用計算機視覺、機器學(xué)習(xí)等理論和方法進行理論分析和實驗,并驗證所提方法在制造業(yè)環(huán)境下的可用性。重點對靜態(tài)手勢形狀特征提取、動態(tài)手勢軌跡特征提取、相機移動時動態(tài)手勢特征提取、相機視角不同時動態(tài)手勢特征提取、以及空中書寫數(shù)字字符串的特征提取等幾個關(guān)鍵問題展開研究。具體研究工作如下:1.由于人手是復(fù)雜的多關(guān)節(jié)非剛性物體,手掌和手指在運動中不斷發(fā)生變化,高達27個自由度,要通過視覺技術(shù)分析出手勢模型的高層操作特征,如指尖指向,指尖位置等,是一項非常困難和復(fù)雜的任務(wù)。針對以上問題,在簡單分割條件下,提出一種圖像結(jié)構(gòu)特征點的提取方法;使用提取出的結(jié)構(gòu)特征點建立手勢模型并優(yōu)化求解得到高層特征,可以進行手掌、手指和指尖定位。實驗結(jié)果表明,該方法指尖點檢測率為88.9%,可以在無法獲得準(zhǔn)確的手勢區(qū)域邊界時使用。2.現(xiàn)有的動態(tài)手勢識別方法在諸如空中書寫之類的交互系統(tǒng)中仍然存在識別效率低的問題。為了提高動態(tài)手勢軌跡的識別效率,通過將曲率角引入特征提取,提出一種新的基于路徑的軌跡特征提取方法。實驗結(jié)果表明,提取出的特征能夠區(qū)分形狀相同但路徑不同的軌跡,提高了軌跡平均識別效率至93.33%。3.移動單目相機可以極大地增加相機的拍攝視野,但是單目相機的移動會造成圖像坐標(biāo)系的全局運動,對手勢識別中運動軌跡的觀測產(chǎn)生影響。針對上述問題,建立并證明了一種基于單應(yīng)的目標(biāo)運動軌跡觀測模型。該模型通過分析相機運動中拍攝到的相鄰圖像關(guān)鍵幀之間的映射關(guān)系,利用單應(yīng)矩陣求解與特征點重投影得到相鄰關(guān)鍵幀之間的目標(biāo)相對運動矢量,最后得到真實的目標(biāo)運動軌跡。實驗結(jié)果表明,使用該模型進行移動單目相機環(huán)境下的動態(tài)手勢特征分析,軌跡的平均識別率提高了25%,平均處理速度為1.47秒/視頻,可以達到應(yīng)用要求。4.當(dāng)相機角度不同時,拍攝的同一運動軌跡會形成不同的軌跡投影,從而影響軌跡的識別與應(yīng)用。針對這一問題,在平面目標(biāo)手勢平面運動的情況下,提出了基于運動信息的相機位姿自標(biāo)定模型和與視角無關(guān)的手勢運動特征提取方法,并將其擴展到基于輔助物的任意手勢平面運動情況。(1)在平面目標(biāo)手勢平面運動情況下,基于相機小孔成像模型與特征點運動約束,建立了一種相機位姿自標(biāo)定模型;然后利用標(biāo)定出的相機位姿恢復(fù)運動軌跡的三維信息;最后通過軌跡重投影,將軌跡圖像校正為正投影圖像,實現(xiàn)與視角無關(guān)的手勢運動特征提取。(2)在前面相機位姿自標(biāo)定模型的基礎(chǔ)上,將特征點屬于同一平面的約束改為特征點平面運動約束,建立新的相機位姿自標(biāo)定模型來標(biāo)定相機位姿,最終將與視角無關(guān)的手勢運動特征提取擴展到基于輔助物的任意手勢平面運動情況。實驗結(jié)果表明,對軌跡進行視角歸一化后,提取出的手勢運動軌跡與正面拍攝的運動軌跡相似,平均識別效率提高了22%。5.在手勢空中書寫的連續(xù)書寫過程中,會出現(xiàn)語義手勢序列與過渡手勢序列,如何通過視覺技術(shù),識別書寫中的不同狀態(tài),進而對連續(xù)的手勢字符串進行識別?針對這一問題,提出了一種基于用戶行為分析的手勢字符串特征提取與識別方法。該方法首先從認(rèn)知理論的角度,建立手勢微觀行為模型;然后獲取手勢序列關(guān)鍵幀對手勢序列進行劃分;最后結(jié)合神經(jīng)網(wǎng)絡(luò)與最優(yōu)化模型,找出整體識別率最優(yōu)的手勢字符串做為識別結(jié)果。實驗結(jié)果表明,該方法可以實現(xiàn)由兩個數(shù)字組成的手勢字符串分割與識別,單個數(shù)字的查準(zhǔn)率為86.5%。
【學(xué)位授予單位】：蘭州理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP242
【圖文】：

圖 1.2 基于單目視覺的手勢識別系在“基于視覺的手勢交互”領(lǐng)域，已開展諸濟南大學(xué)馮志全[21]、哈爾濱工業(yè)大學(xué)的姜、王宏安[22]、浙江大學(xué)的吳江琴、西安朋[24]、清華大學(xué)的祝遠(yuǎn)新、徐光yP、太原繼玉、王西穎等，都從不同角度對手勢交勢特征分析 勢特征提取方面，有基于膚色的特征分析區(qū)域的特征分析方法、基于骨架的特征分、以及基于機器學(xué)習(xí)特征等方法。 圖片的手勢識別其識別過程一般由以下幾區(qū)域；然后選擇合適的手勢模型進行手勢征提取出來；最后輸入提取出的特征，采

基于單目視覺的手勢交互多模態(tài)特征分析方法 通過實驗分析算法性能。 與視角無關(guān)的手勢軌跡特征進行分析。首先著介紹平面目標(biāo)手勢在平面上運動時，基于勢軌跡特征分析；最后為任意目標(biāo)手勢在平型的與視角無關(guān)手勢軌跡特征分析。 基于用戶行為分析的手勢數(shù)字串特征提取與利用此模型，結(jié)合訓(xùn)練好的手勢數(shù)字分類器與識別；最后通過實驗分析其性能。 的總結(jié)和展望，概括總結(jié)了本文所做的主要

【參考文獻】

相關(guān)期刊論文 前10條

1 張墨逸;張秋余;蘆俊池;段宏湘;;基于結(jié)構(gòu)特征點的手勢建模與高層特征提取[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2015年10期

2 廖娟;王江;徐亮;李勃;陳啟美;;相機抖動場景下的運動前景檢測算法[J];南京大學(xué)學(xué)報(自然科學(xué));2015年02期

3 蔡嫻娟;程成;Alhazmi Marwah;Mostafa Hamdy Salem;MongHeng Ear;;虛擬制造環(huán)境中虛擬手的行為構(gòu)造[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2015年03期

4 姚遠(yuǎn);張林劍;喬文豹;;RGB-D圖像中手部樣本標(biāo)記與手勢識別[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2013年12期

5 劉春生;常發(fā)亮;陳振學(xué);李爽;;改進的高斯膚色模型及其在人臉檢測中的應(yīng)用[J];儀器儀表學(xué)報;2012年05期

6 馮志全;楊波;鄭艷偉;徐濤;李毅;朱德良;;基于特征點分布分析的手勢特征檢測方法[J];計算機集成制造系統(tǒng);2011年11期

7 包加桐;宋愛國;郭晏;唐鴻儒;;基于SURF特征跟蹤的動態(tài)手勢識別算法[J];機器人;2011年04期

8 楊波;宋曉娜;馮志全;郝曉艷;;復(fù)雜背景下基于空間分布特征的手勢識別算法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2010年10期

9 朱繼玉;王西穎;王威信;戴國忠;;基于結(jié)構(gòu)分析的手勢識別[J];計算機學(xué)報;2006年12期

10 任海兵,祝遠(yuǎn)新,徐光yP,林學(xué)

本文編號：2741381