發(fā)布時(shí)間：2020-07-04 17:39

【摘要】：手勢(shì)交互是“工業(yè)4.0”與“中國(guó)制造2050”的關(guān)鍵技術(shù)。在智能制造中使用手勢(shì)交互,可以提高智能制造的生產(chǎn)效率,增加工人的工作舒適度。其中基于單目視覺的手勢(shì)交互可以配合帶有攝像頭的普通移動(dòng)設(shè)備,實(shí)現(xiàn)無障礙式的任意場(chǎng)景下的自由交互,適用于機(jī)器人的手勢(shì)交互,是目前手勢(shì)交互的主流�，F(xiàn)有交互方法多針對(duì)靜態(tài)手勢(shì),或只能處理簡(jiǎn)單的單模態(tài)手勢(shì),或在交互中限制性較多而影響手勢(shì)交互的可用性。因此,提取手勢(shì)多模態(tài)特征,對(duì)其連續(xù)變化的不同因素進(jìn)行分析是很有必要的。論文針對(duì)移動(dòng)機(jī)器人手勢(shì)交互中手勢(shì)時(shí)空變化的多樣性進(jìn)行研究,從不同條件下拍攝到的視頻序列入手,綜合運(yùn)用計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等理論和方法進(jìn)行理論分析和實(shí)驗(yàn),并驗(yàn)證所提方法在制造業(yè)環(huán)境下的可用性。重點(diǎn)對(duì)靜態(tài)手勢(shì)形狀特征提取、動(dòng)態(tài)手勢(shì)軌跡特征提取、相機(jī)移動(dòng)時(shí)動(dòng)態(tài)手勢(shì)特征提取、相機(jī)視角不同時(shí)動(dòng)態(tài)手勢(shì)特征提取、以及空中書寫數(shù)字字符串的特征提取等幾個(gè)關(guān)鍵問題展開研究。具體研究工作如下:1.由于人手是復(fù)雜的多關(guān)節(jié)非剛性物體,手掌和手指在運(yùn)動(dòng)中不斷發(fā)生變化,高達(dá)27個(gè)自由度,要通過視覺技術(shù)分析出手勢(shì)模型的高層操作特征,如指尖指向,指尖位置等,是一項(xiàng)非常困難和復(fù)雜的任務(wù)。針對(duì)以上問題,在簡(jiǎn)單分割條件下,提出一種圖像結(jié)構(gòu)特征點(diǎn)的提取方法;使用提取出的結(jié)構(gòu)特征點(diǎn)建立手勢(shì)模型并優(yōu)化求解得到高層特征,可以進(jìn)行手掌、手指和指尖定位。實(shí)驗(yàn)結(jié)果表明,該方法指尖點(diǎn)檢測(cè)率為88.9%,可以在無法獲得準(zhǔn)確的手勢(shì)區(qū)域邊界時(shí)使用。2.現(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別方法在諸如空中書寫之類的交互系統(tǒng)中仍然存在識(shí)別效率低的問題。為了提高動(dòng)態(tài)手勢(shì)軌跡的識(shí)別效率,通過將曲率角引入特征提取,提出一種新的基于路徑的軌跡特征提取方法。實(shí)驗(yàn)結(jié)果表明,提取出的特征能夠區(qū)分形狀相同但路徑不同的軌跡,提高了軌跡平均識(shí)別效率至93.33%。3.移動(dòng)單目相機(jī)可以極大地增加相機(jī)的拍攝視野,但是單目相機(jī)的移動(dòng)會(huì)造成圖像坐標(biāo)系的全局運(yùn)動(dòng),對(duì)手勢(shì)識(shí)別中運(yùn)動(dòng)軌跡的觀測(cè)產(chǎn)生影響。針對(duì)上述問題,建立并證明了一種基于單應(yīng)的目標(biāo)運(yùn)動(dòng)軌跡觀測(cè)模型。該模型通過分析相機(jī)運(yùn)動(dòng)中拍攝到的相鄰圖像關(guān)鍵幀之間的映射關(guān)系,利用單應(yīng)矩陣求解與特征點(diǎn)重投影得到相鄰關(guān)鍵幀之間的目標(biāo)相對(duì)運(yùn)動(dòng)矢量,最后得到真實(shí)的目標(biāo)運(yùn)動(dòng)軌跡。實(shí)驗(yàn)結(jié)果表明,使用該模型進(jìn)行移動(dòng)單目相機(jī)環(huán)境下的動(dòng)態(tài)手勢(shì)特征分析,軌跡的平均識(shí)別率提高了25%,平均處理速度為1.47秒/視頻,可以達(dá)到應(yīng)用要求。4.當(dāng)相機(jī)角度不同時(shí),拍攝的同一運(yùn)動(dòng)軌跡會(huì)形成不同的軌跡投影,從而影響軌跡的識(shí)別與應(yīng)用。針對(duì)這一問題,在平面目標(biāo)手勢(shì)平面運(yùn)動(dòng)的情況下,提出了基于運(yùn)動(dòng)信息的相機(jī)位姿自標(biāo)定模型和與視角無關(guān)的手勢(shì)運(yùn)動(dòng)特征提取方法,并將其擴(kuò)展到基于輔助物的任意手勢(shì)平面運(yùn)動(dòng)情況。(1)在平面目標(biāo)手勢(shì)平面運(yùn)動(dòng)情況下,基于相機(jī)小孔成像模型與特征點(diǎn)運(yùn)動(dòng)約束,建立了一種相機(jī)位姿自標(biāo)定模型;然后利用標(biāo)定出的相機(jī)位姿恢復(fù)運(yùn)動(dòng)軌跡的三維信息;最后通過軌跡重投影,將軌跡圖像校正為正投影圖像,實(shí)現(xiàn)與視角無關(guān)的手勢(shì)運(yùn)動(dòng)特征提取。(2)在前面相機(jī)位姿自標(biāo)定模型的基礎(chǔ)上,將特征點(diǎn)屬于同一平面的約束改為特征點(diǎn)平面運(yùn)動(dòng)約束,建立新的相機(jī)位姿自標(biāo)定模型來標(biāo)定相機(jī)位姿,最終將與視角無關(guān)的手勢(shì)運(yùn)動(dòng)特征提取擴(kuò)展到基于輔助物的任意手勢(shì)平面運(yùn)動(dòng)情況。實(shí)驗(yàn)結(jié)果表明,對(duì)軌跡進(jìn)行視角歸一化后,提取出的手勢(shì)運(yùn)動(dòng)軌跡與正面拍攝的運(yùn)動(dòng)軌跡相似,平均識(shí)別效率提高了22%。5.在手勢(shì)空中書寫的連續(xù)書寫過程中,會(huì)出現(xiàn)語(yǔ)義手勢(shì)序列與過渡手勢(shì)序列,如何通過視覺技術(shù),識(shí)別書寫中的不同狀態(tài),進(jìn)而對(duì)連續(xù)的手勢(shì)字符串進(jìn)行識(shí)別?針對(duì)這一問題,提出了一種基于用戶行為分析的手勢(shì)字符串特征提取與識(shí)別方法。該方法首先從認(rèn)知理論的角度,建立手勢(shì)微觀行為模型;然后獲取手勢(shì)序列關(guān)鍵幀對(duì)手勢(shì)序列進(jìn)行劃分;最后結(jié)合神經(jīng)網(wǎng)絡(luò)與最優(yōu)化模型,找出整體識(shí)別率最優(yōu)的手勢(shì)字符串做為識(shí)別結(jié)果。實(shí)驗(yàn)結(jié)果表明,該方法可以實(shí)現(xiàn)由兩個(gè)數(shù)字組成的手勢(shì)字符串分割與識(shí)別,單個(gè)數(shù)字的查準(zhǔn)率為86.5%。
【學(xué)位授予單位】：蘭州理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP242
【圖文】：

圖 1.2 基于單目視覺的手勢(shì)識(shí)別系在“基于視覺的手勢(shì)交互”領(lǐng)域，已開展諸濟(jì)南大學(xué)馮志全[21]、哈爾濱工業(yè)大學(xué)的姜、王宏安[22]、浙江大學(xué)的吳江琴、西安朋[24]、清華大學(xué)的祝遠(yuǎn)新、徐光yP、太原繼玉、王西穎等，都從不同角度對(duì)手勢(shì)交勢(shì)特征分析 勢(shì)特征提取方面，有基于膚色的特征分析區(qū)域的特征分析方法、基于骨架的特征分、以及基于機(jī)器學(xué)習(xí)特征等方法。 圖片的手勢(shì)識(shí)別其識(shí)別過程一般由以下幾區(qū)域；然后選擇合適的手勢(shì)模型進(jìn)行手勢(shì)征提取出來；最后輸入提取出的特征，采

基于單目視覺的手勢(shì)交互多模態(tài)特征分析方法 通過實(shí)驗(yàn)分析算法性能。 與視角無關(guān)的手勢(shì)軌跡特征進(jìn)行分析。首先著介紹平面目標(biāo)手勢(shì)在平面上運(yùn)動(dòng)時(shí)，基于勢(shì)軌跡特征分析；最后為任意目標(biāo)手勢(shì)在平型的與視角無關(guān)手勢(shì)軌跡特征分析。 基于用戶行為分析的手勢(shì)數(shù)字串特征提取與利用此模型，結(jié)合訓(xùn)練好的手勢(shì)數(shù)字分類器與識(shí)別；最后通過實(shí)驗(yàn)分析其性能。 的總結(jié)和展望，概括總結(jié)了本文所做的主要

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張墨逸;張秋余;蘆俊池;段宏湘;;基于結(jié)構(gòu)特征點(diǎn)的手勢(shì)建模與高層特征提取[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年10期

2 廖娟;王江;徐亮;李勃;陳啟美;;相機(jī)抖動(dòng)場(chǎng)景下的運(yùn)動(dòng)前景檢測(cè)算法[J];南京大學(xué)學(xué)報(bào)(自然科學(xué));2015年02期

3 蔡嫻娟;程成;Alhazmi Marwah;Mostafa Hamdy Salem;MongHeng Ear;;虛擬制造環(huán)境中虛擬手的行為構(gòu)造[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年03期

4 姚遠(yuǎn);張林劍;喬文豹;;RGB-D圖像中手部樣本標(biāo)記與手勢(shì)識(shí)別[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2013年12期

5 劉春生;常發(fā)亮;陳振學(xué);李爽;;改進(jìn)的高斯膚色模型及其在人臉檢測(cè)中的應(yīng)用[J];儀器儀表學(xué)報(bào);2012年05期

6 馮志全;楊波;鄭艷偉;徐濤;李毅;朱德良;;基于特征點(diǎn)分布分析的手勢(shì)特征檢測(cè)方法[J];計(jì)算機(jī)集成制造系統(tǒng);2011年11期

7 包加桐;宋愛國(guó);郭晏;唐鴻儒;;基于SURF特征跟蹤的動(dòng)態(tài)手勢(shì)識(shí)別算法[J];機(jī)器人;2011年04期

8 楊波;宋曉娜;馮志全;郝曉艷;;復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2010年10期

9 朱繼玉;王西穎;王威信;戴國(guó)忠;;基于結(jié)構(gòu)分析的手勢(shì)識(shí)別[J];計(jì)算機(jī)學(xué)報(bào);2006年12期

10 任海兵,祝遠(yuǎn)新,徐光yP,林學(xué)

本文編號(hào)：2741381