隨著智能終端和視覺計算技術的快速發(fā)展,基于視覺的人機交互,尤其是以人手為媒介的交互,正被越來越多地應用于人們的日常生活中。在諸如手勢識別、手的姿態(tài)估計、手和物體的交互分析等以人手為媒介的交互應用中,手形的準確分割常是重要基礎。盡管手形分割有著長達數(shù)十年的研究歷史,但在自然場景下的實際應用中,其在分割精度或運行效率上的表現(xiàn)依然不盡如人意。本文圍繞如何高效地從圖像和視頻中獲取高精度的手形分割這一主題展開,提出了三種手形分割算法。首先,本文提出了一種面向深度圖的高精度手形分割算法,其主要由手形分割備選項生成和手形分割備選項評估兩個模塊組成。給定一幀深度圖,基于深度信息可很容易地從深度圖中分離出手形大致區(qū)域。然而想要從中進一步提取出精準的手形并非易事,面臨著諸多挑戰(zhàn)。觀察到手形大致區(qū)域常是帶狀物體,本文提出一個基于受限德洛內三角剖分的手形分割備選項生成方法,沿著手臂朝向密集地生成分割備選項。然后,該算法使用類R-CNN與類Fast R-CNN的網(wǎng)絡框架來評估每個備選項與真實分割的匹配程度,并挑選匹配程度最高的備選項作為分割結果。在兩個較大的深度圖數(shù)據(jù)集上的實驗結果表明本文算法較之前的算法取得了... 

【文章來源】：中國科學技術大學安徽省 211工程院校 985工程院校

【文章頁數(shù)】：109 頁

【學位級別】：博士

【部分圖文】：

圖１．１基于視覺以人手為媒介的人機交互場景示例丨１＞４］??隨著近年來智能終端和視覺計算技術的快速發(fā)展，基于視覺的人機交互正??

手形分割作為重要的前端被廣泛地應用于基于視覺的手勢識別中［１７－２１］。??手勢識別一般分為靜態(tài)手勢識別和動態(tài)手勢識別兩類［２２］，靜態(tài)手勢由手在靜??態(tài)下的姿態(tài)確定（如圖１．２（ａ）），動態(tài)手勢常由手的姿態(tài)和其在時序上的運動軌??跡來確定（如圖１．２（ｂ））�；谝曈X的靜態(tài)手勢識別常以單幀圖像為輸入，一般??由手形分割、特征提取、分類識別三個模塊組成。比如文獻［２０１以單幀彩圖為??輸入，結合膚色檢測（Ｓｋｉｎ－ｃｏｌｏｒ?Ｄｅｔｅｃｔｉｏｎ）和高斯混合模型（Ｇａｕｓｓｉａｎ?Ｍｉｘｔｕｒｅ??Ｍｏｄｅｌ，?ＧＭＭ）來做手形分割，隨后提取多種特征并做融合，基于融合的特征使??用支持向量機（Ｓｕｐｐｏｒｔ?Ｖｅｃｔｏｒ?Ｍａｃｈｉｎｅ，?ＳＶＭ）來識別二十六種靜態(tài)手語。文獻??［１８］以同步的深度圖和彩圖為輸入，首先基于深度閾值在深度圖上提取手形大??致區(qū)域并依據(jù)手腕處的彩帶在彩圖上做更精細的手形分割，然后基于Ｔｉｍｅ－ｓｅｒｉｅｓ??Ｃｕｒｖｅｓ?［２３］對分割出的手形的輪廓進行特征描述，最后使用模板匹配（Ｔｅｍｐｌａｔｅ??Ｍａｔｃｈｉｎｇ）和?ＦＥＭＤ?（Ｆｉｎｇｅｒ－Ｅａｒｔｈ?Ｍｏｖｅｒ’ｓ?Ｄｉｓｔａｎｃｅ）?［２４］來識別十四種靜態(tài)手??勢。在靜態(tài)手勢識別中

手形分割作為重要的前端被廣泛地應用于手的姿態(tài)估計中［７，３４－３６］。手的??姿態(tài)估計是使用預先定義的組件（比如手指、手掌、關節(jié)點等）對手進行建模并??找到這些組件在圖像上的位置（二維估計，如圖１．３（ａ））或者在三維空間中的位置??（三維估計，如圖１．３（ｂ））以對手進行仿真的技術［３７］。目前對手建模最常用的組??件是關節(jié)點，姿態(tài)估計就等價于對手的關節(jié)點位置進行預測［３４，?３８］。手的三維??姿態(tài)估計算法，一般由手形分割、手上關節(jié)點在二維圖像上的位置預測、基于關??節(jié)點在二維圖像的位置信息來回歸關節(jié)點在手的模型上的三維位置這么三步組??成。比如文獻［３４］以單幀深度圖為輸入，基于深度對比特征［３９］使用隨機森林??（Ｒａｎｄｏｍ?Ｆｏｒｅｓｔ，?ＲＤＦ）在圖像上逐點做二分類（手與非手）來分割出手形，然后??通過卷積祌經(jīng)網(wǎng)絡提取特征并預測手上各關節(jié)點在深度圖上的位置，最后通過擬??合手的模型上各關節(jié)點在深度圖上的投影與其對應預測位置來獲得手的三維姿??態(tài)估計。文獻［７］以犖．巾貞彩圖為輸入，使用全卷積神經(jīng)網(wǎng)絡（Ｆｕｌｌｙ?Ｃｏｎｖｏｌｕｔｉｏｎａｌ??Ｎｅｔｗｏｒｋ


本文編號：3323997