社會機器人(Social Robots)未來可能重塑整個社會,而自然人機交互技術是其核心技術之一。手勢交互作為一種自然的人機交互方式,被廣泛應用于社會機器人交互系統(tǒng)之中。然而,現(xiàn)有的手勢識別算法需求大量的高質量訓練數(shù)據(jù)、模型學習過程復雜、擴展性差,難以應用于社會機器人真實應用場景。本文緊密圍繞社會機器人手勢交互技術,重點研究如何利用少量的有標記數(shù)據(jù),甚至單個樣本數(shù)據(jù)進行手勢學習,以及如何建模融合多模態(tài)信息以提升手勢識別的性能。本論文的主要工作和成果歸納如下:針對因手部是一種高自由度的鏈式結構使得關節(jié)點數(shù)據(jù)標注非常困難,從而造成現(xiàn)有的基于有監(jiān)督學習的方法學習成本極高的問題,本文提出了一種基于多視圖投影的半監(jiān)督學習方法。該方法將無標記三維手勢點云圖投影至三個坐標平面,利用自編碼器學習投影視圖之間的隱空間編碼,作為手勢姿態(tài)的隱式表征,進而利用有標簽數(shù)據(jù)學習隱式表征到手部姿態(tài)的直接映射。實驗表明,該方法不僅有效地減少了對標記數(shù)據(jù)的依賴,且在手姿態(tài)估計數(shù)據(jù)庫上,將最好結果從19.60毫米提升到了17.04毫米。針對現(xiàn)有一次學習手勢識別算法存在以下缺點:1)常用的運動特征只關注運動部分信息,造成手勢描述的不連續(xù),丟失了手勢保持時期的信息;2)特征提取未關注于有效的手部區(qū)域,造成身體擺動等無效運動的干擾;3)識別算法丟失了特征的時空位置信息,本文提出了一種簡單有效的基于上下文信息的顯著性特征提取方法。該方法能夠完整地保留手勢的動靜態(tài)信息,從而獲得更豐富、更魯棒的特征表達。其次,本文提出了一種基于特征匹配的動態(tài)規(guī)劃算法,該算法利用特征匹配的稠密性及準確性度量兩幀的相似性,而后采用動態(tài)規(guī)劃算法求取兩手勢序列最優(yōu)匹配距離。該算法保證了手勢描述的連續(xù)性、準確性,并且充分利用了特征的時空位置信息。本文提出的算法在無需復雜的特征設計的情況下,得到了和當前基于復雜特征設計的算法相當?shù)男Чａ槍谏疃葘W習的多模態(tài)手勢識別算法需要謹慎的網(wǎng)絡結構設計,繁瑣的網(wǎng)絡訓練,且新的數(shù)據(jù)需要重新訓練問題,本文提出了一種統(tǒng)一的多模態(tài)信息融合構架,稱為VDTW(Voting based Dynamic Time Warping)。該算法通過利用三維隱形狀模型建模各模態(tài)特征的時空結構信息,而后通過一致性投票將特征映射至統(tǒng)一的概率空間,形成對各幀時空分布的概率估計,以此構建對齊代價矩陣。此外,本文還提出一種基于概率的快速上界求取方法,能夠減少不必要的動態(tài)規(guī)劃計算過程,從而加速計算。這些優(yōu)點使得VDTW算法能夠適用于大樣本多模態(tài)手勢分類任務,在Chalearn IsoGD多模態(tài)手勢數(shù)據(jù)庫上,獲得了和基于深度學習的算法相當?shù)慕Y果。在上述算法研究的基礎上,搭建了一套社會機器人系統(tǒng)JIAJIA,用于驗證真實場景下的手勢交互效果。多位志愿者受邀參與系統(tǒng)測試,使用體驗方面得到較高評價,其次,量化的識別結果也驗證了系統(tǒng)的實用性。
【學位單位】：電子科技大學
【學位級別】：博士
【學位年份】：2019
【中圖分類】：TP242
【部分圖文】：

圖 1-1 日本主要社會機器人日本軟銀公司推出的 Pepper 機器人則更注重情感交流，它能夠識別人類的語音語調，同時察覺細微的面部表情變化，通過強大的情感引擎量化評分得到人類的情緒，并在語音中加入聲調的變化以及多樣的動作完成蘊含情感的表達，它被

圖 1-2 美國主要社會機器人在歐洲，NAO 機器人是一款學術界運用最廣泛的機器人，它精通 19 種語言，可以與人類聊天，還會唱歌跳舞，可以用作自閉癥兒童的輔助治療手段[15]。目前，成千上萬臺 NAO 被幾十個國家的學校所購買，通過可視化的指令編程，NAO 被

圖 1-3 歐洲主要社會機器人雖然和歐美國家相比，國內(nèi)在社會機器人領域起步較晚，但是也獲得了很多頂尖的成果。中國香港的漢森機器人技術公司是面部表情機器人領域的領先者，著名的索菲亞機器人（Sophia）就是其核心產(chǎn)品之一。Sophia 采用橡膠皮膚，能夠

【參考文獻】

相關期刊論文 前1條

1 劉建偉;劉媛;羅雄麟;;半監(jiān)督學習方法[J];計算機學報;2015年08期

相關博士學位論文 前1條

1 沙亮;基于無標記全手勢視覺的人機交互技術[D];清華大學;2010年

相關碩士學位論文 前4條

1 羅陽星;基于視覺的多模態(tài)動態(tài)手勢識別算法研究[D];華南理工大學;2018年

2 孫靖;基于視覺的實時手勢識別及其應用[D];廣西大學;2013年

3 代仲君;圖像到類的動態(tài)時間規(guī)整算法及其在3D手勢識別中的應用[D];電子科技大學;2013年

4 杜曉川;基于視覺的動態(tài)手勢識別相關技術研究及實現(xiàn)[D];電子科技大學;2012年

本文編號：2824947