社會(huì)機(jī)器人(Social Robots)未來(lái)可能重塑整個(gè)社會(huì),而自然人機(jī)交互技術(shù)是其核心技術(shù)之一。手勢(shì)交互作為一種自然的人機(jī)交互方式,被廣泛應(yīng)用于社會(huì)機(jī)器人交互系統(tǒng)之中。然而,現(xiàn)有的手勢(shì)識(shí)別算法需求大量的高質(zhì)量訓(xùn)練數(shù)據(jù)、模型學(xué)習(xí)過(guò)程復(fù)雜、擴(kuò)展性差,難以應(yīng)用于社會(huì)機(jī)器人真實(shí)應(yīng)用場(chǎng)景。本文緊密圍繞社會(huì)機(jī)器人手勢(shì)交互技術(shù),重點(diǎn)研究如何利用少量的有標(biāo)記數(shù)據(jù),甚至單個(gè)樣本數(shù)據(jù)進(jìn)行手勢(shì)學(xué)習(xí),以及如何建模融合多模態(tài)信息以提升手勢(shì)識(shí)別的性能。本論文的主要工作和成果歸納如下:針對(duì)因手部是一種高自由度的鏈?zhǔn)浇Y(jié)構(gòu)使得關(guān)節(jié)點(diǎn)數(shù)據(jù)標(biāo)注非常困難,從而造成現(xiàn)有的基于有監(jiān)督學(xué)習(xí)的方法學(xué)習(xí)成本極高的問(wèn)題,本文提出了一種基于多視圖投影的半監(jiān)督學(xué)習(xí)方法。該方法將無(wú)標(biāo)記三維手勢(shì)點(diǎn)云圖投影至三個(gè)坐標(biāo)平面,利用自編碼器學(xué)習(xí)投影視圖之間的隱空間編碼,作為手勢(shì)姿態(tài)的隱式表征,進(jìn)而利用有標(biāo)簽數(shù)據(jù)學(xué)習(xí)隱式表征到手部姿態(tài)的直接映射。實(shí)驗(yàn)表明,該方法不僅有效地減少了對(duì)標(biāo)記數(shù)據(jù)的依賴,且在手姿態(tài)估計(jì)數(shù)據(jù)庫(kù)上,將最好結(jié)果從19.60毫米提升到了17.04毫米。針對(duì)現(xiàn)有一次學(xué)習(xí)手勢(shì)識(shí)別算法存在以下缺點(diǎn):1)常用的運(yùn)動(dòng)特征只關(guān)注運(yùn)動(dòng)部分信息,造成手勢(shì)描述的不連續(xù),丟失了手勢(shì)保持時(shí)期的信息;2)特征提取未關(guān)注于有效的手部區(qū)域,造成身體擺動(dòng)等無(wú)效運(yùn)動(dòng)的干擾;3)識(shí)別算法丟失了特征的時(shí)空位置信息,本文提出了一種簡(jiǎn)單有效的基于上下文信息的顯著性特征提取方法。該方法能夠完整地保留手勢(shì)的動(dòng)靜態(tài)信息,從而獲得更豐富、更魯棒的特征表達(dá)。其次,本文提出了一種基于特征匹配的動(dòng)態(tài)規(guī)劃算法,該算法利用特征匹配的稠密性及準(zhǔn)確性度量?jī)蓭南嗨菩?而后采用動(dòng)態(tài)規(guī)劃算法求取兩手勢(shì)序列最優(yōu)匹配距離。該算法保證了手勢(shì)描述的連續(xù)性、準(zhǔn)確性,并且充分利用了特征的時(shí)空位置信息。本文提出的算法在無(wú)需復(fù)雜的特征設(shè)計(jì)的情況下,得到了和當(dāng)前基于復(fù)雜特征設(shè)計(jì)的算法相當(dāng)?shù)男Ч�。針�?duì)基于深度學(xué)習(xí)的多模態(tài)手勢(shì)識(shí)別算法需要謹(jǐn)慎的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),繁瑣的網(wǎng)絡(luò)訓(xùn)練,且新的數(shù)據(jù)需要重新訓(xùn)練問(wèn)題,本文提出了一種統(tǒng)一的多模態(tài)信息融合構(gòu)架,稱為VDTW(Voting based Dynamic Time Warping)。該算法通過(guò)利用三維隱形狀模型建模各模態(tài)特征的時(shí)空結(jié)構(gòu)信息,而后通過(guò)一致性投票將特征映射至統(tǒng)一的概率空間,形成對(duì)各幀時(shí)空分布的概率估計(jì),以此構(gòu)建對(duì)齊代價(jià)矩陣。此外,本文還提出一種基于概率的快速上界求取方法,能夠減少不必要的動(dòng)態(tài)規(guī)劃計(jì)算過(guò)程,從而加速計(jì)算。這些優(yōu)點(diǎn)使得VDTW算法能夠適用于大樣本多模態(tài)手勢(shì)分類任務(wù),在Chalearn IsoGD多模態(tài)手勢(shì)數(shù)據(jù)庫(kù)上,獲得了和基于深度學(xué)習(xí)的算法相當(dāng)?shù)慕Y(jié)果。在上述算法研究的基礎(chǔ)上,搭建了一套社會(huì)機(jī)器人系統(tǒng)JIAJIA,用于驗(yàn)證真實(shí)場(chǎng)景下的手勢(shì)交互效果。多位志愿者受邀參與系統(tǒng)測(cè)試,使用體驗(yàn)方面得到較高評(píng)價(jià),其次,量化的識(shí)別結(jié)果也驗(yàn)證了系統(tǒng)的實(shí)用性。
【學(xué)位單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2019
【中圖分類】：TP242
【部分圖文】：

圖 1-1 日本主要社會(huì)機(jī)器人日本軟銀公司推出的 Pepper 機(jī)器人則更注重情感交流，它能夠識(shí)別人類的語(yǔ)音語(yǔ)調(diào)，同時(shí)察覺(jué)細(xì)微的面部表情變化，通過(guò)強(qiáng)大的情感引擎量化評(píng)分得到人類的情緒，并在語(yǔ)音中加入聲調(diào)的變化以及多樣的動(dòng)作完成蘊(yùn)含情感的表達(dá)，它被

圖 1-2 美國(guó)主要社會(huì)機(jī)器人在歐洲，NAO 機(jī)器人是一款學(xué)術(shù)界運(yùn)用最廣泛的機(jī)器人，它精通 19 種語(yǔ)言，可以與人類聊天，還會(huì)唱歌跳舞，可以用作自閉癥兒童的輔助治療手段[15]。目前，成千上萬(wàn)臺(tái) NAO 被幾十個(gè)國(guó)家的學(xué)校所購(gòu)買，通過(guò)可視化的指令編程，NAO 被

圖 1-3 歐洲主要社會(huì)機(jī)器人雖然和歐美國(guó)家相比，國(guó)內(nèi)在社會(huì)機(jī)器人領(lǐng)域起步較晚，但是也獲得了很多頂尖的成果。中國(guó)香港的漢森機(jī)器人技術(shù)公司是面部表情機(jī)器人領(lǐng)域的領(lǐng)先者，著名的索菲亞機(jī)器人（Sophia）就是其核心產(chǎn)品之一。Sophia 采用橡膠皮膚，能夠

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 劉建偉;劉媛;羅雄麟;;半監(jiān)督學(xué)習(xí)方法[J];計(jì)算機(jī)學(xué)報(bào);2015年08期

相關(guān)博士學(xué)位論文 前1條

1 沙亮;基于無(wú)標(biāo)記全手勢(shì)視覺(jué)的人機(jī)交互技術(shù)[D];清華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前4條

1 羅陽(yáng)星;基于視覺(jué)的多模態(tài)動(dòng)態(tài)手勢(shì)識(shí)別算法研究[D];華南理工大學(xué);2018年

2 孫靖;基于視覺(jué)的實(shí)時(shí)手勢(shì)識(shí)別及其應(yīng)用[D];廣西大學(xué);2013年

3 代仲君;圖像到類的動(dòng)態(tài)時(shí)間規(guī)整算法及其在3D手勢(shì)識(shí)別中的應(yīng)用[D];電子科技大學(xué);2013年

4 杜曉川;基于視覺(jué)的動(dòng)態(tài)手勢(shì)識(shí)別相關(guān)技術(shù)研究及實(shí)現(xiàn)[D];電子科技大學(xué);2012年

本文編號(hào)：2824947