本文關(guān)鍵詞：基于視覺的人體動(dòng)作識別研究　出處：《哈爾濱工業(yè)大學(xué)》2017年博士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 機(jī)器視覺 動(dòng)作識別 動(dòng)作特征提取 動(dòng)作特征表征 動(dòng)作特征分類

【摘要】：賦予機(jī)器人以類似于人類的視覺能力是實(shí)現(xiàn)機(jī)器人與人非接觸式智能交互的重要保障。在視覺人機(jī)交互中,利用人體動(dòng)作是最直接的渠道,也是最有效的手段。同時(shí),隨著服務(wù)機(jī)器人智能化需求的不斷增長以及圖像處理技術(shù)、人工智能技術(shù)和機(jī)器人技術(shù)的快速發(fā)展,基于機(jī)器人視覺的動(dòng)作識別逐漸成為近年的研究熱點(diǎn)。然而,由于動(dòng)作信號的三維復(fù)雜性,在復(fù)雜視場環(huán)境下實(shí)現(xiàn)高效穩(wěn)定的動(dòng)作識別仍然是一項(xiàng)極具挑戰(zhàn)的任務(wù)�；谝曈X的動(dòng)作識別研究中的關(guān)鍵問題是提取有效的視覺信號對動(dòng)作進(jìn)行時(shí)空表征,進(jìn)而結(jié)合模式識別技術(shù)完成表征的分類。針對動(dòng)作時(shí)空表征這一研究難點(diǎn),本文分別從底層特征提取、中層特征描述和高層時(shí)空特征表達(dá)三個(gè)層面對動(dòng)作表征方法進(jìn)行了深入研究,在此基礎(chǔ)上,通過監(jiān)督學(xué)習(xí)策略實(shí)現(xiàn)了動(dòng)作的識別�？傮w來說,本文研究內(nèi)容主要包含以下方面:分析人體動(dòng)作過程中的運(yùn)動(dòng)細(xì)節(jié)是動(dòng)作識別研究中的難點(diǎn)。針對運(yùn)動(dòng)分析容易受到光照和隨機(jī)噪聲干擾的問題,提出運(yùn)動(dòng)能量流算法,對動(dòng)作在時(shí)空中的變化規(guī)律進(jìn)行準(zhǔn)確分析。運(yùn)動(dòng)能量流首先構(gòu)建運(yùn)動(dòng)能量地圖作為底層特征,以減小光照變化的影響。同時(shí),進(jìn)一步提出能量不變性假設(shè)和能量平滑性假設(shè),并通過對其約束的拉格朗日方程求解得到運(yùn)動(dòng)能量流算子作為中層特征描述。之后,一方面直接利用運(yùn)動(dòng)能量流分析運(yùn)動(dòng)過程的變化;另一方面將運(yùn)動(dòng)能量流算子融入到詞袋模型中形成高層時(shí)空特征表達(dá),進(jìn)而實(shí)現(xiàn)動(dòng)作的識別。研究動(dòng)作在局部時(shí)空中的特征關(guān)系及表征方法是動(dòng)作識別研究中最重要的問題之一。針對動(dòng)作識別中局部特征表征精度不高的問題,提出梯度特征轉(zhuǎn)換算法,對動(dòng)作的局部特征進(jìn)行表征,以實(shí)現(xiàn)動(dòng)作的檢測和識別。梯度特征轉(zhuǎn)換方法提取了空間梯度特征作為底層特征,然后利用前/后向差分和二維投影統(tǒng)計(jì)方法對底層特征進(jìn)行中層描述,并融入動(dòng)作局部時(shí)空關(guān)系特征,提高了動(dòng)作表征的精度。之后,一方面利用閾值法對動(dòng)作的投影進(jìn)行判別,實(shí)現(xiàn)動(dòng)作檢測;另一方面利用基于數(shù)據(jù)編碼的模板對中層特征進(jìn)行高層時(shí)空表征,進(jìn)而實(shí)現(xiàn)動(dòng)作的識別。利用一個(gè)全局的時(shí)空表征模板對動(dòng)作進(jìn)行表達(dá)是實(shí)現(xiàn)高效動(dòng)作識別的一個(gè)有效手段。針對動(dòng)作識別中全局表征模板魯棒性較差的問題,提出圖像勢能差分模板算法,對動(dòng)作全局特征進(jìn)行表征,以實(shí)現(xiàn)動(dòng)作識別。圖像勢能差分模板提取動(dòng)作的圖像勢能地圖作為底層特征,并分別構(gòu)建歸一化投影直方圖和運(yùn)動(dòng)動(dòng)能速率算子對底層特征進(jìn)行中層特征描述,實(shí)現(xiàn)動(dòng)作特征的全局綜合表征,具有更穩(wěn)定的全局表征效率。之后,利用融合和主成分分析策略對中層特征進(jìn)行高層時(shí)空表征,進(jìn)而實(shí)現(xiàn)動(dòng)作的識別。結(jié)合深度學(xué)習(xí)框架對動(dòng)作進(jìn)行深度學(xué)習(xí)以實(shí)現(xiàn)動(dòng)作識別是動(dòng)作識別研究的一個(gè)重要趨勢。針對現(xiàn)有深度學(xué)習(xí)框架對于三維動(dòng)作信號學(xué)習(xí)能力的不足,提出三通道卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法,對動(dòng)作進(jìn)行高精度深度學(xué)習(xí)和識別。三通道卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方法將動(dòng)作圖像、局部光流特征圖像和全局差分模板特征圖像作為底層特征,以獲取更全面有效的深度學(xué)習(xí)特征;在此基礎(chǔ)上,構(gòu)建一個(gè)包含5個(gè)卷積層、3個(gè)池化層和兩個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)框架對底層特征進(jìn)行深度特征提取,得到中層特征描述算子;之后,將中層特征描述算子看作局部的動(dòng)作表征算子,提出一種soft-VLAD算法對局部算子進(jìn)行高層時(shí)空特征表達(dá),進(jìn)而實(shí)現(xiàn)動(dòng)作的識別。綜上所述,本文基于局部特征、全局模板和深度學(xué)習(xí)框架對動(dòng)作特征的提取和時(shí)空表征進(jìn)行了探索,提出了有效可行的動(dòng)作識別方法。此外,在目前流行的公共動(dòng)作數(shù)據(jù)庫中對提出的各種方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果證明了方法的有效性、高效性和可靠性。同時(shí),設(shè)計(jì)了面向應(yīng)用的動(dòng)作識別軟件系統(tǒng),并在一定的應(yīng)用場景中對涉及和提出各種算法的實(shí)用性能進(jìn)行了分析。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.41;TP242

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 凌志剛;趙春暉;梁彥;潘泉;王燕;;基于視覺的人行為理解綜述[J];計(jì)算機(jī)應(yīng)用研究;2008年09期

2 王亮,胡衛(wèi)明,譚鐵牛;人運(yùn)動(dòng)的視覺分析綜述[J];計(jì)算機(jī)學(xué)報(bào);2002年03期

，

本文編號：1334759