動(dòng)作識(shí)別是計(jì)算視覺(jué)領(lǐng)域的主要研究?jī)?nèi)容之一,復(fù)雜動(dòng)作的準(zhǔn)確理解對(duì)于服務(wù)機(jī)器人、增強(qiáng)現(xiàn)實(shí)和視頻監(jiān)控領(lǐng)域具有重要作用。現(xiàn)有技術(shù)在徒手動(dòng)作識(shí)別方面已經(jīng)取得了長(zhǎng)足的進(jìn)步,但對(duì)于手持物體的復(fù)雜動(dòng)作識(shí)別問(wèn)題,由于遮擋、手和物體鉸連等影響,尚不能達(dá)到理想效果。為解決這一問(wèn)題,本文基于彩色、深度數(shù)據(jù)和肌電數(shù)據(jù),對(duì)人體3D骨架特征、肌肉狀態(tài)特征和交互物體特征分別進(jìn)行了研究,并在此基礎(chǔ)上提出了基于多元特征融合的人體復(fù)雜動(dòng)作識(shí)別算法,具體研究?jī)?nèi)容如下:(1)提出了一種基于3D骨架和肌肉狀態(tài)的多模態(tài)特征融合的動(dòng)作識(shí)別方法。針對(duì)復(fù)雜的手持物體、非手持物體動(dòng)作,分別提取了骨架局部聚合描述子特征和肌電局部聚合描述子特征,進(jìn)而構(gòu)建了多粒度特征來(lái)表述復(fù)雜人體動(dòng)作,并利用多核學(xué)習(xí)方法使用不同核函數(shù)將兩類特征進(jìn)行融合并完成動(dòng)作識(shí)別。(2)提出了一種基于形狀特征的物體識(shí)別方法。首先對(duì)物體輪廓提取重心、圓度、形狀上下文等66維特征,隨后使用基于K近鄰、決策樹(shù)、概率神經(jīng)網(wǎng)絡(luò)、模糊規(guī)則和隨機(jī)森林的特征選擇方法對(duì)原始特征集進(jìn)行選擇獲得5個(gè)差異化最優(yōu)特征子集以訓(xùn)練差異化模型。在局部分類器融合階段,在5個(gè)特征子集上使用同種分類算法訓(xùn)練出5... 

【文章來(lái)源】：燕山大學(xué)河北省

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-2兩種基于骨架數(shù)據(jù)的動(dòng)作識(shí)別框架

的發(fā)展，F(xiàn)aster-RCNN通過(guò)區(qū)域建議法生成候選框，然后使用神經(jīng)網(wǎng)絡(luò)對(duì)候選區(qū)域提取特征并分類[56]。此后，研究者通常使用深度神經(jīng)網(wǎng)絡(luò)來(lái)圖像中的物體定位問(wèn)題。然而在人-物交互場(chǎng)景中，物體大概率出現(xiàn)在手部周圍。這是因?yàn)殡p手作為人與環(huán)境交互的主要媒介，必然會(huì)與環(huán)境物體進(jìn)行接觸。因此，在人-物交互場(chǎng)景中，利用物體大概率分布在手部附近這一先驗(yàn)知識(shí)，物體位置確定的難度大大降低。復(fù)雜動(dòng)作識(shí)別中的物體定位技術(shù)需要獲取給定RGB數(shù)據(jù)中將與手部交互的物體位置及物體外接矩形框。通常在復(fù)雜動(dòng)作物體識(shí)別中有兩種框架，如圖2-3所示。圖2-3復(fù)雜動(dòng)作識(shí)別中兩種物體定位框架在人-物交互場(chǎng)景中，圖2-3中的兩種框架都利用物體大概率分布在人體周圍這一先驗(yàn)知識(shí)較為簡(jiǎn)單的實(shí)現(xiàn)對(duì)物體的的定位和框選，且兩種框架都使用RGB-D數(shù)據(jù)和骨架數(shù)據(jù)。在獲得對(duì)齊的深度圖像和骨骼數(shù)據(jù)后，框架一通過(guò)提取局部占用模式(LocalOccupancyPattern，LOP)特征實(shí)現(xiàn)對(duì)物體的定位，如文獻(xiàn)[48,57]。首先以人體每個(gè)骨骼關(guān)節(jié)點(diǎn)三維坐標(biāo)為中心建立一個(gè)立方體，并將整個(gè)立方體分為若干個(gè)小立方體。隨后利用骨骼數(shù)據(jù)與深度數(shù)據(jù)對(duì)齊關(guān)系將立方體區(qū)域映射至深度圖像中，并計(jì)算該立方體內(nèi)深度像素落入每個(gè)小立方體的統(tǒng)計(jì)值，以獲取該區(qū)域內(nèi)深度值的分布情況。至此，通過(guò)對(duì)每個(gè)關(guān)節(jié)點(diǎn)周圍提取LOP特征粗略捕獲了每個(gè)關(guān)節(jié)點(diǎn)鄰域深度分布。最后，使用閾值對(duì)所有關(guān)節(jié)點(diǎn)LOP特征數(shù)值進(jìn)行比較以判斷距離物體最近的

第2章復(fù)雜動(dòng)作識(shí)別相關(guān)算法基礎(chǔ)理論-15-關(guān)節(jié)點(diǎn)位置，并在深度圖像上根據(jù)該LOP區(qū)域的輪廓計(jì)算物體重心。而物體的框選則在物體重心確定后，使用固定的大小外接框?qū)ξ矬w進(jìn)行框眩然而，固定大小的外接框往往只能框選部分物體或包含多余背景信息，不利于后續(xù)準(zhǔn)確的物體特征提齲與框架一使用固定大小進(jìn)行物體框選不同，框架二則是通過(guò)分割的方法自適應(yīng)獲取物體輪廓隨后再進(jìn)行物體框選，因此該框架得到的物體外接矩形框能較為準(zhǔn)確的包裹物體，如文獻(xiàn)[49]。首先在對(duì)齊的深度圖像中以手部關(guān)節(jié)點(diǎn)位置為種子點(diǎn)進(jìn)行區(qū)域增長(zhǎng)，以種子點(diǎn)為基礎(chǔ)，通常根據(jù)像素差值對(duì)周圍8個(gè)方向鄰域內(nèi)像素進(jìn)行合并，通過(guò)設(shè)置合適的合并終止條件完成區(qū)域增長(zhǎng)。在深度圖像獲取物體的輪廓后，通常計(jì)算該輪廓的重心和外接矩形框作為物體的重心和外接矩形框并映射至彩色圖像中，該框架物體框選結(jié)果的優(yōu)劣主要依賴于區(qū)域增長(zhǎng)的結(jié)果。兩種框架優(yōu)點(diǎn)缺點(diǎn)各不相同�？蚣芤煌ㄟ^(guò)將骨骼點(diǎn)的LOP特征與所設(shè)閾值判斷物體位置，相比使用區(qū)域增長(zhǎng)分割方法，該框架獲得的物體位置更加魯棒，但使用固定大小的框進(jìn)行物體框選往往只能獲得物體的部分區(qū)域�？蚣芏矬w位置及外接矩形框是否準(zhǔn)確基于區(qū)域增長(zhǎng)算法的結(jié)果及深度圖像是否能較為完整的捕獲物體輪廓。在深度圖像質(zhì)量高、區(qū)域增長(zhǎng)算法種子點(diǎn)選在物體區(qū)域內(nèi)并且停止生長(zhǎng)條件合適時(shí)，物體的位置及外界矩形框通常非常準(zhǔn)確，但該框架容易受到噪聲影響導(dǎo)致結(jié)果不準(zhǔn)確。2.2.2物體識(shí)別相關(guān)技術(shù)圖2-4復(fù)雜動(dòng)作識(shí)別中兩種物體識(shí)別框架物體識(shí)別現(xiàn)有框架在特征提取階段可以分為基于手工特征的物體識(shí)別框架和基于深度學(xué)習(xí)的物體識(shí)別框架，如圖2-4所示�；谑止ぬ卣鞯奈矬w識(shí)別框架包含兩個(gè)階段，即特征提取和物體分類。在特征提

【參考文獻(xiàn)】：
期刊論文
[1]基于曲率估計(jì)的運(yùn)動(dòng)平滑性度量算法[J]. 丁偉利,高曉陽(yáng),蘇玉萍,李小俚.  高技術(shù)通訊. 2015 (Z1)

博士論文
[1]基于深度學(xué)習(xí)機(jī)制的人與物體交互活動(dòng)識(shí)別技術(shù)[D]. 白琳.北京理工大學(xué) 2015
[2]基于表面肌電信號(hào)的人體動(dòng)作識(shí)別與交互[D]. 張旭.中國(guó)科學(xué)技術(shù)大學(xué) 2010

碩士論文
[1]基于顏色與形狀特征融合的物體識(shí)別方法研究[D]. 韋琪.東北師范大學(xué) 2019
[2]基于Kinect的人的行為識(shí)別研究[D]. 劉從文.東南大學(xué) 2016



本文編號(hào)：2904395