動作識別是計算視覺領(lǐng)域的主要研究內(nèi)容之一,復(fù)雜動作的準確理解對于服務(wù)機器人、增強現(xiàn)實和視頻監(jiān)控領(lǐng)域具有重要作用�，F(xiàn)有技術(shù)在徒手動作識別方面已經(jīng)取得了長足的進步,但對于手持物體的復(fù)雜動作識別問題,由于遮擋、手和物體鉸連等影響,尚不能達到理想效果。為解決這一問題,本文基于彩色、深度數(shù)據(jù)和肌電數(shù)據(jù),對人體3D骨架特征、肌肉狀態(tài)特征和交互物體特征分別進行了研究,并在此基礎(chǔ)上提出了基于多元特征融合的人體復(fù)雜動作識別算法,具體研究內(nèi)容如下:(1)提出了一種基于3D骨架和肌肉狀態(tài)的多模態(tài)特征融合的動作識別方法。針對復(fù)雜的手持物體、非手持物體動作,分別提取了骨架局部聚合描述子特征和肌電局部聚合描述子特征,進而構(gòu)建了多粒度特征來表述復(fù)雜人體動作,并利用多核學習方法使用不同核函數(shù)將兩類特征進行融合并完成動作識別。(2)提出了一種基于形狀特征的物體識別方法。首先對物體輪廓提取重心、圓度、形狀上下文等66維特征,隨后使用基于K近鄰、決策樹、概率神經(jīng)網(wǎng)絡(luò)、模糊規(guī)則和隨機森林的特征選擇方法對原始特征集進行選擇獲得5個差異化最優(yōu)特征子集以訓練差異化模型。在局部分類器融合階段,在5個特征子集上使用同種分類算法訓練出5... 

【文章來源】：燕山大學河北省

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【部分圖文】：

圖2-2兩種基于骨架數(shù)據(jù)的動作識別框架

的發(fā)展，F(xiàn)aster-RCNN通過區(qū)域建議法生成候選框，然后使用神經(jīng)網(wǎng)絡(luò)對候選區(qū)域提取特征并分類[56]。此后，研究者通常使用深度神經(jīng)網(wǎng)絡(luò)來圖像中的物體定位問題。然而在人-物交互場景中，物體大概率出現(xiàn)在手部周圍。這是因為雙手作為人與環(huán)境交互的主要媒介，必然會與環(huán)境物體進行接觸。因此，在人-物交互場景中，利用物體大概率分布在手部附近這一先驗知識，物體位置確定的難度大大降低。復(fù)雜動作識別中的物體定位技術(shù)需要獲取給定RGB數(shù)據(jù)中將與手部交互的物體位置及物體外接矩形框。通常在復(fù)雜動作物體識別中有兩種框架，如圖2-3所示。圖2-3復(fù)雜動作識別中兩種物體定位框架在人-物交互場景中，圖2-3中的兩種框架都利用物體大概率分布在人體周圍這一先驗知識較為簡單的實現(xiàn)對物體的的定位和框選，且兩種框架都使用RGB-D數(shù)據(jù)和骨架數(shù)據(jù)。在獲得對齊的深度圖像和骨骼數(shù)據(jù)后，框架一通過提取局部占用模式(LocalOccupancyPattern，LOP)特征實現(xiàn)對物體的定位，如文獻[48,57]。首先以人體每個骨骼關(guān)節(jié)點三維坐標為中心建立一個立方體，并將整個立方體分為若干個小立方體。隨后利用骨骼數(shù)據(jù)與深度數(shù)據(jù)對齊關(guān)系將立方體區(qū)域映射至深度圖像中，并計算該立方體內(nèi)深度像素落入每個小立方體的統(tǒng)計值，以獲取該區(qū)域內(nèi)深度值的分布情況。至此，通過對每個關(guān)節(jié)點周圍提取LOP特征粗略捕獲了每個關(guān)節(jié)點鄰域深度分布。最后，使用閾值對所有關(guān)節(jié)點LOP特征數(shù)值進行比較以判斷距離物體最近的

第2章復(fù)雜動作識別相關(guān)算法基礎(chǔ)理論-15-關(guān)節(jié)點位置，并在深度圖像上根據(jù)該LOP區(qū)域的輪廓計算物體重心。而物體的框選則在物體重心確定后，使用固定的大小外接框?qū)ξ矬w進行框眩然而，固定大小的外接框往往只能框選部分物體或包含多余背景信息，不利于后續(xù)準確的物體特征提齲與框架一使用固定大小進行物體框選不同，框架二則是通過分割的方法自適應(yīng)獲取物體輪廓隨后再進行物體框選，因此該框架得到的物體外接矩形框能較為準確的包裹物體，如文獻[49]。首先在對齊的深度圖像中以手部關(guān)節(jié)點位置為種子點進行區(qū)域增長，以種子點為基礎(chǔ)，通常根據(jù)像素差值對周圍8個方向鄰域內(nèi)像素進行合并，通過設(shè)置合適的合并終止條件完成區(qū)域增長。在深度圖像獲取物體的輪廓后，通常計算該輪廓的重心和外接矩形框作為物體的重心和外接矩形框并映射至彩色圖像中，該框架物體框選結(jié)果的優(yōu)劣主要依賴于區(qū)域增長的結(jié)果。兩種框架優(yōu)點缺點各不相同�？蚣芤煌ㄟ^將骨骼點的LOP特征與所設(shè)閾值判斷物體位置，相比使用區(qū)域增長分割方法，該框架獲得的物體位置更加魯棒，但使用固定大小的框進行物體框選往往只能獲得物體的部分區(qū)域�？蚣芏矬w位置及外接矩形框是否準確基于區(qū)域增長算法的結(jié)果及深度圖像是否能較為完整的捕獲物體輪廓。在深度圖像質(zhì)量高、區(qū)域增長算法種子點選在物體區(qū)域內(nèi)并且停止生長條件合適時，物體的位置及外界矩形框通常非常準確，但該框架容易受到噪聲影響導致結(jié)果不準確。2.2.2物體識別相關(guān)技術(shù)圖2-4復(fù)雜動作識別中兩種物體識別框架物體識別現(xiàn)有框架在特征提取階段可以分為基于手工特征的物體識別框架和基于深度學習的物體識別框架，如圖2-4所示�；谑止ぬ卣鞯奈矬w識別框架包含兩個階段，即特征提取和物體分類。在特征提

【參考文獻】：
期刊論文
[1]基于曲率估計的運動平滑性度量算法[J]. 丁偉利,高曉陽,蘇玉萍,李小俚.  高技術(shù)通訊. 2015 (Z1)

博士論文
[1]基于深度學習機制的人與物體交互活動識別技術(shù)[D]. 白琳.北京理工大學 2015
[2]基于表面肌電信號的人體動作識別與交互[D]. 張旭.中國科學技術(shù)大學 2010

碩士論文
[1]基于顏色與形狀特征融合的物體識別方法研究[D]. 韋琪.東北師范大學 2019
[2]基于Kinect的人的行為識別研究[D]. 劉從文.東南大學 2016



本文編號：2904395