隨著計(jì)算機(jī)視覺技術(shù)的迅猛發(fā)展,動(dòng)作識(shí)別作為其重要的研究方向吸引了越來越多科研者的研究興趣。當(dāng)今,人體動(dòng)作識(shí)別技術(shù)在交通、醫(yī)學(xué)、體育、教育、虛擬現(xiàn)實(shí)、安防監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用空間以及巨大的發(fā)展前景。按輸入數(shù)據(jù)類型劃分,動(dòng)作識(shí)別任務(wù)可以分為基于骨骼序列的動(dòng)作識(shí)別和基于視頻的動(dòng)作識(shí)別。其中骨骼序列記錄了連續(xù)時(shí)間內(nèi)人體主要關(guān)節(jié)點(diǎn)的特征信息,如三維空間坐標(biāo)。本文對(duì)這兩種識(shí)別任務(wù)進(jìn)行了詳細(xì)地研究。結(jié)合主流算法在這兩種任務(wù)上的表現(xiàn),分別提出了相應(yīng)的改進(jìn)算法。本文研究?jī)?nèi)容如下:1.在基于骨骼序列的動(dòng)作識(shí)別方面,本文受人類視覺機(jī)制的啟發(fā),討論了注意力機(jī)制和共現(xiàn)特征機(jī)制的重要性,在空時(shí)圖卷積網(wǎng)絡(luò)(ST-GCN)的基礎(chǔ)上,提出了適用于其的注意力分支和共現(xiàn)特征學(xué)習(xí)分支,從而形成動(dòng)作識(shí)別的多任務(wù)框架。實(shí)驗(yàn)證明提出的算法性能遠(yuǎn)遠(yuǎn)優(yōu)于ST-GCN和其他主流算法。最后進(jìn)行消融實(shí)驗(yàn),說明并解釋了各分支的有效性以及多任務(wù)框架的優(yōu)越性。2.在基于視頻的動(dòng)作識(shí)別方面,本文針對(duì)雙流卷積網(wǎng)絡(luò)需要預(yù)先計(jì)算光流從而導(dǎo)致計(jì)算速度慢的問題,提出了使用軌跡濾波器和隨機(jī)跨幀融合的組合策略替代光流。其中,軌跡濾波器建模動(dòng)作的時(shí)間聯(lián)系,隨機(jī)...

【文章頁數(shù)】：72 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1.1動(dòng)作識(shí)

浙江大學(xué)碩士學(xué)位論文緒論2(c)自動(dòng)駕駛(d)虛擬現(xiàn)實(shí)圖1.1動(dòng)作識(shí)別應(yīng)用場(chǎng)景1.安防視頻監(jiān)控[4]：視頻監(jiān)控是一種很常見的監(jiān)測(cè)手段。隨著人們公共安全意識(shí)和防范意識(shí)的提高，在一些重要公共場(chǎng)所的各個(gè)區(qū)域都布有多個(gè)監(jiān)控?cái)z像頭。它們用來記錄范圍內(nèi)人的行為軌跡，捕捉人群聚集、打架、偷盜、....

圖1.2人體主要身體關(guān)節(jié)圖[34]

浙江大學(xué)碩士學(xué)位論文緒論4量。圖1.2展示了人體主要關(guān)節(jié)點(diǎn)。骨骼序列動(dòng)作識(shí)別將上述骨骼數(shù)據(jù)輸入到動(dòng)作識(shí)別模型中最終得到分類結(jié)果。在動(dòng)作識(shí)別中，骨骼序列作為輸入數(shù)據(jù)有諸多優(yōu)點(diǎn)。一方面它十分魯棒，不受光照、背景噪聲、對(duì)比度等約束影響；另一方面，與記錄太多冗余信息的RGB視頻相比，它簡(jiǎn)....

圖1.3卷積操作示意圖(L表示視頻幀時(shí)間維度)

的整個(gè)時(shí)空范圍內(nèi)聚合局部卷積的特征。視頻的光流需要大量的計(jì)算，所以雙流法很難滿足實(shí)時(shí)性的要求。為了優(yōu)化動(dòng)作識(shí)別的速度，尋找可以替代光流的方法成為當(dāng)前動(dòng)作識(shí)別領(lǐng)域極其重要的研究方向。Zhang等[31]使用運(yùn)動(dòng)軌跡編碼替代光流信息。Tang等[32]提出了軌跡幻化網(wǎng)絡(luò)(MoNet)....

圖2.1圖卷積網(wǎng)絡(luò)典型結(jié)構(gòu)[38]

浙江大學(xué)碩士學(xué)位論文行為識(shí)別相關(guān)技術(shù)簡(jiǎn)介11圖進(jìn)行四次圖卷積操作，更新節(jié)點(diǎn)的高級(jí)特征，之后池化(Pooling)層將圖簡(jiǎn)化為子圖，繼續(xù)進(jìn)行四次圖卷積操作，最后依次經(jīng)過Pooling層、多層感知機(jī)(MLP)、Softmax函數(shù)得到預(yù)測(cè)概率的向量，進(jìn)而實(shí)現(xiàn)圖分類任務(wù)。圖2.1圖卷積網(wǎng)....

本文編號(hào)：3985991