人體動作識別的主要目標(biāo)是讓機(jī)器能夠從圖像或視頻中自動地識別人類的動作行為,其在視頻監(jiān)控、醫(yī)療保健、智能家居和人機(jī)交互等方面具有廣泛的應(yīng)用前景。人體可以被視為由樞紐關(guān)節(jié)連接剛性骨骼而成的鉸接系統(tǒng),其動作主要反映在三維空間中的骨架運(yùn)動上,且骨架信息對尺度、光照和視角等變化具有很強(qiáng)的魯棒性。因此,基于骨架的動作識別已經(jīng)成為計(jì)算機(jī)視覺和模式識別研究領(lǐng)域中一個(gè)備受關(guān)注的課題。本文針對骨架動作識別任務(wù),結(jié)合圖模型理論和深度學(xué)習(xí)方法,圍繞骨架數(shù)據(jù)的魯棒空間特征提取、時(shí)序運(yùn)動信息建模和動作相關(guān)部位捕捉等三個(gè)關(guān)鍵問題開展了深入研究。具體而言,本文的主要工作如下:（1）提出了一種受注意力機(jī)制啟發(fā)的圖卷積神經(jīng)網(wǎng)絡(luò),可有效提取骨架數(shù)據(jù)的空間結(jié)構(gòu)特征并捕捉與動作相關(guān)的顯著運(yùn)動單元。首先,為了從結(jié)構(gòu)不規(guī)則的骨架數(shù)據(jù)中提取深度特征,利用圖將骨架數(shù)據(jù)進(jìn)行結(jié)構(gòu)化表示,并引入譜圖濾波機(jī)制靈活地實(shí)現(xiàn)了高效的圖卷積運(yùn)算。其次,為了檢測對區(qū)分動作具有重要作用的動作單元,設(shè)計(jì)了新的動作關(guān)注層,該層還有助于提取高判別性的特征。最后,為了建模骨架的時(shí)序運(yùn)動模式,使用了遞歸神經(jīng)網(wǎng)絡(luò)單元。如此,構(gòu)成了一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)模型。（2）... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【部分圖文】：

Florence3D數(shù)據(jù)庫樣例展示

東南大學(xué)碩士學(xué)位論文8展示了Florence3D數(shù)據(jù)庫的部分樣例，第1~3行分別為“從瓶子里喝水”、“接聽電話”和“看手表”，直觀上看，這三個(gè)動作樣本之間的差異極小，難以區(qū)分。圖1-2Florence3D數(shù)據(jù)庫樣例展示1.3.1.2HDM05數(shù)據(jù)庫3HDM05數(shù)據(jù)庫（MocapDatabaseHDM05）的建立利用了Vicon光學(xué)運(yùn)動捕捉系統(tǒng)（OpticalMotionCaptureSystems），每個(gè)骨架數(shù)據(jù)由31個(gè)關(guān)節(jié)的三維坐標(biāo)表示，累計(jì)收集了2337個(gè)動作序列，采集場景如圖1-3所示。這些動作序列由5個(gè)名為“bd”、“bk”、“dg”、“mm”和“tr”的非專業(yè)表演者完成，涵蓋了5大類日常動作類別：（1）散步、跑步和跳躍；（2）抓取和放置；（3）體育運(yùn)動；（4）坐下和躺下；（5）混雜動作。上述5大類日常動作又根據(jù)動作意圖、動作部位、重復(fù)次數(shù)、持續(xù)時(shí)間等不同標(biāo)準(zhǔn)細(xì)分成130類（例如，向椅子或桌子走3步、左手或右手揮5秒、左拳前向擊1次或2次等）。據(jù)我們所知，HDM05是目前為止包含動作類別數(shù)量最多的骨架動作識別數(shù)據(jù)庫。由于類內(nèi)差異大、動作種類多，該數(shù)據(jù)庫在動作識別中極具挑戰(zhàn)性。圖1-3HDM05數(shù)據(jù)庫采集場景（Vicon光學(xué)運(yùn)動捕捉系統(tǒng)）[36]3http://resources.mpi-inf.mpg.de/HDM05/

腗icrosoftKinectv2體感器進(jìn)行同時(shí)捕獲，包含60種不同的動作類別，涵蓋讀書、握手、頭痛等日常動作、交互動作和醫(yī)學(xué)條件下的行為。這些動作由年齡在10~35歲之間的40名被試表演完成，每個(gè)骨架由25個(gè)關(guān)節(jié)的三維坐標(biāo)表示。如圖1-4所示，為NTURGB+D數(shù)據(jù)庫中的“喝水（drinkwater）”動作樣例，從左到右為同一時(shí)刻三個(gè)不同視角下的動作狀態(tài)。據(jù)我們所知，該數(shù)據(jù)庫是目前最大的骨架動作識別數(shù)據(jù)庫。較大的類內(nèi)差異和視角變化使得該數(shù)據(jù)庫極具挑戰(zhàn)性。與此同時(shí)，樣本量的顯著增加也為當(dāng)前基于骨架的動作識別方法帶來了新的挑戰(zhàn)。圖1-4NTURGB+D數(shù)據(jù)庫樣例展示4http://www.uow.edu.au/~jz960/datasets/combined.html5http://rose1.ntu.edu.sg/datasets/actionrecognition.asp


本文編號：3437436