發(fā)布時間：2022-01-01 18:22

　　隨著人工智能與物聯(lián)網(wǎng)的發(fā)展,人體動作識別在智能視頻監(jiān)控、智能人機(jī)交互、虛擬現(xiàn)實(shí)和運(yùn)動分析等領(lǐng)域的需求日益增加。然而由于動作識別涉及多個學(xué)科且實(shí)際應(yīng)用場景多變,一直是個充滿挑戰(zhàn)的研究方向�；谏疃葘W(xué)習(xí)在圖片分類任務(wù)取得的巨大成功,研究學(xué)者將其逐步應(yīng)用到人體動作識別領(lǐng)域,但仍存在著動態(tài)特征不夠高效、無法充分利用多模態(tài)信息等問題而無法實(shí)現(xiàn)實(shí)用化。為了充分挖掘動態(tài)特征以及利用多模態(tài)信息互補(bǔ)關(guān)系,本文著重研究高效的特征表達(dá)和特征融合來提升動作識別準(zhǔn)確率。本文的主要貢獻(xiàn)有三點(diǎn):（1）基于光流有效性本質(zhì)研究了一種人體輪廓特征來表征視頻中的動態(tài)信息,即人和物體輪廓特征（Human–Object Contour,HOC）,通過結(jié)合物體類別包含了更高階的語義信息,從而可以充分挖掘視頻中的動態(tài)邏輯信息,優(yōu)化光流動態(tài)特征。（2）研究了一種高效的多模態(tài)信息融合網(wǎng)絡(luò),即多模態(tài)有注意力的融合網(wǎng)絡(luò)（Attentional Multi-modal Fusion Network,AMFN）。借鑒集成學(xué)習(xí)中的層疊泛化思想,同時參考人類視覺的選擇性注意力機(jī)制,結(jié)合每個視頻本身特征決定不同模態(tài)應(yīng)分配的注意力大小,實(shí)現(xiàn)了多模態(tài)信... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【部分圖文】：

論文組織結(jié)構(gòu)圖

人體動作識別從動作復(fù)雜程度上分為:單人動作、交互動作和群體動作。單人動作識別是基于單個層次來實(shí)現(xiàn),主要包括時空方法和時序方法兩類。對于由多個簡單動作組合而成的相對復(fù)雜的動作,識別思路是先識別容易建模的簡單子動作,在此基礎(chǔ)上再識別高層復(fù)雜動作。因此復(fù)雜動作識別方法常出現(xiàn)層級現(xiàn)象,等級體系的實(shí)現(xiàn)分為統(tǒng)計(jì)方法、句法分析法和基于描述的方法三種[24]。整體架構(gòu)如圖2.1所示。2.1.1 簡單動作識別:單層法

一是基于時空體模型將視頻序列看做為時空維度上的三維立方體。Bobick[6]構(gòu)造了運(yùn)動能量圖MEI和運(yùn)動歷史圖MHI。具體可參考圖2.2。運(yùn)動能量圖是將相鄰幀圖片經(jīng)過差分、二值化、疊加得到,突出展現(xiàn)視頻中動作。運(yùn)動歷史圖可以看做三維立方體沿時間軸的加權(quán)投影,表達(dá)了視頻中的運(yùn)動經(jīng)過。該方法在反映運(yùn)動物體姿態(tài)的同時包含了不同姿態(tài)的時序信息,對視頻中顏色、紋理、亮度等因素具有魯棒性但是對背景變化敏感,因此不用于攝像機(jī)視角有變化的視頻。二是基于時空軌跡把人體動作描述為時空中軌跡的集合。時空軌跡如下圖2.3所示。光流是通過檢測連續(xù)視頻幀在相同位置像素點(diǎn)隨時間變化的強(qiáng)度變化,以此判斷出物體運(yùn)動方向和速度,常用于描述人體表面及邊緣的運(yùn)動軌跡。Alexel等人[7]通過計(jì)算檢測到的人體框內(nèi)圖像水平和垂直方向(正反)四個方向的光流作為視頻幀的特征表示。Ali等人[25]通過主成分分析來降低光流計(jì)算出的特征維度,作為最終特征進(jìn)行分類。光流法無需對背景進(jìn)行消除操作,但是對顏色、紋理、遮擋較為敏感,且計(jì)算量大,無法滿足實(shí)時性較高的任務(wù)。

【參考文獻(xiàn)】：
期刊論文
[1]深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用[J]. 張順,龔怡宏,王進(jìn)軍.  計(jì)算機(jī)學(xué)報(bào). 2019(03)
[2]人體行為識別數(shù)據(jù)集研究進(jìn)展[J]. 朱紅蕾,朱昶勝,徐志剛.  自動化學(xué)報(bào). 2018(06)
[3]基于深度學(xué)習(xí)的人體行為識別算法綜述[J]. 朱煜,趙江坤,王逸寧,鄭兵兵.  自動化學(xué)報(bào). 2016(06)
[4]智能視頻監(jiān)控技術(shù)綜述[J]. 黃凱奇,陳曉棠,康運(yùn)鋒,譚鐵牛.  計(jì)算機(jī)學(xué)報(bào). 2015(06)

碩士論文
[1]基于ARM智能家居監(jiān)控系統(tǒng)的研究[D]. 習(xí)露.南昌大學(xué) 2018
[2]基于海思平臺的人體異常行為識別研究及實(shí)現(xiàn)[D]. 郝恒恒.西安科技大學(xué) 2018
[3]基于視頻時態(tài)信息演化的人體行為識別的研究[D]. 孫亞龍.吉林大學(xué) 2018
[4]基于深度學(xué)習(xí)的動作識別方法研究[D]. 韓敏捷.南京理工大學(xué) 2017
[5]基于深度學(xué)習(xí)的人體動作識別[D]. 耿馳.南京郵電大學(xué) 2016
[6]基于時空興趣點(diǎn)的人體行為識別[D]. 楊佳慧.南京郵電大學(xué) 2014
[7]基于多特征融合的行為識別算法研究[D]. 楊麗召.電子科技大學(xué) 2013
[8]基于局部時空特征的人體行為識別以及打架行為檢測[D]. 朱啟兵.合肥工業(yè)大學(xué) 2012



本文編號：3562587