在人體行為識(shí)別領(lǐng)域,國內(nèi)外對(duì)視頻類的動(dòng)作識(shí)別算法研究如火如荼。雖然,目前對(duì)靜止圖像識(shí)別的研究取得了很大的成功,但是對(duì)視頻類的動(dòng)作識(shí)別研究仍然是一個(gè)具有挑戰(zhàn)性的課題。本文針對(duì)彩色信息（RGB視頻幀）中缺乏不易受光照等環(huán)境因素影響的深度信息,并對(duì)沿著視線方向的動(dòng)作缺乏識(shí)別能力的問題,提出一種基于光流和深度運(yùn)動(dòng)圖（Depth Motion Map,DMM）的人體動(dòng)作識(shí)別算法。其主要研究內(nèi)容如下:（1）本文將深度序列在三個(gè)正交的笛卡爾平面上的進(jìn)行投影,從而有獲取DMM特征,以表示一個(gè)動(dòng)作的運(yùn)動(dòng)特征。另外,為了減小類內(nèi)變異性,本文將DMM調(diào)整為固定的尺寸,并且把每個(gè)DMM的固定尺寸設(shè)置為所有尺寸平均值的一半。由于所提出的特征描述符具有高維數(shù),采用了核熵成分分析（Kernel Entropy Component Analysis,KECA）進(jìn)行降維,最后將處理后的DMM特征作為本文深度流網(wǎng)絡(luò)通道的輸入。（2）本文利用長短期記憶網(wǎng)絡(luò)（Long Short Term Memory networks,LSTMs）對(duì)長序列歷史信息進(jìn)行控制和記憶具有明顯優(yōu)勢(shì)的特點(diǎn),設(shè)計(jì)了一種LSTMs網(wǎng)絡(luò)結(jié)構(gòu)。本文LSTM... 

【文章來源】：海南大學(xué)海南省 211工程院校

【文章頁數(shù)】：53 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Kinect的整體結(jié)構(gòu)

基于光流和深度運(yùn)動(dòng)圖的人體動(dòng)作識(shí)別算法研究8音頻處理：通過一組分布在Kinect設(shè)備兩側(cè)的四元麥克風(fēng)陣列，可以捕捉到設(shè)備有效接收范圍內(nèi)的各種信息。2.1.2Kinect傳感器的工作原理Kinect傳感器在待測(cè)的三維空間里，通過發(fā)射結(jié)構(gòu)光并進(jìn)行編碼來捕捉該三維空間深度信息。Kinect設(shè)備上的紅外投影機(jī)所發(fā)射出的紅外激光，會(huì)在三維空間或物體表面上形成不同大小的激光散斑，再通過紅外COMS攝像頭接收不同大小散斑所反射的紅外激光，最后，通過散斑之間的關(guān)聯(lián)產(chǎn)生相應(yīng)的峰值。進(jìn)而計(jì)算出三維空間或物體的深度值。Kinect攝像機(jī)成像模型如圖2所示，三維空間坐標(biāo)zyx),,(和深度圖的像素坐標(biāo)dvu),,(的對(duì)應(yīng)關(guān)系為公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相機(jī)在兩軸X，Y上的焦距，),(yxcc指攝像機(jī)的光圈中心。Kinect相機(jī)的不同視角變換可以看作三維空間的旋轉(zhuǎn)，如圖3所示：圖2Kinect攝像機(jī)成像模型Fig.2Kinectcameraimagingmodel圖3Kinect攝像機(jī)視角變化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度圖像數(shù)據(jù)的獲取

基于光流和深度運(yùn)動(dòng)圖的人體動(dòng)作識(shí)別算法研究8音頻處理：通過一組分布在Kinect設(shè)備兩側(cè)的四元麥克風(fēng)陣列，可以捕捉到設(shè)備有效接收范圍內(nèi)的各種信息。2.1.2Kinect傳感器的工作原理Kinect傳感器在待測(cè)的三維空間里，通過發(fā)射結(jié)構(gòu)光并進(jìn)行編碼來捕捉該三維空間深度信息。Kinect設(shè)備上的紅外投影機(jī)所發(fā)射出的紅外激光，會(huì)在三維空間或物體表面上形成不同大小的激光散斑，再通過紅外COMS攝像頭接收不同大小散斑所反射的紅外激光，最后，通過散斑之間的關(guān)聯(lián)產(chǎn)生相應(yīng)的峰值。進(jìn)而計(jì)算出三維空間或物體的深度值。Kinect攝像機(jī)成像模型如圖2所示，三維空間坐標(biāo)zyx),,(和深度圖的像素坐標(biāo)dvu),,(的對(duì)應(yīng)關(guān)系為公式（2-1）：xxfcuzx，yyfcvzy，dz（2-1）其中xf，yf指相機(jī)在兩軸X，Y上的焦距，),(yxcc指攝像機(jī)的光圈中心。Kinect相機(jī)的不同視角變換可以看作三維空間的旋轉(zhuǎn)，如圖3所示：圖2Kinect攝像機(jī)成像模型Fig.2Kinectcameraimagingmodel圖3Kinect攝像機(jī)視角變化Fig.3Kinectcameraperspectivechange2.1.3Kinect彩色和深度圖像數(shù)據(jù)的獲取

【參考文獻(xiàn)】：
期刊論文
[1]基于深度LSTM與雙流融合網(wǎng)絡(luò)的行為識(shí)別[J]. 馬翠紅,毛志強(qiáng),崔金龍,王毅.  計(jì)算機(jī)工程與設(shè)計(jì). 2019(09)
[2]多視角深度運(yùn)動(dòng)圖的人體行為識(shí)別[J]. 劉婷婷,李玉鵬,張良.  中國圖象圖形學(xué)報(bào). 2019(03)
[3]有效視頻幀時(shí)間序池化的人體行為識(shí)別算法[J]. 鹿天然,于鳳芹,陳瑩.  計(jì)算機(jī)工程. 2018(12)
[4]基于視覺的人體行為識(shí)別算法研究綜述[J]. 陳煜平,邱衛(wèi)根.  計(jì)算機(jī)應(yīng)用研究. 2019(07)
[5]結(jié)合有序光流圖和雙流卷積網(wǎng)絡(luò)的行為識(shí)別[J]. 李慶輝,李艾華,王濤,崔智高.  光學(xué)學(xué)報(bào). 2018(06)
[6]基于深度學(xué)習(xí)的區(qū)域生態(tài)安全時(shí)空模擬與預(yù)測(cè)[J]. 陳工,李琦,金玲艷,梁賀明,Hamed Karimian,莫玉琴.  地球信息科學(xué)學(xué)報(bào). 2017(07)
[7]基于加速度信號(hào)和進(jìn)化RBF神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別[J]. 盧先領(lǐng),王洪斌,徐仙.  模式識(shí)別與人工智能. 2015(12)

碩士論文
[1]基于圖像序列的光流估計(jì)算法優(yōu)化與實(shí)現(xiàn)[D]. 孫萬祺.北京郵電大學(xué) 2019



本文編號(hào)：3357385