伴隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展,人體行為識(shí)別逐漸成為計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)。目前相關(guān)行為識(shí)別技術(shù)已經(jīng)廣泛應(yīng)用于監(jiān)控、視頻游戲、人機(jī)交互、醫(yī)療保健等方面。早期人體行為識(shí)別大量采用基于彩色RGB圖像的識(shí)別方法,但受光照等諸多因素,對(duì)識(shí)別結(jié)果影響較大。利用深度相機(jī)得到的深度圖像和骨骼數(shù)據(jù)可以很好地解決諸如光照問題,同時(shí)對(duì)背景顏色的變化不敏感,大量采用上述數(shù)據(jù)進(jìn)行人體行為識(shí)別的方法被提出,促進(jìn)了行為識(shí)別的發(fā)展。深度相機(jī)可以獲得RGB圖像和深度圖,同時(shí)從深度圖中提取骨骼數(shù)據(jù)。為了利用更多深度圖像和骨骼數(shù)據(jù)的動(dòng)作信息提高動(dòng)作識(shí)別率,本文基于深度相機(jī)提取的骨骼數(shù)據(jù)和深度圖像對(duì)人體動(dòng)作識(shí)別方法進(jìn)行以下研究,提出了以下兩種人體行為識(shí)別算法。第一,提出一種改進(jìn)的基于深度圖像和骨骼數(shù)據(jù)的動(dòng)作識(shí)別方法,該方法使用深度圖像序列生成運(yùn)動(dòng)歷史點(diǎn)云并提取全局特征,同時(shí)從三維骨骼信息中提取人體骨骼關(guān)節(jié)點(diǎn)的相對(duì)位移特征和相對(duì)距離特征,使用VLAD算法歸一化生成骨骼特征。對(duì)得到的點(diǎn)云特征和骨骼特征進(jìn)行特征融合,構(gòu)建出一種多模特征融合的動(dòng)作識(shí)別方法。在MSR-Action3D和UTKinect-Action3D兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)... 

【文章來源】：中國民航大學(xué)天津市

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

路邊監(jiān)控?cái)z像頭

中國民航大學(xué)碩士學(xué)位論文2（3）醫(yī)療輔助在新型流感的重創(chuàng)下，為了避免醫(yī)護(hù)人員被感染，人體行為識(shí)別在醫(yī)療輔助上也有許多應(yīng)用場景。通過分析老人的動(dòng)作或者身體狀態(tài)，判斷出老人是否出現(xiàn)危險(xiǎn)，自動(dòng)識(shí)別出需要幫助的病人并及時(shí)向護(hù)士發(fā)送信號(hào)，使病人在危難之間的關(guān)鍵時(shí)刻得到有效的救治，避免因護(hù)士沒有及時(shí)關(guān)注到病人病情惡化，造成病人未及時(shí)獲得救助進(jìn)而產(chǎn)生嚴(yán)重后果。同時(shí)可以利用檢測技術(shù)，對(duì)病人是否戴口罩進(jìn)行檢測，如果沒有，則發(fā)出警告。這些應(yīng)用都可以大大減輕醫(yī)護(hù)人員的負(fù)擔(dān)，提高護(hù)士的工作效率。（4）人機(jī)交互人機(jī)交互方面。近年來，基于不同數(shù)據(jù)的人體動(dòng)作分類的研究越來越多，出現(xiàn)了基于不同數(shù)據(jù)源：深度圖或RGB視頻的3D人體關(guān)節(jié)的人體動(dòng)作分類的方法以及特征表示方法。受益于這些技術(shù)的發(fā)展，游戲和人機(jī)交互等應(yīng)用蓬勃發(fā)展。例如，人機(jī)交互，游戲控制和智能監(jiān)視。圖1-2展示的是人機(jī)交互場景。圖1-2人機(jī)交互場景1.2國內(nèi)外研究現(xiàn)狀Johansson[3]教授在70年代的motionlightdisplays實(shí)驗(yàn)成功引起了大家的關(guān)注。隨著計(jì)算機(jī)技術(shù)的高科技快速發(fā)展，使得越來越多的學(xué)者開始深入研究動(dòng)作識(shí)別進(jìn)行。進(jìn)入21世紀(jì)后，國內(nèi)外高校實(shí)驗(yàn)室都非常重視對(duì)人體行為識(shí)別的研究。每年的重大科研進(jìn)展都記錄在著名學(xué)術(shù)會(huì)議比如CVPR、ICCV和著名國際期刊比如TPAMI、IJCV。早期基于RGB數(shù)據(jù)的動(dòng)作識(shí)別[4-9]涉及復(fù)雜的照明條件和雜亂的背景，隨著成像技術(shù)在實(shí)時(shí)捕獲深度信息方面的快速發(fā)展，人們?cè)絹碓疥P(guān)注利用深度傳感器生成的深度數(shù)據(jù)解決

每個(gè)框架上的骨架關(guān)節(jié)由修改的球面坐標(biāo)系內(nèi)的3D關(guān)節(jié)位置（HOJ3D）的直方圖表示。這些HOJ3D聚集成視覺詞，其時(shí)間演化由離散隱馬爾可夫模型（HMM）建模。Oreifej等人[15]將時(shí)空骨骼關(guān)節(jié)作為信息最豐富的骨骼關(guān)節(jié)序列。在每個(gè)時(shí)刻，選擇與當(dāng)前動(dòng)作高度相關(guān)并且信息量最大的骨架關(guān)節(jié)來表示當(dāng)前整體骨骼。Vemulapalli等人[16]使用3D空間中的旋轉(zhuǎn)和平移來模擬各種骨架關(guān)節(jié)之間的3D幾何關(guān)系，然而其手工提取的特征無法有效地模擬復(fù)雜的時(shí)空分布。1.2.3基于深度學(xué)習(xí)的識(shí)別方法近些年來，深度學(xué)習(xí)在模式識(shí)別領(lǐng)域的應(yīng)用越來越廣泛，圖1-3所示為深度學(xué)習(xí)識(shí)別動(dòng)作流程。圖1-3深度學(xué)習(xí)識(shí)別動(dòng)作流程Simonyan[17]等人提出了一個(gè)雙流CNN結(jié)合空間和時(shí)間網(wǎng)絡(luò)的架構(gòu)。他們利用每個(gè)幀作為空間網(wǎng)絡(luò)的輸入并進(jìn)行累積幀間光流作為時(shí)間網(wǎng)絡(luò)的輸入。wang等人[18]作為深度運(yùn)動(dòng)圖（DMM）的投影深度圖之間的累積運(yùn)動(dòng)，DMM用作CNN的輸入來進(jìn)行動(dòng)作分類。這些方法將動(dòng)作序列轉(zhuǎn)換為圖像。盡管效率很高，但這些算法大大壓縮原始數(shù)據(jù)，導(dǎo)致丟失不同的時(shí)空信息。Wang等在三個(gè)正交平面上投影骨架關(guān)節(jié)的局部坐標(biāo)。在每個(gè)平面上將骨骼關(guān)節(jié)的2D軌跡形成彩色圖像，其中時(shí)間標(biāo)簽和關(guān)節(jié)標(biāo)簽被映射到顏色。生成的圖像直接反映關(guān)節(jié)的局部坐標(biāo)，并隱含地涉及時(shí)間演變和關(guān)節(jié)標(biāo)簽。Du等人[19]根據(jù)物理連接在每個(gè)幀中連接骨架關(guān)節(jié)，并使用每個(gè)關(guān)節(jié)的三個(gè)分量(x,y,z)作為每個(gè)像素的相應(yīng)三個(gè)分量(R,G,B)。生成的圖像直接反映時(shí)間演變和關(guān)節(jié)標(biāo)簽，隱含地涉及骨架關(guān)節(jié)的局部坐標(biāo)。

【參考文獻(xiàn)】：
期刊論文
[1]一種基于RGB-D特征融合的人體行為識(shí)別框架[J]. 毛峽,王嵐,李建軍.  計(jì)算機(jī)科學(xué). 2018(08)
[2]局部分布信息增強(qiáng)的視覺單詞描述與動(dòng)作識(shí)別[J]. 張良,魯夢夢,姜華.  電子與信息學(xué)報(bào). 2016(03)
[3]簡單細(xì)胞方位選擇性感受野組織形成的神經(jīng)網(wǎng)絡(luò)模型[J]. 楊謙,齊翔林,汪云九.  中國科學(xué)C輯:生命科學(xué). 2000(04)

碩士論文
[1]基于3D激光點(diǎn)云的無人車城市環(huán)境SLAM問題研究[D]. 李玉.北京理工大學(xué) 2016



本文編號(hào)：2910425