人體行為識別技術(shù)融合了計(jì)算機(jī)視覺、數(shù)字圖像處理、人體運(yùn)動學(xué)等多學(xué)科知識,對其研究可以促進(jìn)相關(guān)學(xué)科共同發(fā)展。同時其在人機(jī)交互、無人駕駛、智能機(jī)器人、智能監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用和巨大的經(jīng)濟(jì)價(jià)值。由于人體行為識別技術(shù)兼具理論意義與現(xiàn)實(shí)意義,其已成為計(jì)算機(jī)視覺領(lǐng)域中最為活躍的研究主題之一。準(zhǔn)確的獲取時空信息是人體行為識別的關(guān)鍵所在。目前主流的行為識別方法存在局限性,如不能提取最顯著的空間信息,不能消除背景變化的對識別準(zhǔn)確度的影響等。此外,當(dāng)前方法還存在著提取時間信息時只關(guān)注于“幀間運(yùn)動”或“視頻全局運(yùn)動”的問題。本文為解決上述問題,重點(diǎn)研究如何獲準(zhǔn)確的提取時空信息,提出了兩種基于時空信息的人體行為識別方法:針對當(dāng)前行為識別模型提取時間信息時易受背景干擾及不能提取最顯著的空間信息的問題,本文提出了運(yùn)動人體關(guān)注推理模型。該模型受人腦初級視覺皮層啟發(fā),使用時間通路和空間通路分別提取視頻中的時間信息與空間信息。結(jié)合Focus Block、卷積神經(jīng)網(wǎng)絡(luò)和長短記憶時間網(wǎng)絡(luò)的優(yōu)點(diǎn)從視頻序列中提取時間信息,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與全局最大池化操作提取視頻中最為顯著的空間信息,時間信息與空間信息提取出來后經(jīng)過拼接層... 

【文章來源】：湘潭大學(xué)湖南省

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

iDT和DT算法特征采樣示例

3圖1.1坐姿的MEI(左)和MHI(右)特征除全局特征外，行為特征也可以用基于局部特征描述子的網(wǎng)格來描述，將一個網(wǎng)格中所包含的局部鄰域像素視為一個特征塊，這樣就減少了時間和空間的局部變化的影響。在經(jīng)典行為識別的iDT[6]算法中，和DT[7]算法一致主要采用了HOG特征（HistogramofOrientedGradient），HOF特征(HistogramsofOrientedOpticalFlow)和MBH特征(MotionBoundaryHistograms)這三種局部特征，如圖1.2[7]所示。HOG,即方向梯度直方圖，其為一種應(yīng)用于物體檢測的特征。通過對網(wǎng)格中梯度的方向進(jìn)行計(jì)算和統(tǒng)計(jì)，由此生成的直方圖即為HOG特征。在實(shí)際任務(wù)中，觀測目標(biāo)在相機(jī)成像平面的大小會隨著其距相機(jī)的遠(yuǎn)近而變化，光流特征的維度也會因此而產(chǎn)生變化，同時由于背景噪聲、尺度變化和目標(biāo)運(yùn)動方向均會對光流的計(jì)算產(chǎn)生較大影響。因此，有必要尋找一種既能在時域內(nèi)描述動作信息，又能對目標(biāo)尺度大小和運(yùn)動方向魯棒的基于光流的特征描述方法[8]，基于此需求提出了HOF特征。HOF與HOG類似，其通常用于行為識別任務(wù)中。通過對光流的方向分布進(jìn)行加權(quán)統(tǒng)計(jì)，獲得的光流方向直方圖即為HOF特征。通過分別將x方向上與y方向上的光流圖分別看作普通的灰度圖像，進(jìn)一步在x方向上與y方向上光流圖的梯度直方圖即為MBH特征。簡單地說MBH特征就是分別在圖像的x和y方向光流圖像上計(jì)算出來的HOG特征。圖1.2iDT和DT算法特征采樣示例

目前主流基于神經(jīng)網(wǎng)絡(luò)的行為識別方法主要由基于雙流神經(jīng)網(wǎng)絡(luò)、3D卷積神經(jīng)網(wǎng)絡(luò)、LRCN、此三種經(jīng)典方法的演變或改良方法[17-22]。近兩年來基于注意力的行為識別方法也進(jìn)入了人們的視線。基于雙流卷積神經(jīng)網(wǎng)絡(luò)的行為識別近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN，ConvolutionalNeuralNetworks）被廣泛用于檢測、分類、分割等計(jì)算機(jī)視覺任務(wù)中[23]。這些都是針對于靜態(tài)圖像的任務(wù)，其只能提取空間信息并不能很好的提取視頻序列中的時間信息。因此，KarenSimonyan[24]等人通過采取分別用兩個卷積網(wǎng)絡(luò)分別訓(xùn)練視頻幀和計(jì)算得來的光流圖，如圖1.3所示，分別獲取視頻中的空間信息和時間信息。此法很好的解決了視頻中時間信息獲取的難點(diǎn)，但缺點(diǎn)是光流圖的計(jì)算太耗時間，且用于訓(xùn)練光流圖的神經(jīng)網(wǎng)絡(luò)對設(shè)備的計(jì)算要求較高。圖1.3雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

【參考文獻(xiàn)】：
期刊論文
[1]基于動作主視圖和LSTM網(wǎng)絡(luò)模型的人體行為識別[J]. 盛敏,李蘭.  安慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020(01)
[2]高效3D密集殘差網(wǎng)絡(luò)及其在人體行為識別中的應(yīng)用[J]. 李梁華,王永雄.  光電工程. 2020(02)
[3]基于長短時記憶網(wǎng)絡(luò)及變體的跌倒檢測和人體行為識別系統(tǒng)[J]. 熊昕,鄭楊嬌子,張上.  信息通信. 2020(02)
[4]基于雙通道C3D的基建現(xiàn)場人體異常行為識別[J]. 吳冬梅,盧靜,蔣瑜.  信息技術(shù)與信息化. 2020(01)
[5]基于神經(jīng)網(wǎng)絡(luò)的人體動態(tài)行為智能識別方法[J]. 賈雙成,楊鳳萍.  科技通報(bào). 2020(01)
[6]基于深度學(xué)習(xí)的人體行為識別算法[J]. 韓雪平,吳甜甜.  數(shù)學(xué)的實(shí)踐與認(rèn)識. 2019(24)
[7]全卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 章琳,袁非牛,張文睿,曾夏玲.  計(jì)算機(jī)工程與應(yīng)用. 2020(01)
[8]基于深度卷積網(wǎng)絡(luò)與空洞卷積融合的人群計(jì)數(shù)[J]. 盛馨心,蘇穎,汪洋.  上海師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(05)
[9]注意力機(jī)制改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測[J]. 李紅艷,李春庚,安居白,任俊麗.  中國圖象圖形學(xué)報(bào). 2019(08)
[10]一種融合全局時空特征的CNNs動作識別方法[J]. 王珂,武軍,周天相,李瑞峰.  華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(12)

碩士論文
[1]基于LSTM的人體行為識別方法研究[D]. 韓麗麗.北京交通大學(xué) 2019
[2]基于強(qiáng)化學(xué)習(xí)的手語視頻翻譯[D]. 張之昊.中國科學(xué)技術(shù)大學(xué) 2019
[3]用于家用安防機(jī)器人的人體檢測、跟蹤和身份識別系統(tǒng)[D]. 王琛.北京工業(yè)大學(xué) 2017
[4]基于局部特征編碼的人體再識別[D]. 李君楠.上海交通大學(xué) 2016
[5]視頻人體行為識別中的特征編碼[D]. 王先中.上海交通大學(xué) 2015



本文編號：3339888