人體行為識別一直是計算機視覺研究的熱點,被廣泛應用于醫(yī)療康復訓練、智慧交通、人機交互等眾多領域,應用前景非常廣泛,具有很大的研究價值。但由于視頻維度較高、處理比較復雜,且模型識別精度不高等特點,需要提出了相應的策略進行改進。本文針對LRCN和雙流網(wǎng)絡,提出了兩種網(wǎng)絡模型結構,一種是在LRCN的基礎上提出的比較簡單的串聯(lián)式網(wǎng)絡,另一種是在雙流網(wǎng)絡的基礎上,提出了一種融合策略以及提取全局時間信息的方法。本文的主要工作如下:（1）總結并分析了人體行為識別的數(shù)據(jù)集和常用方法,并進行了一定的歸類處理。并對深度學習的一些常用基礎理論知識進行了一定的總結歸納。（2）在LRCN的基礎上,提出了一種基于CNN、Bi-LSTM、MLP的串聯(lián)式網(wǎng)絡架構的人體行為識別方法。在視頻預處理時采用了平均稀疏下采樣的方法,可以有效的解決視頻無法直接輸入卷積的問題,同時又能有效的降低時間復雜度,減少模型訓練和前向傳播的時間,另外,區(qū)別于其他模型僅使用LSTM,采用Bi-LSTM能同時學習到視頻序列的“順序”和“逆序”信息。（3）在雙流網(wǎng)絡的基礎上,提出了一種基于雙流網(wǎng)絡和Bi-GRU的并聯(lián)式網(wǎng)絡架構的人體行為識別方法,... 

【文章來源】：廣東工業(yè)大學廣東省

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【部分圖文】：

視頻中的運動軌跡示意圖

第一章 緒論3 基于深度學習的人體行為識別人工特征并不能保證能夠提取視頻中足夠多的有效信息，而深度學習的在于：不在視頻中定義特征并提取定義的人工特征，讓模型自己從原學習有價值的信息。當然深度學習方法[22]也會適當引入一些人工特征些信息的不足，從效果上而言，該方法一般優(yōu)于傳統(tǒng)方法，目前成為流方向。由于深度學習中提取圖視頻的空間信息比較簡單，使用卷積即可實現(xiàn)，的研究點在于如何有效提取視頻中的時間信息，并且如何把時間信息息進行融合也是該方向研究的重點內容。從模型的網(wǎng)絡結構看，可以型分為串聯(lián)式網(wǎng)絡和并聯(lián)式網(wǎng)絡，這有點像電路的串聯(lián)和并聯(lián)。

廣東工業(yè)大學碩士學位論文。Wang X 等人[48]采用 3D-CNN 提取時間信息，再使用 LSTM 進行融合。不于 3D-CNN 的行為識別最經(jīng)典的模型是 Du Tran 等人[49]提出的 C3D,但是由-CNN 只能獲取固定長度的時間信息，不能提取整個視頻的時間信息，所以很大的發(fā)展空間。另一種非標準的串聯(lián)式網(wǎng)絡是 Karpathy A 等人[50]提出來單的采用 CNN 提取時間信息，但是為了提取空間信息，提出了晚融合、早和慢融合策略，不過這種方法相比于上述兩種方法精度低，優(yōu)勢不大，屬期探索的一種網(wǎng)絡模型。

【參考文獻】：
期刊論文
[1]基于視覺的人體行為識別算法研究綜述[J]. 陳煜平,邱衛(wèi)根.  計算機應用研究. 2019(07)



本文編號：2958762