發(fā)布時間：2021-02-17 01:28

　　互聯(lián)網(wǎng)的發(fā)展使視頻數(shù)據(jù)呈爆炸式增長,有效地處理和分析海量視頻數(shù)據(jù)成為一項重要的任務(wù)。充分利用視頻數(shù)據(jù),可應用于視頻安全監(jiān)控、視頻檢索與分類、人機交互和無人駕駛等方面應用。視頻行為識別具有很重要的研究意義,并且在國內(nèi)外取得了許多研究成果�；谝曨l的行為分類方法有傳統(tǒng)方法和深度學習方法兩大類。然而傳統(tǒng)的人工特征方法面對成百上千的海量視頻數(shù)據(jù)存在諸多局限性。隨著計算機硬件水平的不斷提高,深度學習方法在領(lǐng)域中得到了廣泛的使用和研究。卷積神經(jīng)網(wǎng)絡(luò)在處理圖像分類方面性能很好,但不適用于加入了時間序列的視頻數(shù)據(jù)處理�；陔p流神經(jīng)網(wǎng)絡(luò)的方法把時間特征和空間特征分開提取,兩個網(wǎng)絡(luò)之間沒有學習到對應的像素關(guān)系,容易丟失動作識別線索。并且受到了時間尺度限制,無法識別長時間尺度視頻�；�3D卷積的C3D網(wǎng)絡(luò)直接提取了時空特征,計算速度快,符合視頻識別要求,但大量的參數(shù)和計算量使得網(wǎng)絡(luò)難以訓練。針對上述問題本文提出一種時空卷積神經(jīng)網(wǎng)絡(luò)視頻人體識別算法。為了解決雙通道網(wǎng)絡(luò)無法利用時空特征問題,本文對雙流神經(jīng)網(wǎng)絡(luò)進行改進,把時域網(wǎng)絡(luò)和空域網(wǎng)絡(luò)經(jīng)過卷積計算后提取的特征圖加權(quán)融合,通過實驗分析討論了融合位置的影響。為了... 

【文章來源】：湘潭大學湖南省

【文章頁數(shù)】：54 頁

【學位級別】：碩士

【部分圖文】：

視頻人

8圖2.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、下采樣（池化層）、全連接層和輸出層組成。卷積層和下采樣層的交替組合可構(gòu)建不同深度的網(wǎng)絡(luò)。根據(jù)不同情況下的需求全連接層后面可接softmax層或SVM算法對網(wǎng)絡(luò)的輸出以概率形式表達出來，輸出最后的分類結(jié)果。(1)卷積運算卷積運算是卷積神經(jīng)網(wǎng)絡(luò)中的主要計算部分。CNN的卷積層操作即對圖像的局部感受野進行卷積操作。卷積層中下一層的神經(jīng)元無需和上一層所有神經(jīng)元連接，只需連接部分神經(jīng)元。然后將濾波器計算的局部加權(quán)和傳遞給激活函數(shù)（Relu）得出不同通道的特征圖。CNN的權(quán)值共享特點使卷積層的每組連接權(quán)重相同，卷積操作去掉了大量多余的參數(shù)，減小網(wǎng)絡(luò)的復雜度，來達到更好的訓練效果。卷積層中濾波器的個數(shù)正好對應了特征圖的通道數(shù)。因此運算過后可以發(fā)現(xiàn)，濾波器的深度與特征圖的深度是一致的。卷積運算在向前傳播過程中，濾波器根據(jù)人為設(shè)定的步幅（stride）沿著輸入圖像的寬度和高度滑動，在每個位置計算濾波器與輸入值的點積，最后產(chǎn)生一個二維矩陣特征圖。計算如圖2.3所示。輸入6×6的圖像，選擇3×3的濾波器（Filter），步幅(Stride)設(shè)置為1，輸出矩陣中第一個元素的計算過程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2圖2.3卷積運算

8圖2.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、下采樣（池化層）、全連接層和輸出層組成。卷積層和下采樣層的交替組合可構(gòu)建不同深度的網(wǎng)絡(luò)。根據(jù)不同情況下的需求全連接層后面可接softmax層或SVM算法對網(wǎng)絡(luò)的輸出以概率形式表達出來，輸出最后的分類結(jié)果。(1)卷積運算卷積運算是卷積神經(jīng)網(wǎng)絡(luò)中的主要計算部分。CNN的卷積層操作即對圖像的局部感受野進行卷積操作。卷積層中下一層的神經(jīng)元無需和上一層所有神經(jīng)元連接，只需連接部分神經(jīng)元。然后將濾波器計算的局部加權(quán)和傳遞給激活函數(shù)（Relu）得出不同通道的特征圖。CNN的權(quán)值共享特點使卷積層的每組連接權(quán)重相同，卷積操作去掉了大量多余的參數(shù)，減小網(wǎng)絡(luò)的復雜度，來達到更好的訓練效果。卷積層中濾波器的個數(shù)正好對應了特征圖的通道數(shù)。因此運算過后可以發(fā)現(xiàn)，濾波器的深度與特征圖的深度是一致的。卷積運算在向前傳播過程中，濾波器根據(jù)人為設(shè)定的步幅（stride）沿著輸入圖像的寬度和高度滑動，在每個位置計算濾波器與輸入值的點積，最后產(chǎn)生一個二維矩陣特征圖。計算如圖2.3所示。輸入6×6的圖像，選擇3×3的濾波器（Filter），步幅(Stride)設(shè)置為1，輸出矩陣中第一個元素的計算過程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2圖2.3卷積運算

【參考文獻】：
期刊論文
[1]面向人體動作識別的局部特征融合時間卷積網(wǎng)絡(luò)[J]. 宋震,周元峰,賈金公,辛士慶,劉毅.  計算機輔助設(shè)計與圖形學學報. 2020(03)
[2]基于改進3D卷積神經(jīng)網(wǎng)絡(luò)的行為識別[J]. 張小俊,李辰政,孫凌宇,張明路.  計算機集成制造系統(tǒng). 2019(08)
[3]基于雙流卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別方法[J]. 劉云,張堃,王傳旭.  計算機系統(tǒng)應用. 2019(07)
[4]基于深度學習的視頻中人體動作識別進展綜述[J]. 羅會蘭,童康,孔繁勝.  電子學報. 2019(05)
[5]一種融合全局時空特征的CNNs動作識別方法[J]. 王珂,武軍,周天相,李瑞峰.  華中科技大學學報(自然科學版). 2018(12)
[6]基于最優(yōu)Atlas多模態(tài)圖像的非剛性配準分割算法[J]. 石躍祥,陳才.  光學學報. 2019(04)
[7]多尺度輸入3D卷積融合雙流模型的行為識別方法[J]. 宋立飛,翁理國,汪凌峰,夏旻.  計算機輔助設(shè)計與圖形學學報. 2018(11)
[8]融合空間-時間雙網(wǎng)絡(luò)流和視覺注意的人體行為識別[J]. 劉天亮,譙慶偉,萬俊偉,戴修斌,羅杰波.  電子與信息學報. 2018(10)
[9]結(jié)合有序光流圖和雙流卷積網(wǎng)絡(luò)的行為識別[J]. 李慶輝,李艾華,王濤,崔智高.  光學學報. 2018(06)
[10]非等間隔采樣信號傅里葉頻譜分析方法[J]. 方建超,毛雪松.  計算機應用. 2016(02)

碩士論文
[1]基于深度學習的視頻人體行為識別研究[D]. 董博源.西安理工大學 2019
[2]基于深度學習的視頻行為識別研究[D]. 石仕偉.浙江大學 2018



本文編號：3037210