行為識別是計算機視覺領(lǐng)域中的一個重要方向,也是近年來隨著深度學(xué)習(xí)浪潮興起的一個研究熱點。行為識別技術(shù)以圖片、視頻信息為基礎(chǔ),提取其中時空特征進行學(xué)習(xí)建模,從而對目標(biāo)當(dāng)前的行為動作進行判別,以方便決策人員快速反應(yīng)并采取相應(yīng)措施。當(dāng)前的行為識別技術(shù)及其相關(guān)研究主要針對人類行為,人類行為定義較為精確,可辨識度高,數(shù)據(jù)集充足,在近幾年人類行為識別技術(shù)已經(jīng)取得了可喜的進展。與人類行為識別方法研究相比,針對大熊貓的行為識別研究存在著如下亟待解決的問題:（1）現(xiàn)實中大熊貓行為數(shù)據(jù)匱乏,可以獲取到的視頻數(shù)據(jù)同質(zhì)化問題嚴(yán)重。（2）目前沒有一個標(biāo)準(zhǔn)的數(shù)據(jù)集用來評價熊貓行為識別效果。（3）由于體態(tài)、環(huán)境噪音等多種影響因素,大熊貓姿態(tài)模糊、可辨識度低,增加了對這類生物識別的困難（4）從長期發(fā)展來看,大熊貓行為識別技術(shù)對時間性能有一定要求。針對上述問題,本文提出了兩種基于Transformer模型的大熊貓行為識別算法。一種是基于空時信息模型的CNN-Transformer算法,該算法利用卷積神經(jīng)網(wǎng)絡(luò)提取視頻幀的空間特征圖,將特征圖壓縮為向量并輸入到Transformer的encoder部分實現(xiàn)時序建模;另一種是... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學(xué)位級別】：碩士

【部分圖文】：

iDT流程

電子科技大學(xué)碩士學(xué)位論文單幀圖像分類在卷積神經(jīng)網(wǎng)絡(luò)興起后已經(jīng)有了很不錯的進展，相比單幀，視頻分類多出了一個時序信息，這就為分類增添了難度。CNN+RNN 模路就是利用擅長時序建模的 RNN 模型來捕捉視頻的時序信息，首先用圖像的特征，再將特征壓縮為一維向量，再將向量送入 RNN 模型進行一個語義模型。運用訓(xùn)練好的模型時，將一個序列的圖像向量逐個送入語會得到一系列輸出，取最后一個輸出可以得到視頻的分類結(jié)果。3D 卷積模型主要是基于 3D 卷積運算，相對于 2D 卷積運算，3D 卷積運個時間維度的卷積，具體表現(xiàn)在視頻處理上就是可以一次性卷積多張圖片-3。

第二章 行為識別相關(guān)基礎(chǔ)理論知識雙流法將網(wǎng)絡(luò)分為兩個部分，一個部分稱為空間流卷積網(wǎng)絡(luò)，另一個部分稱為時間流卷積網(wǎng)絡(luò)。空間流卷積網(wǎng)絡(luò)本質(zhì)上跟普通的基于 2D 卷積網(wǎng)絡(luò)的圖片分類沒有太大區(qū)別，只是做多張圖片的分類再平均結(jié)果；時間流卷積網(wǎng)絡(luò)負(fù)責(zé)對視頻進行時序建模，其主要利用了光流場來描述視頻的時序信息，再將光流場作為輸入賦予2D 卷積網(wǎng)絡(luò)進行分類。最后再將兩個部分的分類結(jié)果進行一個融合。雙流法的流程如圖 2-4 所示。


本文編號：3353089