隨著計算機視覺技術近幾年快速發(fā)展,以及各種視頻數(shù)據(jù)急劇增加,使得基于視頻數(shù)據(jù)的視覺分析成為研究熱點。目前主流的卷積神經(jīng)網(wǎng)絡模型對長時程視頻數(shù)據(jù)的建模能力有限,行為識別方法也通常采用平均抽樣的策略將長時程視頻數(shù)據(jù)轉換為少數(shù)幀圖像,不可避免的造成信息缺失。另一方面,視頻片段中存在著大量冗余的圖像幀,如果不加區(qū)別的進行處理,則會增加計算復雜度。因此如何既保留視頻序列的關鍵信息又合理地降低處理的數(shù)據(jù)量是面向視頻的行為識別中一個需要亟待解決的難題。為此,本文提出了基于注意力機制的長時程特征融合方法,用以提高視頻行為識別的有效性和精確性。本文主要工作內容如下:(1)對常用的視頻行為識別算法進行調研和分析,分別對基于淺層特征的方法和基于深度特征的方法的研究現(xiàn)狀進行介紹,并對其中經(jīng)典的視頻行為識別算法進行了實驗重現(xiàn),對比了現(xiàn)有算法識別精度,分析了現(xiàn)有識別算法的優(yōu)劣勢;(2)提出了面向視頻行為的特征學習方法,在綜合分析當前各個算法的優(yōu)勢與劣勢后,采用雙流網(wǎng)絡模型,即將RGB圖像和光流的雙流網(wǎng)絡應用于視頻行為領域;為了進一步提高行為識別的正確率,彌補雙流模型中有限視頻幀帶來的信息損失,本文通過利用長時程視...

【文章頁數(shù)】：62 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
專用術語注釋表
第一章 緒論
    1.1 課題研究的目的與意義
    1.2 視頻行為識別研究現(xiàn)狀
    1.3 常用行為識別庫
    1.4 研究內容
    1.5 論文結構
第二章 常用的行為識別方法
    2.1 基于淺層特征方法
        2.1.1 淺層特征提取方法
        2.1.2 特征編碼方式
        2.1.3 密集軌跡算法和改進方法
    2.2 基于深度學習方法
        2.2.1 雙流方法
        2.2.2 3D卷積方法
        2.2.3 CNN+LSTM結構融合雙流特征
    2.3 實驗結果與分析
第三章 基于注意力機制的長時程特征融合行為識別方法
    3.1 網(wǎng)絡結構
    3.2 視頻預處理
        3.2.1 光流算法
        3.2.2 數(shù)據(jù)擴增
    3.3 時空特征提取模塊
        3.3.1 空間特征提取模塊
        3.3.2 時間特征提取模塊
    3.4 注意力機制模塊
        3.4.1 注意力機制的本質
        3.4.2 注意力機制的設計
    3.5 長時程信息融合模塊
第四章 基于本文方法的實驗結果及分析
    4.1 訓練和測試策略
    4.2 對比實驗
        4.2.1 評估預訓練帶來的影響
        4.2.2 評估注意力機制不同參數(shù)帶來的影響
        4.2.3 評估視頻片段數(shù)量和片段幀采樣數(shù)量帶來的影響
        4.2.4 評估不同的融合機制
        4.2.5 與最先進水平的對比
第五章 總結與展望
    5.1 全文總結
    5.2 研究展望
參考文獻
附錄1 攻讀碩士學位期間撰寫的論文
附錄2 攻讀碩士學位期間申請的專利
附錄3 攻讀碩士學位期間參加的科研項目
致謝



本文編號：3759316