人體行為識(shí)別是當(dāng)前一個(gè)熱門(mén)研究方向,已被廣泛應(yīng)用在各種基于視頻內(nèi)容的智能化領(lǐng)域。近年來(lái),深度學(xué)習(xí)在多個(gè)領(lǐng)域發(fā)展迅速,許多國(guó)內(nèi)外學(xué)者基于深度學(xué)習(xí)對(duì)人體行為識(shí)別展開(kāi)研究,并獲得了很大進(jìn)展。但視頻場(chǎng)景復(fù)雜多變,人體行為識(shí)別技術(shù)還面臨著很多挑戰(zhàn)。目前基于深度學(xué)習(xí)的行為識(shí)別方法還存在特征提取不充分、特征含有大量冗余信息以及單模態(tài)信息難以對(duì)視頻行為充分表達(dá)等問(wèn)題,因此,本文以雙流網(wǎng)絡(luò)為依據(jù),研究?jī)煞N人體行為識(shí)別模型來(lái)提高行為識(shí)別性能。本文的主要工作如下:1.針對(duì)雙流網(wǎng)絡(luò)對(duì)長(zhǎng)視頻序列建模效果差、特征提取不充分的問(wèn)題,提出了基于視頻分段和改進(jìn)殘差網(wǎng)絡(luò)的人體行為識(shí)別模型。為實(shí)現(xiàn)對(duì)長(zhǎng)視頻建模,在該模型中引入時(shí)間分段思想,對(duì)輸入視頻進(jìn)行等時(shí)分段,并在后期融合各分段預(yù)測(cè)得分,形成視頻級(jí)預(yù)測(cè)。其次,為提高網(wǎng)絡(luò)特征提取能力,對(duì)提取時(shí)空特征的Res Net-34網(wǎng)絡(luò)的殘差模塊進(jìn)行改進(jìn),引入了注意力-多路殘差模塊,將原殘差模塊中的Relu激活函數(shù)替換成了Mish激活函數(shù),在單條通路的結(jié)構(gòu)上增加了另外兩條并行的特征提取通路,并嵌入注意力機(jī)制,讓網(wǎng)絡(luò)關(guān)注到關(guān)鍵區(qū)域特征。此外,為進(jìn)一步提高行為識(shí)別性能,選取每個(gè)片段中圖像信...

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 基于傳統(tǒng)方法的行為識(shí)別研究現(xiàn)狀
        1.2.2 基于深度學(xué)習(xí)的行為識(shí)別研究現(xiàn)狀
    1.3 本文研究?jī)?nèi)容
    1.4 論文結(jié)構(gòu)安排
第二章 人體行為識(shí)別基礎(chǔ)
    2.1 深度學(xué)習(xí)技術(shù)基礎(chǔ)
        2.1.1 神經(jīng)元
        2.1.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.3 循環(huán)神經(jīng)網(wǎng)絡(luò)
    2.2 基于深度學(xué)習(xí)的經(jīng)典人體行為識(shí)別方法
        2.2.1 基于雙流網(wǎng)絡(luò)的人體行為識(shí)別方法
        2.2.2 基于RNN的人體行為識(shí)別方法
        2.2.3 基于3D卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法
    2.3 注意力機(jī)制
        2.3.1 注意力機(jī)制概述
        2.3.2 SE模塊
        2.3.3 CBAM模塊
    2.4 人體行為識(shí)別常用數(shù)據(jù)集
    2.5 本章小結(jié)
第三章 基于視頻分段和改進(jìn)殘差網(wǎng)絡(luò)的人體行為識(shí)別
    3.1 視頻預(yù)處理
        3.1.1 片段關(guān)鍵幀提取
        3.1.2 光流提取
        3.1.3 數(shù)據(jù)增強(qiáng)
    3.2 殘差網(wǎng)絡(luò)
        3.2.1 殘差模塊
        3.2.2 ResNet-34網(wǎng)絡(luò)
    3.3 人體行為識(shí)別模型
    3.4 改進(jìn)ResNet-34網(wǎng)絡(luò)
        3.4.1 Mish激活函數(shù)
        3.4.2 CA模塊
        3.4.3 注意力-多路殘差模塊
    3.5 片段融合和時(shí)空融合
    3.6 實(shí)驗(yàn)及結(jié)果分析
        3.6.1 數(shù)據(jù)集
        3.6.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置
        3.6.3 實(shí)驗(yàn)分析
    3.7 本章小結(jié)
第四章 基于GRU和多模態(tài)信息融合的人體行為識(shí)別
    4.1 人體骨骼圖提取
    4.2 人體行為識(shí)別模型
    4.3 GRU網(wǎng)絡(luò)
    4.4 多模態(tài)信息融合
    4.5 實(shí)驗(yàn)及結(jié)果分析
        4.5.1 數(shù)據(jù)集
        4.5.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置
        4.5.3 實(shí)驗(yàn)分析
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 工作總結(jié)
    5.2 未來(lái)展望
參考文獻(xiàn)
附錄1 攻讀碩士學(xué)位期間申請(qǐng)的專利
致謝



本文編號(hào)：3897397