視頻中的組群行為識(shí)別是一項(xiàng)具有挑戰(zhàn)性的任務(wù),現(xiàn)已成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。組群行為相比于單人行為具有更復(fù)雜的結(jié)構(gòu),組群內(nèi)部之間的干擾、遮擋以及人與人之間的交互關(guān)系等都會(huì)對(duì)我們最終的識(shí)別結(jié)果產(chǎn)生影響,因此,并不能直接將單人行為識(shí)別技術(shù)應(yīng)用于組群行為識(shí)別任務(wù)中。目前,在組群行為識(shí)別方面主要面臨兩個(gè)難點(diǎn),一是如何利用復(fù)雜場(chǎng)景中的多重視覺線索進(jìn)行信息融合,以獲得更具區(qū)分性的特征;二是如何對(duì)群體中的情景人物進(jìn)行建模,以獲得視頻中的長(zhǎng)時(shí)序上下文關(guān)系。然而,以前的大多數(shù)方法都無法提供一個(gè)實(shí)際的解決方案來共同解決這兩個(gè)問題。因此,本文提出一種基于雙路TSN網(wǎng)絡(luò)(Temporal Segment Networks)架構(gòu)與LSTM網(wǎng)絡(luò)(Long Short-Term Memory Networks)的上下文建模框架,同時(shí)解決這兩個(gè)問題。對(duì)于前者,利用視頻中的多重視覺線索,不僅考慮外觀特征,還將運(yùn)動(dòng)特征考慮在內(nèi),為捕獲視頻中人物及場(chǎng)景的光流信息,本文采用雙流卷積神經(jīng)網(wǎng)絡(luò)TSN網(wǎng)絡(luò)來處理該問題,并將該框架擴(kuò)展到處理集體行為識(shí)別問題上。受基于傳統(tǒng)的全局與局部特征融合方法的啟發(fā),本文在關(guān)注局部信息的同時(shí),更加...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀及主要研究方法
        1.2.1 單人行為識(shí)別國(guó)內(nèi)外主要研究方法
        1.2.2 組群行為識(shí)別國(guó)內(nèi)外主要研究方法
        1.2.3 組群行為識(shí)別研究面臨的挑戰(zhàn)
    1.3 論文的主要內(nèi)容及結(jié)構(gòu)安排
第2章 行為識(shí)別中特征提取方法分析與總結(jié)
    2.1 基于傳統(tǒng)的特征提取方法
        2.1.1 全局特征
        2.1.2 局部特征
        2.1.3 全局與局部特征融合
    2.2 基于深度學(xué)習(xí)的特征提取方法
        2.2.1 CNN+LSTM網(wǎng)絡(luò)
        2.2.2 3DCNN神經(jīng)網(wǎng)絡(luò)
        2.2.3 雙流神經(jīng)網(wǎng)絡(luò)
    2.3 本章小結(jié)
第3章 基于TSN網(wǎng)絡(luò)與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的組群行為識(shí)別
    3.1 整體算法架構(gòu)
    3.2 數(shù)據(jù)預(yù)處理
        3.2.1 CAD數(shù)據(jù)集預(yù)處理
        3.2.2 光流特征預(yù)處理
    3.3 TSN特征提取
        3.3.1 TSN網(wǎng)絡(luò)架構(gòu)中各層的作用
        3.3.2 TSN多視覺線索的特征提取與融合
        3.3.3 TSN網(wǎng)絡(luò)的損失函數(shù)
    3.4 組群行為上下文時(shí)序建模及行為識(shí)別
        3.4.1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型工作原理
        3.4.2 組群行為上下文時(shí)序建模
        3.4.3 Softmax實(shí)現(xiàn)組群行為識(shí)別
    3.5 本章小結(jié)
第4章 實(shí)驗(yàn)結(jié)果與分析
    4.1 數(shù)據(jù)集簡(jiǎn)介和拆分安排
        4.1.1 數(shù)據(jù)集簡(jiǎn)介
        4.1.2 訓(xùn)練數(shù)據(jù)集的拆分安排
    4.2 實(shí)驗(yàn)內(nèi)容安排和結(jié)果分析
        4.2.1 實(shí)驗(yàn)環(huán)境及網(wǎng)絡(luò)參數(shù)初始化
        4.2.2 CAD1數(shù)據(jù)集上各基線模型實(shí)驗(yàn)結(jié)果與分析
        4.2.3 CAD1數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果與其他方法的比較
        4.2.4 CAD2數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果與其他方法的比較
    4.3 本章小結(jié)
第5章 總結(jié)與展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
攻讀碩士期間發(fā)表的論文



本文編號(hào)：3807303