隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展,視頻正成為人們獲取和交流信息的主要載體,其中視頻監(jiān)控越來越成為社會發(fā)展和人們生活不可或缺的一部分,如何使用計(jì)算機(jī)技術(shù)進(jìn)行視頻中的人類行為分析識別成為近年來的研究熱點(diǎn)。本文在以光流信號為運(yùn)動信息表征的傳統(tǒng)雙流卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,提出以幀間差分圖像序列作為時間流網(wǎng)絡(luò)輸入,運(yùn)用Res Net-18網(wǎng)絡(luò)結(jié)構(gòu)建立雙流網(wǎng)絡(luò)模型實(shí)現(xiàn)視頻中人體行為識別的方法。并對傳統(tǒng)雙流網(wǎng)絡(luò)的數(shù)據(jù)提取方法進(jìn)行了優(yōu)化,保證了數(shù)據(jù)間的信息對應(yīng),同時,提出將Adam優(yōu)化器與傳統(tǒng)的高維特征分類可視化算法T-sne相結(jié)合對幀間差分的卷積特征進(jìn)行分類可視化。本文主要研究如下:針對光流信號的提取需要大量計(jì)算資源和時間消耗從而影響傳統(tǒng)雙流卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行效率的情況,本文提出計(jì)算幀間差分圖像序列來表征視頻內(nèi)的運(yùn)動信息,并將其作為雙流卷積神經(jīng)網(wǎng)絡(luò)中時間流網(wǎng)絡(luò)的輸入,同時,以灰度圖像序列作為空間流網(wǎng)絡(luò)輸入減少樣本數(shù)據(jù)量。本文建立小樣本數(shù)據(jù)集并運(yùn)用VGG結(jié)構(gòu)建立雙流網(wǎng)絡(luò)對人體動作識別進(jìn)行測試驗(yàn)證了差分圖像作為網(wǎng)絡(luò)輸入的有效性。在此基礎(chǔ)上,為了在大數(shù)據(jù)集上進(jìn)行動作識別以及保證網(wǎng)絡(luò)的高效性,雙流卷積神經(jīng)網(wǎng)絡(luò)的時間...

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景以及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文研究的主要工作
    1.4 論文結(jié)構(gòu)
第2章 卷積神經(jīng)網(wǎng)絡(luò)
    2.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.1.1 神經(jīng)元
        2.1.2 激活函數(shù)
        2.1.3 損失函數(shù)
    2.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.2.1 卷積層
        2.2.2 池化層
        2.2.3 全連接層
    2.3 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化算法
        2.3.1 前向和反向傳播
        2.3.2 隨機(jī)梯度下降
    2.4 網(wǎng)絡(luò)訓(xùn)練
        2.4.1 平臺框架
        2.4.2 數(shù)據(jù)預(yù)處理
        2.4.3 網(wǎng)絡(luò)模型設(shè)計(jì)
        2.4.4 過擬合解決方法
        2.4.5 遷移學(xué)習(xí)
    2.5 雙流卷積神經(jīng)網(wǎng)絡(luò)模型
    2.6 本章小節(jié)
第3章 基于雙流卷積神經(jīng)網(wǎng)絡(luò)的動作識別
    3.1 雙流卷積神經(jīng)網(wǎng)絡(luò)的基本原理
    3.2 雙流網(wǎng)絡(luò)的輸入研究
        3.2.1 光流信號
        3.2.2 TV-L1光流估計(jì)
        3.2.3 差分圖像以及差分�；瘔K
    3.3 結(jié)合差分圖像的雙流卷積神經(jīng)網(wǎng)絡(luò)
        3.3.1 基于VGG結(jié)構(gòu)的雙流卷積神經(jīng)網(wǎng)絡(luò)
        3.3.2 基于殘差網(wǎng)絡(luò)(Res Net-18)的雙流卷積神經(jīng)網(wǎng)絡(luò)
    3.4 雙流數(shù)據(jù)讀取方式的優(yōu)化
    3.5 雙流融合方式
    3.6 融合位置選擇
    3.7 本章小結(jié)
第4章 視頻動作識別的實(shí)現(xiàn)與實(shí)驗(yàn)分析
    4.1 實(shí)驗(yàn)數(shù)據(jù)與讀取
        4.1.1 數(shù)據(jù)預(yù)處理
        4.1.2 雙流數(shù)據(jù)讀取實(shí)現(xiàn)
    4.2 差分特征與光流特征實(shí)驗(yàn)分析
        4.2.1 差分特征的預(yù)處理
        4.2.2 差分圖對動作識別的影響
    4.3 基于雙流卷積神經(jīng)網(wǎng)絡(luò)的動作識別
        4.3.1 雙流網(wǎng)絡(luò)模型訓(xùn)練步驟
        4.3.2 時間流卷積網(wǎng)絡(luò)的訓(xùn)練
        4.3.3 空間流卷積網(wǎng)絡(luò)的訓(xùn)練
        4.3.4 雙模融合輸出
    4.4 特征分類可視化表征與分析
        4.4.1 t-SNE算法優(yōu)化
        4.4.2 差分特征的可視化表征
    4.5 本章小節(jié)
第5章 總結(jié)和展望
參考文獻(xiàn)
指導(dǎo)教師對研究生學(xué)位論文的學(xué)術(shù)評語
答辯委員會決議書
致謝
攻讀碩士期間的研究成果



本文編號：3855315