基于視頻的雙人交互行為識別是機器視覺重要的研究方向,其在智能安防、視頻內(nèi)容檢索等方面具有廣闊的應(yīng)用前景�；赗GB視頻的人類交互行為識別由于其缺乏維度信息,難以適應(yīng)復(fù)雜環(huán)境下光照或背景等干擾問題,導(dǎo)致其對于復(fù)雜交互行為識別的準確率不高。為了彌補RGB視頻的缺點,本文采用RGB和深度信息融合的方法對雙人交互行為識別進行深入的研究:首先,針對基于RGB視頻序列的雙人交互行為識別缺乏深度信息,對復(fù)雜多變的交互動作識別不夠準確的問題,本文提出一種融合深度信息的個體分割信息和RGB整體信息的雙人交互行為識別算法,該方法在RGB視頻信息源上采用基于整體的方法對動作視頻進行表示;在深度視頻信息源上通過YOLO網(wǎng)絡(luò)結(jié)構(gòu)對交互的雙人進行個體分割,然后對分割的個體使用視覺共生矩陣對視頻中屬于每個人相關(guān)聯(lián)的興趣點進行特征描述送入分類器進行分類,最終將兩個信息源進行融合。該算法易于實現(xiàn),可操作性強,且識別率得到大幅提高。其次,針對雙人交互行為識別算法普遍基于視頻的傳統(tǒng)特征描述,其算法存在計算復(fù)雜度高且識別準確率相對較低等問題,針對該問題提出一種基于RGB和深度視頻雙流融合的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)模型,利用卷積神經(jīng)網(wǎng)... 

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
1 緒論
    1.1 研究背景與意義
    1.2 雙人交互識別難點和挑戰(zhàn)
    1.3 本文主要研究內(nèi)容及創(chuàng)新點
    1.4 本文的組織結(jié)構(gòu)
2 基于RGBD視頻的雙人交互行為識別綜述
    2.1 基于RGB視頻的交互行為識別方法
    2.2 基于DEPTH或SKELETON視頻的人體交互行為識別方法
    2.3 基于RGBD視頻融合的雙人交互行為識別方法
    2.4 本章小結(jié)
3 基于整體和個體分割融合的雙人交互行為識別算法研究
    3.1 個體分割
    3.2 視頻特征表示
        3.2.1 RGB視頻特征表示
        3.2.2 Depth視頻特征表示
    3.3 實驗驗證與結(jié)果分析
        3.3.1 數(shù)據(jù)庫介紹
        3.3.2 RGB和Depth視頻測試結(jié)果
        3.3.3 兩種特征融合結(jié)果
    3.4 實驗結(jié)果與其它模型算法的比較驗證
    3.5 本章小結(jié)
4 基于RGB和depth雙流融合模型的雙人交互行為識別算法研究
    4.1 模型框架
    4.2 特征表示
        4.2.1 卷積神經(jīng)網(wǎng)絡(luò)概述
        4.2.2 Resnet50 網(wǎng)絡(luò)
        4.2.3 卷積可視化
    4.3 時序建模
        4.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        4.3.2 長短期記憶網(wǎng)絡(luò)
        4.3.3 LSTM前向傳遞算法
        4.3.4 LSTM反向傳播算法
    4.4 CNN和LSTM結(jié)合
    4.5 實驗測試與分析
        4.5.1 數(shù)據(jù)集與測試環(huán)境
        4.5.2 實驗參數(shù)設(shè)置
        4.5.3 實驗驗證與結(jié)果分析
    4.6 實驗結(jié)果與其它文獻的比較
    4.7 本章小結(jié)
5 基于注意機制卷積的RGBD雙人交互行為識別算法研究
    5.1 特征表示
        5.1.1 注意機制原理
        5.1.2 注意機制模塊
    5.2 時序建模
    5.3 訓(xùn)練過程與實驗參數(shù)設(shè)置
    5.4 實驗結(jié)果與分析
        5.4.1 數(shù)據(jù)庫信息
        5.4.2 實驗測試結(jié)果
        5.4.3 實驗結(jié)果與其他文獻的比較
    5.5 本章小結(jié)
6 結(jié)論
參考文獻
致謝
攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄


【參考文獻】：
期刊論文
[1]多相機條件下的行人再識別方法研究[J]. 郭英強,曹江濤.  遼寧石油化工大學(xué)學(xué)報. 2018(05)
[2]多源信息融合的雙人交互行為識別算法研究[J]. 金壯壯,曹江濤,姬曉飛.  計算機技術(shù)與發(fā)展. 2018(10)
[3]基于改進YOLO的雙模目標識別方法研究[J]. 黃杰軍,呼吁,周斌,明德烈.  計算機與數(shù)字工程. 2018(04)
[4]基于YOLO網(wǎng)絡(luò)的行人檢測方法[J]. 高宗,李少波,陳濟楠,李政杰.  計算機工程. 2018(05)
[5]利用深度視頻中的關(guān)節(jié)運動信息研究人體行為識別[J]. 劉智,董世都.  計算機應(yīng)用與軟件. 2017(02)
[6]基于流形學(xué)習(xí)的人體動作識別[J]. 王鑫,沃波海,管秋,陳勝勇.  中國圖象圖形學(xué)報. 2014(06)
[7]基于時空單詞的兩人交互行為識別方法[J]. 韓磊,李君峰,賈云得.  計算機學(xué)報. 2010(04)
[8]人運動的視覺分析綜述[J]. 王亮,胡衛(wèi)明,譚鐵牛.  計算機學(xué)報. 2002(03)



本文編號：3712825