基于視頻的雙人交互行為識(shí)別是機(jī)器視覺重要的研究方向,其在智能安防、視頻內(nèi)容檢索等方面具有廣闊的應(yīng)用前景�；赗GB視頻的人類交互行為識(shí)別由于其缺乏維度信息,難以適應(yīng)復(fù)雜環(huán)境下光照或背景等干擾問題,導(dǎo)致其對(duì)于復(fù)雜交互行為識(shí)別的準(zhǔn)確率不高。為了彌補(bǔ)RGB視頻的缺點(diǎn),本文采用RGB和深度信息融合的方法對(duì)雙人交互行為識(shí)別進(jìn)行深入的研究:首先,針對(duì)基于RGB視頻序列的雙人交互行為識(shí)別缺乏深度信息,對(duì)復(fù)雜多變的交互動(dòng)作識(shí)別不夠準(zhǔn)確的問題,本文提出一種融合深度信息的個(gè)體分割信息和RGB整體信息的雙人交互行為識(shí)別算法,該方法在RGB視頻信息源上采用基于整體的方法對(duì)動(dòng)作視頻進(jìn)行表示;在深度視頻信息源上通過YOLO網(wǎng)絡(luò)結(jié)構(gòu)對(duì)交互的雙人進(jìn)行個(gè)體分割,然后對(duì)分割的個(gè)體使用視覺共生矩陣對(duì)視頻中屬于每個(gè)人相關(guān)聯(lián)的興趣點(diǎn)進(jìn)行特征描述送入分類器進(jìn)行分類,最終將兩個(gè)信息源進(jìn)行融合。該算法易于實(shí)現(xiàn),可操作性強(qiáng),且識(shí)別率得到大幅提高。其次,針對(duì)雙人交互行為識(shí)別算法普遍基于視頻的傳統(tǒng)特征描述,其算法存在計(jì)算復(fù)雜度高且識(shí)別準(zhǔn)確率相對(duì)較低等問題,針對(duì)該問題提出一種基于RGB和深度視頻雙流融合的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)模型,利用卷積神經(jīng)網(wǎng)... 

【文章頁數(shù)】：68 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
1 緒論
    1.1 研究背景與意義
    1.2 雙人交互識(shí)別難點(diǎn)和挑戰(zhàn)
    1.3 本文主要研究?jī)?nèi)容及創(chuàng)新點(diǎn)
    1.4 本文的組織結(jié)構(gòu)
2 基于RGBD視頻的雙人交互行為識(shí)別綜述
    2.1 基于RGB視頻的交互行為識(shí)別方法
    2.2 基于DEPTH或SKELETON視頻的人體交互行為識(shí)別方法
    2.3 基于RGBD視頻融合的雙人交互行為識(shí)別方法
    2.4 本章小結(jié)
3 基于整體和個(gè)體分割融合的雙人交互行為識(shí)別算法研究
    3.1 個(gè)體分割
    3.2 視頻特征表示
        3.2.1 RGB視頻特征表示
        3.2.2 Depth視頻特征表示
    3.3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析
        3.3.1 數(shù)據(jù)庫介紹
        3.3.2 RGB和Depth視頻測(cè)試結(jié)果
        3.3.3 兩種特征融合結(jié)果
    3.4 實(shí)驗(yàn)結(jié)果與其它模型算法的比較驗(yàn)證
    3.5 本章小結(jié)
4 基于RGB和depth雙流融合模型的雙人交互行為識(shí)別算法研究
    4.1 模型框架
    4.2 特征表示
        4.2.1 卷積神經(jīng)網(wǎng)絡(luò)概述
        4.2.2 Resnet50 網(wǎng)絡(luò)
        4.2.3 卷積可視化
    4.3 時(shí)序建模
        4.3.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        4.3.2 長(zhǎng)短期記憶網(wǎng)絡(luò)
        4.3.3 LSTM前向傳遞算法
        4.3.4 LSTM反向傳播算法
    4.4 CNN和LSTM結(jié)合
    4.5 實(shí)驗(yàn)測(cè)試與分析
        4.5.1 數(shù)據(jù)集與測(cè)試環(huán)境
        4.5.2 實(shí)驗(yàn)參數(shù)設(shè)置
        4.5.3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析
    4.6 實(shí)驗(yàn)結(jié)果與其它文獻(xiàn)的比較
    4.7 本章小結(jié)
5 基于注意機(jī)制卷積的RGBD雙人交互行為識(shí)別算法研究
    5.1 特征表示
        5.1.1 注意機(jī)制原理
        5.1.2 注意機(jī)制模塊
    5.2 時(shí)序建模
    5.3 訓(xùn)練過程與實(shí)驗(yàn)參數(shù)設(shè)置
    5.4 實(shí)驗(yàn)結(jié)果與分析
        5.4.1 數(shù)據(jù)庫信息
        5.4.2 實(shí)驗(yàn)測(cè)試結(jié)果
        5.4.3 實(shí)驗(yàn)結(jié)果與其他文獻(xiàn)的比較
    5.5 本章小結(jié)
6 結(jié)論
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄


【參考文獻(xiàn)】：
期刊論文
[1]多相機(jī)條件下的行人再識(shí)別方法研究[J]. 郭英強(qiáng),曹江濤.  遼寧石油化工大學(xué)學(xué)報(bào). 2018(05)
[2]多源信息融合的雙人交互行為識(shí)別算法研究[J]. 金壯壯,曹江濤,姬曉飛.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(10)
[3]基于改進(jìn)YOLO的雙模目標(biāo)識(shí)別方法研究[J]. 黃杰軍,呼吁,周斌,明德烈.  計(jì)算機(jī)與數(shù)字工程. 2018(04)
[4]基于YOLO網(wǎng)絡(luò)的行人檢測(cè)方法[J]. 高宗,李少波,陳濟(jì)楠,李政杰.  計(jì)算機(jī)工程. 2018(05)
[5]利用深度視頻中的關(guān)節(jié)運(yùn)動(dòng)信息研究人體行為識(shí)別[J]. 劉智,董世都.  計(jì)算機(jī)應(yīng)用與軟件. 2017(02)
[6]基于流形學(xué)習(xí)的人體動(dòng)作識(shí)別[J]. 王鑫,沃波海,管秋,陳勝勇.  中國(guó)圖象圖形學(xué)報(bào). 2014(06)
[7]基于時(shí)空單詞的兩人交互行為識(shí)別方法[J]. 韓磊,李君峰,賈云得.  計(jì)算機(jī)學(xué)報(bào). 2010(04)
[8]人運(yùn)動(dòng)的視覺分析綜述[J]. 王亮,胡衛(wèi)明,譚鐵牛.  計(jì)算機(jī)學(xué)報(bào). 2002(03)



本文編號(hào)：3712825