人們用行為動(dòng)作來(lái)處理事情、表達(dá)情感,而且行為識(shí)別有非常廣泛又未被充分解決的應(yīng)用領(lǐng)域,因此近年來(lái),關(guān)于人體行為的識(shí)別問(wèn)題逐漸發(fā)展為計(jì)算機(jī)視覺(jué)領(lǐng)域極其重要也是極其活躍的研究方向。一方面,以往的很多研究基于RGB視頻或圖像信息,缺點(diǎn)是圖像數(shù)據(jù)面對(duì)復(fù)雜背景以及人體尺度變化、視角變化和運(yùn)動(dòng)速度變化時(shí)魯棒性不足、精度不高,或模型的泛化能力不強(qiáng)等。另一方面,Kinect相機(jī)的發(fā)展在一定程度上也推動(dòng)了行為識(shí)別方法的擴(kuò)展,人們開(kāi)始關(guān)注骨架信息在表征運(yùn)動(dòng)方面的優(yōu)勢(shì)。但存在的問(wèn)題是,此類方法比較依賴于設(shè)備對(duì)于骨骼節(jié)點(diǎn)的提取。綜上,為了有效規(guī)避此類問(wèn)題,本文基于視頻使用當(dāng)前流行的骨骼關(guān)鍵點(diǎn)檢測(cè)方法,從骨骼信息中提取特征進(jìn)行人體行為識(shí)別。主要工作如下:第一,基于本文的研究,自采集得到行為數(shù)據(jù)集,采集方式兼顧復(fù)雜背景、光照背景與多視角幾個(gè)影響因素,共包含九類日常人體行為動(dòng)作,具有較高的研究?jī)r(jià)值。測(cè)評(píng)了當(dāng)前最流行的骨骼關(guān)鍵點(diǎn)檢測(cè)方法OpenPose與AlphaPose,對(duì)比各自的優(yōu)缺點(diǎn)并結(jié)合研究需要,選擇OpenPose作為本文的骨骼關(guān)鍵點(diǎn)檢測(cè)方法,對(duì)數(shù)據(jù)集中的運(yùn)動(dòng)目標(biāo)進(jìn)行骨骼建模,并添加類別標(biāo)簽,以供后續(xù)研究使用...

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3基于人體骨架信息和深度學(xué)習(xí)的行為識(shí)別流程

本研究設(shè)計(jì)了基于人體骨架信息和深度學(xué)習(xí)的行為識(shí)別流程，如圖3所示。第一步，采集學(xué)生課堂行為數(shù)據(jù)，具體包含7種學(xué)生課堂行為的圖像與標(biāo)簽。第二步，提取人體骨架信息，即利用OpenPose，獲取學(xué)生課堂行為圖像的人體骨架圖像信息——首先，有效排除學(xué)生的體態(tài)、穿著、教室背景等干擾因素；....

圖5兩種方法在學(xué)生課堂行為數(shù)據(jù)集上識(shí)別多種課堂行為的準(zhǔn)確率對(duì)比結(jié)果

在相同的實(shí)驗(yàn)條件下，經(jīng)過(guò)10次隨機(jī)實(shí)驗(yàn)，本研究對(duì)比了CNN-10、學(xué)生課堂行為識(shí)別方法在學(xué)生課堂行為數(shù)據(jù)集上識(shí)別多種課堂行為的準(zhǔn)確率，結(jié)果如圖5所示。通過(guò)計(jì)算，本研究得出CNN-10的平均識(shí)別準(zhǔn)確率為93.65%，而學(xué)生課堂行為識(shí)別方法的平均識(shí)別準(zhǔn)確率為97.92%，可見(jiàn)這兩種方....

圖1-7深度學(xué)習(xí)CNN與LSTM融合學(xué)習(xí)過(guò)程

圖1-7深度學(xué)習(xí)CNN與LSTM融合學(xué)習(xí)過(guò)程[33]國(guó)內(nèi)外基于骨骼節(jié)點(diǎn)的人體動(dòng)作識(shí)別研究中，雖然有一些問(wèn)題還沒(méi)有完全解決，但不可否認(rèn)在對(duì)骨架數(shù)據(jù)的推理過(guò)程中，提供了一些非常方便的機(jī)會(huì)來(lái)研究更為成熟的框架，擴(kuò)大對(duì)人類姿態(tài)行為識(shí)別的理解[38]，這種研究將顯著提高人體姿態(tài)....

圖4-1本文的姿態(tài)識(shí)別結(jié)構(gòu)框架

姿態(tài)識(shí)別研究中，2D彩色圖像存在難分割且缺乏空間信更多的傾向借助Kinect深度傳感器來(lái)解決這些問(wèn)題，該GB圖像和深度圖，以及人體骨架關(guān)節(jié)圖[49]。雖然在表示行然存在一些缺陷，但是相較于基于2D彩色圖像的識(shí)別方得到更好的特征表示，更有效地提取信息進(jìn)行行為分類研究設(shè)計(jì)一種....

本文編號(hào)：3900326