隨著智能監(jiān)控和視頻獲取設(shè)備的普及,視頻中的行為識(shí)別由于其巨大的應(yīng)用前景和經(jīng)濟(jì)價(jià)值成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。而深度學(xué)習(xí)方法在圖像處理任務(wù)中的成功應(yīng)用,也激勵(lì)了基于深度學(xué)習(xí)的視頻行為識(shí)別方法的發(fā)展。視頻行為識(shí)別的研究目的在于通過(guò)對(duì)人體行為的特征提取和深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)使得計(jì)算機(jī)能夠自主識(shí)別視頻中的人體行為,從而可以應(yīng)用于智能監(jiān)控、視頻檢索、人機(jī)交互等領(lǐng)域。不同于圖像分析,視頻中時(shí)序結(jié)構(gòu)導(dǎo)致了更加豐富的類內(nèi)與類間差異,增加了行為識(shí)別的難度。本文針對(duì)如何提取更具代表力的時(shí)空特征分別從視頻采樣方法、圖像特征編碼、時(shí)序特征學(xué)習(xí)三個(gè)方面展開(kāi)了研究,主要工作如下:1)針對(duì)當(dāng)前的視頻行為識(shí)別方法對(duì)視頻稀疏采樣的過(guò)程中采用的隨機(jī)采樣策略容易錯(cuò)失視頻中的關(guān)鍵信息,提出了基于關(guān)鍵幀采樣的行為識(shí)別方法。該方法在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,依然采用隨機(jī)采樣的策略以保證特征提取的多樣性,在測(cè)試階段,則采用關(guān)鍵幀采樣策略,通過(guò)對(duì)視頻均勻分段并提取每段中信息熵最大的視頻幀作為關(guān)鍵幀來(lái)保證神經(jīng)網(wǎng)絡(luò)能夠最大化地學(xué)習(xí)視頻中的信息。實(shí)驗(yàn)通過(guò)在時(shí)序分割網(wǎng)絡(luò)、高效卷積網(wǎng)絡(luò)兩種網(wǎng)絡(luò)結(jié)構(gòu)中使用關(guān)鍵幀采樣策略提高了UCF101和HMD... 

【文章來(lái)源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

人體行為識(shí)別應(yīng)用領(lǐng)域示意圖

第一章緒論圖1.2人體行為識(shí)別流程1.3國(guó)內(nèi)外研究現(xiàn)狀在基于機(jī)器學(xué)習(xí)的視頻人體行為識(shí)別方法中，需要人工設(shè)計(jì)特征來(lái)描述視頻信息，而基于深度學(xué)習(xí)的行為識(shí)別大多通過(guò)深度神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)來(lái)提取特征描述視頻信息，因此下文將從人工設(shè)計(jì)的特征表示、深度學(xué)習(xí)特征表示兩方面來(lái)介紹行為識(shí)別特征表示的發(fā)展。1.3.1基于人工設(shè)計(jì)的特征表示基于人工設(shè)計(jì)的特征提取一般是通過(guò)人工觀察和設(shè)計(jì)，手工設(shè)計(jì)出對(duì)人體行為進(jìn)行表征的特征。而行為識(shí)別的特征又可以分為全局特征和局部特征兩類。1）全局特征全局特征是對(duì)檢測(cè)出來(lái)的整個(gè)感興趣的人體進(jìn)行描述，一般通過(guò)背景去除或者目標(biāo)跟蹤的方法得到，通常采用的是人體骨架特征、輪廓特征、光流特征等信息。而這些特征對(duì)噪聲，部分遮擋、視角的變化比較敏感。Bobick[4]等人最早采用輪廓來(lái)描述人體的運(yùn)動(dòng)信息，將動(dòng)作采用MEI(運(yùn)動(dòng)能量圖)和MHI(運(yùn)動(dòng)歷史圖)靜態(tài)存儲(chǔ)起來(lái)，對(duì)于新來(lái)的測(cè)試視頻，先計(jì)算其MEI和MHI，然后與存儲(chǔ)的各運(yùn)動(dòng)模板進(jìn)行匹配，使其馬氏距離之和最短，從而達(dá)到動(dòng)作分類的目的。MEI為運(yùn)動(dòng)能量圖，用來(lái)指示運(yùn)動(dòng)在哪些部位發(fā)生過(guò)，MHI為運(yùn)動(dòng)歷史圖，除了體現(xiàn)運(yùn)動(dòng)發(fā)生的空間位置外還體現(xiàn)了運(yùn)動(dòng)的時(shí)間先后順序。這兩種特征都是從背景減圖中獲取的。為了提取剪影信息，Wang[5]等人利用r變換獲取了人體的剪影，保持了平移和尺度不變性。之后Souvenir和Babbs[6]將r變換改進(jìn)，計(jì)算了第三維是時(shí)間的r變換表面。Hsuan-chen[7]則提取了人體的輪廓，這些輪廓信息是星形骨架描述了參考線與輪廓中心到四肢（頭，腳，手）之間的角度。而Wang[8]同時(shí)利用剪影信息和輪廓信息來(lái)3

東南大學(xué)碩士學(xué)位論文圖2.1密集軌跡算法基本框架到取W=5效果較好。下一步的目標(biāo)即在時(shí)間序列上跟蹤這些特征點(diǎn)，但在缺乏變化的區(qū)域（例如一塊白色墻壁中間的點(diǎn)）中跟蹤特征點(diǎn)是無(wú)法實(shí)現(xiàn)的。因此在進(jìn)行跟蹤前要先去除一些特征點(diǎn)。此處的方法是計(jì)算每個(gè)像素點(diǎn)自相關(guān)矩陣的特征值，并設(shè)置閾值去除低于閾值的特征點(diǎn)，其中根據(jù)每一幀I的特征值來(lái)設(shè)定閾值，閾值計(jì)算公式如下所示：T=0.001×maxi∈Imin(λ1i,λ2i)(2.1)其中，(λ1i,λ2i)為圖像I中像素點(diǎn)i的特征值，0.001為實(shí)驗(yàn)確定的一個(gè)比較合適的值。b.軌跡跟蹤設(shè)密集采樣得到的某個(gè)特征點(diǎn)的坐標(biāo)為Pt=(xt,yt)，則該特征點(diǎn)在下一幀圖像中的位置可由式(2.2)得到：Pt+1=(xt+1,yt+1)=(xt,yt)+(Mωt)|xt,yt(2.2)該式是通過(guò)計(jì)算特征點(diǎn)鄰域內(nèi)的光流中值來(lái)得到特征點(diǎn)的運(yùn)動(dòng)方向的。式中ωt=(ut,vt)為密集光流場(chǎng)，是由It和It+1計(jì)算得到的，u和v分別代表光流的水平和垂直分量。而M則代表中值濾波器，尺寸為3×3。某個(gè)特征點(diǎn)在連續(xù)的L幀圖像上的位置即構(gòu)成了一段軌跡(Pt,Pt+1,...,Pt+L),后續(xù)的特征提取即沿著各個(gè)軌跡進(jìn)行。由于特征點(diǎn)的跟蹤存在漂移現(xiàn)象，故長(zhǎng)時(shí)間的跟蹤是不可靠的，所以每L幀要重新密集采樣一次特征點(diǎn)，重新進(jìn)行跟蹤。在DT/iDT算法中，選取L=15。c.特征提取DT/iDT中使用了HOF,HOG和MBH三種特征來(lái)描述光流。HOG特征計(jì)算的是灰度圖像梯度的直方圖，HOF計(jì)算的是光流（包括方向和幅度信息）的直方圖，MBH計(jì)算的是光流圖像梯度的直方圖，也可以理解為在光流圖像上計(jì)算的HOG特征。特征提取過(guò)程中需要沿著某個(gè)特征點(diǎn)的長(zhǎng)度為L(zhǎng)的軌跡，在每幀圖像上取特征點(diǎn)周圍的大10

【參考文獻(xiàn)】：
期刊論文
[1]圖像和視頻亮度的自動(dòng)調(diào)整[J]. 王想,郭延文,杜振龍,武港山,張福炎,彭群生.  電子學(xué)報(bào). 2009(S1)
[2]基于視覺(jué)的人的運(yùn)動(dòng)識(shí)別綜述[J]. 杜友田,陳峰,徐文立,李永彬.  電子學(xué)報(bào). 2007(01)
[3]一種基于視頻聚類的關(guān)鍵幀提取方法[J]. 朱映映,周洞汝.  計(jì)算機(jī)工程. 2004(04)



本文編號(hào)：3498269