本文關鍵詞：基于計算機視覺的人體行為識別研究

  更多相關文章： 行為識別 特征融合 核方法 降維 運動能量

【摘要】：人體行為識別(Human Action Recognition,HAR)是計算機視覺與模式識別領域內(nèi)一個新興的研究方向,目前已經(jīng)在諸如視頻監(jiān)控、視頻檢索和異常行為檢測等領域展現(xiàn)出極其廣泛的應用前景。另外,對HAR的研究也間接的促進了步態(tài)識別、人臉識別和表情分析等問題的研究。然而,當前該領域的研究中存在著如下的問題:(1)單個特征表達能力不足;(2)當前行為識別研究主要是基于可見光成像的,而針對紅外成像的行為識別的研究較少;(3)紅外成像紋理缺失及邊緣的不顯著使得許多表達模型的有效性不足;(4)部分算法流程過于復雜,進而影響到識別系統(tǒng)的實時性。因此,為了有效的克服這些因素的不利影響,研究高效的行為識別算法一直是國內(nèi)外研究的熱點。本論文主要分析和探討了人體行為的描述及建模,多特征融合構建,特征融合過程中融合策略的選取,復雜特征的約減及分類器的設計等,進而對基于計算機視覺的人體行為的表達與識別展開研究,取得的主要成果如下:(1)研究了基于融合特征的人體行為識別方法。為克服單個行為表達方法有效性上的不足,提出了一種基于剪影和光流信息的多特征融合行為表達方法:方向剪影光流直方圖(HOSOOF,Histogram of Oriented Silhouette and Oriented Optical Flow)。該方法首先利用背景差分提取運動顯著區(qū)域,然后提取運動顯著區(qū)域的方向剪影直方圖(HOS)和方向光流直方圖(HOOF),提出一種表達層融合策略,構建融合特征HOSOOF結合支持向量機(SVM)識別人體行為,有效提高了人體行為識別的正確率。實驗以廣泛使用的公開行為數(shù)據(jù)集Weizmann為研究對象,正確識別率達到99.8%以上,驗證了所構建融合特征HOSOOF的有效性。另外還考察了基于相同的融合特征結合不同分類器對識別性能的影響。(2)研究了基于稠密軌跡特征的紅外成像的人體行為識別方法。提出并構建了基于稠密軌跡的多尺度融合特征(DTFF,Dense Trajectory-based Fusion Feature)來表達紅外人體行為。該方法首先通過稠密采樣獲得輸入行為視頻的稠密軌跡(DT),以此計算基于稠密軌跡的3個描述子:方向梯度直方圖(HOG)、光流直方圖(HOF)和運動邊界描述子(MBH);再采用詞袋庫模型和表現(xiàn)較好的表達層融合策略,構建了融合特征DTFF;最終作為k-NN分類器的輸入,以IADB紅外行為庫為測試數(shù)據(jù)集,得到高達96.7%以上的正確識別率,明顯優(yōu)于其他方法。同時,驗證了所提出融合特征(DTFF)及識別方法與其他方法相比,克服了常規(guī)單尺度及單個行為表達方法在面對紅外成像紋理缺失及邊緣不顯著時有效性不足的問題。(3)針對當前許多行為識別方法流程復雜的問題,研究了對影響行為序列整體表達的關鍵問題,分析并探討了基于模板匹配思想的人體行為識別方法,從而針對人體行為的視頻片段在3D行為序列空間中通過濾波器組直接進行運動能量分解,提出了基于運動能量模板(MET,Motion Energy Template)的行為識別方法,可以避免諸如目標定位和分割等預處理操作;然后使用MET特征并結合SVM,在Weizmann和KTH人體行為數(shù)據(jù)庫上進行相關測試;同時對選用不同特征降維方法、不同分類方法獲得的實驗結果(例如VEI模型、動態(tài)模板法和局部運動模式等)進行對比實驗,結果表明本方法在識別率方面具有明顯的比較優(yōu)勢。(4)更進一步,針對MET計算量較大且特征維數(shù)較高的問題,提出了基于MET簡化模型(SMET)和多類相關向量機(m RVM)的人體行為識別方法。該方法首次在特征池化階段使用兩層8叉樹最大池化方法(Max-pooling)簡化了MET模型,并首次將m RVM和基于濾波器組的運動能量分解方法結合起來,應用到人體識別領域。在Weizmann人體行為數(shù)據(jù)庫上進行了測試,識別率雖然比MET模型下降了1.1%,但仍取得了有競爭力的98.9%的識別效果,同時大幅減少了特征維數(shù)�；谝陨辖Y果,本文系統(tǒng)的研究了基于計算機視覺的人體行為識別問題。將上述成果應用到具體人體行為識別系統(tǒng)中,必將對系統(tǒng)性能產(chǎn)生積極影響。此外,它們對其他的動態(tài)場景理解及運動分析等技術的發(fā)展也具有重要的參考價值。
【關鍵詞】：行為識別 特征融合 核方法 降維 運動能量
【學位授予單位】：重慶大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP391.41
【目錄】：

• 中文摘要3-5
• 英文摘要5-11
• 1 緒論11-19
• 1.1 課題研究的背景和意義11-13
• 1.2 本文研究內(nèi)容13-17
• 1.3 論文結構17-19
• 2 人體行為識別的研究現(xiàn)狀和基本理論19-43
• 2.1 人體行為研究現(xiàn)狀19-21
• 2.2 人體行為表征21-31
• 2.2.1 基于人體建模 (Body modelling methods)22-23
• 2.2.2 局部特征 (Local feature methods)23-24
• 2.2.3 全局表達方法 (Global representation methods)24-29
• 2.2.4 多特征融合方法 (Multi-feature fusion methods)29-31
• 2.3 特征選擇及降維31-35
• 2.3.1 特征選擇原則及策略31-32
• 2.3.2 降維技術32-35
• 2.4 分類技術35-40
• 2.4.1 判別式模型 (Discriminative Models)36-38
• 2.4.2 產(chǎn)生式模型 (Generative Models)38-39
• 2.4.3 其他分類器技術39-40
• 2.5 主要研究難點及發(fā)展趨勢40-41
• 2.6 本章小結41-43
• 3 融合剪影和光流特征的人體行為識別43-63
• 3.1 引言及問題提出43-44
• 3.2 融合特征HOSOOF的構建44-50
• 3.2.1 剪影 (Silhouette Extraction)45-46
• 3.2.2 光流特征 (Optical flow)46-47
• 3.2.3 特征融合47-50
• 3.3 支持向量機行為分類50-60
• 3.3.1 統(tǒng)計學習理論50-52
• 3.3.2 支持向量機52-54
• 3.3.3 實驗和分析54-60
• 3.4 本章小結60-63
• 4 基于稠密軌跡融合特征的紅外成像人體行為識別63-75
• 4.1 引言及問題提出63-64
• 4.2 稠密軌跡特征構建64-68
• 4.2.1 稠密采樣64-65
• 4.2.2 稠密軌跡65-67
• 4.2.3 特征提取67-68
• 4.3 表達層特征融合68-69
• 4.4 行為分類69-70
• 4.5 實驗和分析70-72
• 4.6 本章小結72-75
• 5 基于MET模型的人體行為識別75-91
• 5.1 引言及問題提出75-77
• 5.2 MET模型構建77-82
• 5.2.1 SOME特征構建：濾波78-80
• 5.2.2 SOME卷相似度度量：模板匹配80-81
• 5.2.3 MET特征向量構建：3D Max-pooling81-82
• 5.3 實驗及分析82-89
• 5.3.1 Weizmann數(shù)據(jù)集實驗82-85
• 5.3.2 KTH行為數(shù)據(jù)集實驗85-89
• 5.4 本章小結89-91
• 6 基于SMET和m RVM的人體行為識別91-103
• 6.1 引言及問題提出91-92
• 6.2 SMET模型構建92-95
• 6.3 多類相關向量機模型95-98
• 6.3.1 m RVM的數(shù)學描述95-98
• 6.3.2 基于m RVM的行為分類98
• 6.4 實驗與分析98-102
• 6.5 本章小結102-103
• 7 總結與展望103-107
• 7.1 論文總結103-105
• 7.2 后續(xù)工作展望105-107
• 致謝107-109
• 參考文獻109-125
• 附錄125-126
• A. 作者在攻讀博士學位期間發(fā)表的論文目錄125-126
• B. 作者在攻讀博士學位期間主持或參與的科研項目126

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前5條

1 高贊;張樺;蔡安妮;;動作識別算法的評估策略探討[J];光電子.激光;2012年06期

2 史東承;馮占君;;視頻中人體行為分析[J];吉林大學學報(信息科學版);2014年05期

3 趙海勇;劉志鏡;張浩;;基于模板匹配的人體日常行為識別[J];湖南大學學報(自然科學版);2011年02期

4 張學工;關于統(tǒng)計學習理論與支持向量機[J];自動化學報;2000年01期

5 王泰青;王生進;丁曉青;;基于最大互信息區(qū)域跟蹤的人體行為檢測算法[J];自動化學報;2012年12期

中國博士學位論文全文數(shù)據(jù)庫 前2條

1 趙瓊;基于視頻和三維動作捕捉數(shù)據(jù)的人體動作識別方法的研究[D];中國科學技術大學;2013年

2 李新科;橋梁拉索表面缺陷圖像檢測關鍵技術的研究[D];重慶大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前2條

1 于丹丹;局部化光流估計方法研究[D];哈爾濱工業(yè)大學;2011年

2 陳文強;基于動作屬性分類器的行為識別研究[D];西南大學;2014年

，

本文編號：723266