發(fā)布時間：2018-10-30 18:38

【摘要】：行為識別是計算機視覺、機器學習、人工智能等領域的熱點與重點研究方向。該方向對圖像、視頻數(shù)據(jù)中的人體行為進行分析識別,其研究成果在安全監(jiān)控、病殘監(jiān)護、多媒體內容理解、人機交互、虛擬現(xiàn)實等方面得到了切實應用。然而,現(xiàn)有的行為識別技術在實際應用中存在很多局限性。為滿足實際需求,本文針對如下四個關于視頻中人體行為識別問題展開研究。1)在特定場景下,某些行為的樣本極難收集,如何利用極少的樣本快速的對特定行為進行識別;2)在行人可檢測的較復雜場景中,如何有效的對特定行為進行識別;3)在行人可檢測的較復雜場景中,如何快速有效的對多類行為進行識別;4)在行人不可有效檢測的復雜場景中,如何有效的對多類行為進行識別。本文從實際應用問題出發(fā),以模式識別、機器學習等理論為基礎,開展了一系列創(chuàng)新性的研究,并提出了如上四個問題的解決方法。本文主要的研究工作和貢獻如下:1)提出了一種基于霍夫投票的全局行為表征方法,即位移直方圖序列表示法。該方法首先對行為視頻中的運動區(qū)域進行粗略估計;然后根據(jù)運動區(qū)域中連續(xù)多幀圖像中的興趣點的匹配情況,使用二維的位移直方圖表征這些連續(xù)圖像中人體的運動信息;最后根據(jù)位移直方圖序列,采用矩陣余弦相似度的度量方式對行為進行識別;對于識別的行為,匹配的興趣點精確地定位了行為發(fā)生的時空位置。實驗結果表明,在靜態(tài)或背景較均勻場景下,該方法能夠有效的對特定行為進行檢測識別。此外,該方法采用從粗到細的行為定位方式,有效的提高了行為的表征速度。該方法解決了在樣本極少情況下,特定行為的識別與檢測問題。2)提出了一種在新視角下對人體行為進行時空特征學習的方法。該方法首先對行為人體進行檢測與跟蹤,并使用多限制玻爾茲曼機(RBM)對人體各部位的時序形狀特征進行時空特征編碼;然后將人體各部位的時空特征編碼通過RBM神經(jīng)網(wǎng)絡整合為行為視頻的全局時空特征表征;最后通過訓練的支持向量機分類器對行為進行識別。大量實驗驗證了該方法的有效性。這種從人體各部位的形狀特征序列中提取時空特征的方法,開辟了行為特征提取的新視角。該方法解決了較復雜場景下,特定行為的識別問題。3)提出了一種基于倒排索引的快速的多類行為識別算法。該方法首先對檢測與跟蹤到的行為人體的興趣區(qū)域,提取形狀運動特征,并通過層級聚類的方法利用這些特征構建行為狀態(tài)二叉樹;基于狀態(tài)二叉樹,快速的將行為表征為行為狀態(tài)序列;然后,通過構建的行為狀態(tài)倒排索引表與行為狀態(tài)轉換倒排索引表,計算行為狀態(tài)序列對應于各行為類別的兩個分值向量;最后根據(jù)加權的分值向量來識別行為。實驗表明,該方法能夠快速的對多類行為進行識別。行為狀態(tài)二叉樹的應用,加快了對行為視頻的行為狀態(tài)序列表征;倒排索引表的使用,明顯提高了多類行為的識別速度。該方法解決了較復雜場景下,多類行為的快速識別問題。4)提出了一種基于獨立子空間分析網(wǎng)絡,利用從視頻中學習的空間特征對視頻行為進行時空特征編碼的方法。首先,該方法利用引入規(guī)則化約束的獨立子空間分析網(wǎng)絡,學習了一組時間緩慢不變的空間特征;對從采樣的視頻塊中提取的此類特征在時間域與空間域上進行池化處理,得到了能夠有效的識別行為的局部時空特征。然后,基于特征袋(BOF)模型使用提取的局部時空特征對行為進行表征。最后采用非線性的支持向量機分類器識別多類行為。實驗結果表明,時間緩慢不變規(guī)則化約束與去噪準則的引入,使學習的空間特征及提取的局部時空特征對混亂背景,遮擋等因素具有較強的魯棒性。該方法解決了復雜場景下,多類行為的識別問題。
[Abstract]:Behavior recognition is the focus and focus of computer vision, machine learning, artificial intelligence and so on. The analysis and recognition of human behavior in image and video data in this direction have been applied in safety monitoring, disability monitoring, multimedia content understanding, human-computer interaction and virtual reality. However, the existing behavior recognition technology has many limitations in practical application. In order to meet the practical needs, this paper studies the problem of human behavior recognition in video. 1) In a certain scenario, the samples of some behaviors are extremely difficult to collect and how to use very few samples to quickly identify specific behaviors. 2) how to effectively identify specific behaviors in a more complex scene detectable by a pedestrian; 3) how to quickly and effectively identify a multi-class behavior in a more complex scene detectable by a pedestrian; and 4) in a complex scene where the pedestrian is not effectively detected, How to identify the multi-class behavior effectively. Based on the theory of pattern recognition, machine learning and so on, this paper develops a series of innovative research on the basis of the theory of pattern recognition, machine learning and so on. The main research work and contribution of this paper are as follows: 1) A global behavior representation method based on Hov voting is proposed, i.e., the representation of the displacement histogram sequence. The method comprises the following steps of: roughly estimating the motion area in the behavior video; then, using a two-dimensional displacement histogram to characterize the motion information of the human body in the continuous images according to the matching condition of the points of interest in the continuous multi-frame image in the moving area; and finally, according to the displacement histogram sequence, The behavior is identified by a measure of the similarity of the matrix cosine; for the identified behavior, the matching interest points accurately locate the spatiotemporal positions of the behavior. The experimental results show that the method can detect the specific behavior effectively under the static or background more uniform scene. In addition, the method adopts a coarse-to-fine behavior positioning mode, and effectively improves the characterization speed of the behavior. the method solves the problem of identification and detection of specific behaviors in rare cases of samples. The method comprises the following steps of: firstly detecting and tracking a human body, and performing space-time feature coding on the sequence shape characteristics of each part of the human body by using a multi-limiting Boltzmann machine (RBM); then the space-time feature codes of each part of the human body are coded by the RBM neural network as the global space-time feature representation of the behavioral video; and finally the behavior is identified by the trained support vector machine classifier. A large number of experiments verify the effectiveness of the method. The method for extracting the time-space features from the shape characteristic sequence of each part of the human body opens up a new perspective of behavioral feature extraction. A fast multi-class behavior recognition algorithm based on inverted index is proposed in this paper. The method comprises the following steps of: firstly, detecting and tracking an area of interest of a human body to be tracked, extracting shape motion characteristics, and constructing a behavior state binary tree by utilizing the characteristics through a hierarchical clustering method; based on the state binary tree, the behavior is characterized as a behavior state sequence rapidly; then, calculating the behavior state sequence corresponding to the two score vectors of each behavior category by constructing the behavior state inverted index table and the behavior state transition inverted index table; and finally, identifying the behavior according to the weighted score vector. Experiments show that the method can quickly identify the multi-class behavior. the application of the behavior state binary tree accelerates the characterization of the behavior state sequence of the behavior video, and the use of the inverted index table obviously improves the recognition speed of the multi-class behavior. The method solves the problem of fast recognition of multi-class behavior in complex scenes. 4) A method based on independent subspace analysis network is proposed for space-time feature coding of video behavior using spatial features learned from video. firstly, the method utilizes an independent subspace analysis network introduced with regularization constraint to study a set of spatial features which are slowly invariant in a set of time; and performing pooled processing on the features extracted from the sampled video blocks in a temporal domain and a spatial domain, and the local time-space characteristics of the identification behavior can be effectively identified. Then, the behavior is characterized using the extracted local space-time feature based on the feature bag (BOF) model. Finally, the nonlinear support vector machine classifier is adopted to identify the multi-class behavior. The experimental results show that the time-invariant regularization constraints and the introduction of de-noising criteria make the spatial features of learning and the extracted local time-space features have strong robustness to the clutter background, occlusion and other factors. The method solves the problem of multi-class behavior recognition in complex scenes.
【學位授予單位】：電子科技大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 李寧;須德;傅曉英;袁玲;;結合人體運動特征的行為識別[J];北京交通大學學報;2009年02期

2 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識別[J];清華大學學報(自然科學版);2009年07期

3 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識別與理解研究綜述[J];計算機應用與軟件;2011年11期

4 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識別算法[J];光電子.激光;2013年08期

5 鄭胤;陳權崎;章毓晉;;深度學習及其在目標和行為識別中的新進展[J];中國圖象圖形學報;2014年02期

6 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識別的新方法[J];昆明理工大學學報(理工版);2009年06期

7 谷軍霞;丁曉青;王生進;;基于人體行為3D模型的2D行為識別[J];自動化學報;2010年01期

8 李英杰;尹怡欣;鄧飛;;一種有效的行為識別視頻特征[J];計算機應用;2011年02期

9 王新旭;;基于視覺的人體行為識別研究[J];中國新通信;2012年21期

10 王忠民;曹棟;;坐標轉換在移動用戶行為識別中的應用[J];北京郵電大學學報;2014年S1期

相關會議論文 前7條

1 苗強;周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識別技術研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

2 齊娟;陳益強;劉軍發(fā);;基于多模信息感知與融合的行為識別[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識別[A];2007中國控制與決策學術年會論文集[C];2007年

4 黃紫藤;吳玲達;;監(jiān)控視頻中簡單人物行為識別研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

5 安國成;羅志強;李洪研;;改進運動歷史圖的異常行為識別算法[A];第八屆中國智能交通年會優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標轉換在移動用戶行為識別中的應用研究[A];2013年全國通信軟件學術會議論文集[C];2013年

7 劉威;李石堅;潘綱;;uRecorder:基于位置的社會行為自動日志[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

相關重要報紙文章 前4條

1 李晨光;導入CIS要注意什么？[N];河北經(jīng)濟日報;2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日報;2007年

3 東林;行為識別新技術讓監(jiān)控沒有“死角”[N];人民公安報;2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國際經(jīng)驗[N];中國文物報;2014年

相關博士學位論文 前10條

1 邵延華;基于計算機視覺的人體行為識別研究[D];重慶大學;2015年

2 仝鈺;基于條件隨機場的智能家居行為識別研究[D];大連海事大學;2015年

3 馮銀付;多模態(tài)人體行為識別技術研究[D];浙江大學;2015年

4 姜新波;基于三維骨架序列的人體行為識別研究[D];山東大學;2015年

5 韓姍姍;基于視覺的運動人體特征描述與行為識別研究[D];浙江工業(yè)大學;2015年

6 裴利沈;視頻中人體行為識別若干問題研究[D];電子科技大學;2016年

7 何衛(wèi)華;人體行為識別關鍵技術研究[D];重慶大學;2012年

8 吳秋霞;復雜場景下的人體行為識別[D];華南理工大學;2012年

9 于成龍;基于視頻的人體行為識別關鍵技術研究[D];哈爾濱工業(yè)大學;2014年

10 王亮;基于判別模式學習的人體行為識別方法研究[D];哈爾濱工業(yè)大學;2011年

相關碩士學位論文 前10條

1 陳鈺昕;基于時空特性的人體行為識別研究[D];燕山大學;2015年

2 任亮;智能車環(huán)境下車輛典型行為識別方法研究[D];長安大學;2015年

3 趙利強;基于移動軌跡分析的大鼠行為識別研究[D];浙江大學;2016年

4 魏汝翔;基于人體運動捕捉數(shù)據(jù)的運動分析技術研究[D];北京交通大學;2016年

5 孫笛;基于信息融合的惡意代碼威脅性分析及判定關鍵技術研究[D];解放軍信息工程大學;2014年

6 田行輝;基于視頻的人體行為分析算法研究[D];東南大學;2015年

7 黃詩輝;面向視頻的人類行為識別技術的研究與實現(xiàn)[D];東南大學;2015年

8 徐嬌;高密度群體分割及其行為識別技術研究[D];中國計量學院;2015年

9 魏燁;基于智能手機傳感器的無監(jiān)督行為識別研究[D];蘭州大學;2016年

10 鐘君;基于加速度傳感器的日常行為識別的特征提取方法研究[D];蘭州大學;2016年

，

本文編號：2300837