【摘要】：行為識(shí)別是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、人工智能等領(lǐng)域的熱點(diǎn)與重點(diǎn)研究方向。該方向?qū)D像、視頻數(shù)據(jù)中的人體行為進(jìn)行分析識(shí)別,其研究成果在安全監(jiān)控、病殘監(jiān)護(hù)、多媒體內(nèi)容理解、人機(jī)交互、虛擬現(xiàn)實(shí)等方面得到了切實(shí)應(yīng)用。然而,現(xiàn)有的行為識(shí)別技術(shù)在實(shí)際應(yīng)用中存在很多局限性。為滿足實(shí)際需求,本文針對(duì)如下四個(gè)關(guān)于視頻中人體行為識(shí)別問題展開研究。1)在特定場景下,某些行為的樣本極難收集,如何利用極少的樣本快速的對(duì)特定行為進(jìn)行識(shí)別;2)在行人可檢測的較復(fù)雜場景中,如何有效的對(duì)特定行為進(jìn)行識(shí)別;3)在行人可檢測的較復(fù)雜場景中,如何快速有效的對(duì)多類行為進(jìn)行識(shí)別;4)在行人不可有效檢測的復(fù)雜場景中,如何有效的對(duì)多類行為進(jìn)行識(shí)別。本文從實(shí)際應(yīng)用問題出發(fā),以模式識(shí)別、機(jī)器學(xué)習(xí)等理論為基礎(chǔ),開展了一系列創(chuàng)新性的研究,并提出了如上四個(gè)問題的解決方法。本文主要的研究工作和貢獻(xiàn)如下:1)提出了一種基于霍夫投票的全局行為表征方法,即位移直方圖序列表示法。該方法首先對(duì)行為視頻中的運(yùn)動(dòng)區(qū)域進(jìn)行粗略估計(jì);然后根據(jù)運(yùn)動(dòng)區(qū)域中連續(xù)多幀圖像中的興趣點(diǎn)的匹配情況,使用二維的位移直方圖表征這些連續(xù)圖像中人體的運(yùn)動(dòng)信息;最后根據(jù)位移直方圖序列,采用矩陣余弦相似度的度量方式對(duì)行為進(jìn)行識(shí)別;對(duì)于識(shí)別的行為,匹配的興趣點(diǎn)精確地定位了行為發(fā)生的時(shí)空位置。實(shí)驗(yàn)結(jié)果表明,在靜態(tài)或背景較均勻場景下,該方法能夠有效的對(duì)特定行為進(jìn)行檢測識(shí)別。此外,該方法采用從粗到細(xì)的行為定位方式,有效的提高了行為的表征速度。該方法解決了在樣本極少情況下,特定行為的識(shí)別與檢測問題。2)提出了一種在新視角下對(duì)人體行為進(jìn)行時(shí)空特征學(xué)習(xí)的方法。該方法首先對(duì)行為人體進(jìn)行檢測與跟蹤,并使用多限制玻爾茲曼機(jī)(RBM)對(duì)人體各部位的時(shí)序形狀特征進(jìn)行時(shí)空特征編碼;然后將人體各部位的時(shí)空特征編碼通過RBM神經(jīng)網(wǎng)絡(luò)整合為行為視頻的全局時(shí)空特征表征;最后通過訓(xùn)練的支持向量機(jī)分類器對(duì)行為進(jìn)行識(shí)別。大量實(shí)驗(yàn)驗(yàn)證了該方法的有效性。這種從人體各部位的形狀特征序列中提取時(shí)空特征的方法,開辟了行為特征提取的新視角。該方法解決了較復(fù)雜場景下,特定行為的識(shí)別問題。3)提出了一種基于倒排索引的快速的多類行為識(shí)別算法。該方法首先對(duì)檢測與跟蹤到的行為人體的興趣區(qū)域,提取形狀運(yùn)動(dòng)特征,并通過層級(jí)聚類的方法利用這些特征構(gòu)建行為狀態(tài)二叉樹;基于狀態(tài)二叉樹,快速的將行為表征為行為狀態(tài)序列;然后,通過構(gòu)建的行為狀態(tài)倒排索引表與行為狀態(tài)轉(zhuǎn)換倒排索引表,計(jì)算行為狀態(tài)序列對(duì)應(yīng)于各行為類別的兩個(gè)分值向量;最后根據(jù)加權(quán)的分值向量來識(shí)別行為。實(shí)驗(yàn)表明,該方法能夠快速的對(duì)多類行為進(jìn)行識(shí)別。行為狀態(tài)二叉樹的應(yīng)用,加快了對(duì)行為視頻的行為狀態(tài)序列表征;倒排索引表的使用,明顯提高了多類行為的識(shí)別速度。該方法解決了較復(fù)雜場景下,多類行為的快速識(shí)別問題。4)提出了一種基于獨(dú)立子空間分析網(wǎng)絡(luò),利用從視頻中學(xué)習(xí)的空間特征對(duì)視頻行為進(jìn)行時(shí)空特征編碼的方法。首先,該方法利用引入規(guī)則化約束的獨(dú)立子空間分析網(wǎng)絡(luò),學(xué)習(xí)了一組時(shí)間緩慢不變的空間特征;對(duì)從采樣的視頻塊中提取的此類特征在時(shí)間域與空間域上進(jìn)行池化處理,得到了能夠有效的識(shí)別行為的局部時(shí)空特征。然后,基于特征袋(BOF)模型使用提取的局部時(shí)空特征對(duì)行為進(jìn)行表征。最后采用非線性的支持向量機(jī)分類器識(shí)別多類行為。實(shí)驗(yàn)結(jié)果表明,時(shí)間緩慢不變規(guī)則化約束與去噪準(zhǔn)則的引入,使學(xué)習(xí)的空間特征及提取的局部時(shí)空特征對(duì)混亂背景,遮擋等因素具有較強(qiáng)的魯棒性。該方法解決了復(fù)雜場景下,多類行為的識(shí)別問題。
[Abstract]:Behavior recognition is the focus and focus of computer vision, machine learning, artificial intelligence and so on. The analysis and recognition of human behavior in image and video data in this direction have been applied in safety monitoring, disability monitoring, multimedia content understanding, human-computer interaction and virtual reality. However, the existing behavior recognition technology has many limitations in practical application. In order to meet the practical needs, this paper studies the problem of human behavior recognition in video. 1) In a certain scenario, the samples of some behaviors are extremely difficult to collect and how to use very few samples to quickly identify specific behaviors. 2) how to effectively identify specific behaviors in a more complex scene detectable by a pedestrian; 3) how to quickly and effectively identify a multi-class behavior in a more complex scene detectable by a pedestrian; and 4) in a complex scene where the pedestrian is not effectively detected, How to identify the multi-class behavior effectively. Based on the theory of pattern recognition, machine learning and so on, this paper develops a series of innovative research on the basis of the theory of pattern recognition, machine learning and so on. The main research work and contribution of this paper are as follows: 1) A global behavior representation method based on Hov voting is proposed, i.e., the representation of the displacement histogram sequence. The method comprises the following steps of: roughly estimating the motion area in the behavior video; then, using a two-dimensional displacement histogram to characterize the motion information of the human body in the continuous images according to the matching condition of the points of interest in the continuous multi-frame image in the moving area; and finally, according to the displacement histogram sequence, The behavior is identified by a measure of the similarity of the matrix cosine; for the identified behavior, the matching interest points accurately locate the spatiotemporal positions of the behavior. The experimental results show that the method can detect the specific behavior effectively under the static or background more uniform scene. In addition, the method adopts a coarse-to-fine behavior positioning mode, and effectively improves the characterization speed of the behavior. the method solves the problem of identification and detection of specific behaviors in rare cases of samples. The method comprises the following steps of: firstly detecting and tracking a human body, and performing space-time feature coding on the sequence shape characteristics of each part of the human body by using a multi-limiting Boltzmann machine (RBM); then the space-time feature codes of each part of the human body are coded by the RBM neural network as the global space-time feature representation of the behavioral video; and finally the behavior is identified by the trained support vector machine classifier. A large number of experiments verify the effectiveness of the method. The method for extracting the time-space features from the shape characteristic sequence of each part of the human body opens up a new perspective of behavioral feature extraction. A fast multi-class behavior recognition algorithm based on inverted index is proposed in this paper. The method comprises the following steps of: firstly, detecting and tracking an area of interest of a human body to be tracked, extracting shape motion characteristics, and constructing a behavior state binary tree by utilizing the characteristics through a hierarchical clustering method; based on the state binary tree, the behavior is characterized as a behavior state sequence rapidly; then, calculating the behavior state sequence corresponding to the two score vectors of each behavior category by constructing the behavior state inverted index table and the behavior state transition inverted index table; and finally, identifying the behavior according to the weighted score vector. Experiments show that the method can quickly identify the multi-class behavior. the application of the behavior state binary tree accelerates the characterization of the behavior state sequence of the behavior video, and the use of the inverted index table obviously improves the recognition speed of the multi-class behavior. The method solves the problem of fast recognition of multi-class behavior in complex scenes. 4) A method based on independent subspace analysis network is proposed for space-time feature coding of video behavior using spatial features learned from video. firstly, the method utilizes an independent subspace analysis network introduced with regularization constraint to study a set of spatial features which are slowly invariant in a set of time; and performing pooled processing on the features extracted from the sampled video blocks in a temporal domain and a spatial domain, and the local time-space characteristics of the identification behavior can be effectively identified. Then, the behavior is characterized using the extracted local space-time feature based on the feature bag (BOF) model. Finally, the nonlinear support vector machine classifier is adopted to identify the multi-class behavior. The experimental results show that the time-invariant regularization constraints and the introduction of de-noising criteria make the spatial features of learning and the extracted local time-space features have strong robustness to the clutter background, occlusion and other factors. The method solves the problem of multi-class behavior recognition in complex scenes.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李寧;須德;傅曉英;袁玲;;結(jié)合人體運(yùn)動(dòng)特征的行為識(shí)別[J];北京交通大學(xué)學(xué)報(bào);2009年02期

2 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年07期

3 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識(shí)別與理解研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

4 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識(shí)別算法[J];光電子.激光;2013年08期

5 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J];中國圖象圖形學(xué)報(bào);2014年02期

6 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識(shí)別的新方法[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年06期

7 谷軍霞;丁曉青;王生進(jìn);;基于人體行為3D模型的2D行為識(shí)別[J];自動(dòng)化學(xué)報(bào);2010年01期

8 李英杰;尹怡欣;鄧飛;;一種有效的行為識(shí)別視頻特征[J];計(jì)算機(jī)應(yīng)用;2011年02期

9 王新旭;;基于視覺的人體行為識(shí)別研究[J];中國新通信;2012年21期

10 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動(dòng)用戶行為識(shí)別中的應(yīng)用[J];北京郵電大學(xué)學(xué)報(bào);2014年S1期

相關(guān)會(huì)議論文 前7條

1 苗強(qiáng);周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識(shí)別技術(shù)研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

2 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識(shí)別[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識(shí)別[A];2007中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

4 黃紫藤;吳玲達(dá);;監(jiān)控視頻中簡單人物行為識(shí)別研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 安國成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動(dòng)歷史圖的異常行為識(shí)別算法[A];第八屆中國智能交通年會(huì)優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動(dòng)用戶行為識(shí)別中的應(yīng)用研究[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

7 劉威;李石堅(jiān);潘綱;;uRecorder:基于位置的社會(huì)行為自動(dòng)日志[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前4條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日?qǐng)?bào);2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日?qǐng)?bào);2007年

3 東林;行為識(shí)別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報(bào);2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國際經(jīng)驗(yàn)[N];中國文物報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 邵延華;基于計(jì)算機(jī)視覺的人體行為識(shí)別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機(jī)場的智能家居行為識(shí)別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識(shí)別技術(shù)研究[D];浙江大學(xué);2015年

4 姜新波;基于三維骨架序列的人體行為識(shí)別研究[D];山東大學(xué);2015年

5 韓姍姍;基于視覺的運(yùn)動(dòng)人體特征描述與行為識(shí)別研究[D];浙江工業(yè)大學(xué);2015年

6 裴利沈;視頻中人體行為識(shí)別若干問題研究[D];電子科技大學(xué);2016年

7 何衛(wèi)華;人體行為識(shí)別關(guān)鍵技術(shù)研究[D];重慶大學(xué);2012年

8 吳秋霞;復(fù)雜場景下的人體行為識(shí)別[D];華南理工大學(xué);2012年

9 于成龍;基于視頻的人體行為識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2014年

10 王亮;基于判別模式學(xué)習(xí)的人體行為識(shí)別方法研究[D];哈爾濱工業(yè)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陳鈺昕;基于時(shí)空特性的人體行為識(shí)別研究[D];燕山大學(xué);2015年

2 任亮;智能車環(huán)境下車輛典型行為識(shí)別方法研究[D];長安大學(xué);2015年

3 趙利強(qiáng);基于移動(dòng)軌跡分析的大鼠行為識(shí)別研究[D];浙江大學(xué);2016年

4 魏汝翔;基于人體運(yùn)動(dòng)捕捉數(shù)據(jù)的運(yùn)動(dòng)分析技術(shù)研究[D];北京交通大學(xué);2016年

5 孫笛;基于信息融合的惡意代碼威脅性分析及判定關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2014年

6 田行輝;基于視頻的人體行為分析算法研究[D];東南大學(xué);2015年

7 黃詩輝;面向視頻的人類行為識(shí)別技術(shù)的研究與實(shí)現(xiàn)[D];東南大學(xué);2015年

8 徐嬌;高密度群體分割及其行為識(shí)別技術(shù)研究[D];中國計(jì)量學(xué)院;2015年

9 魏燁;基于智能手機(jī)傳感器的無監(jiān)督行為識(shí)別研究[D];蘭州大學(xué);2016年

10 鐘君;基于加速度傳感器的日常行為識(shí)別的特征提取方法研究[D];蘭州大學(xué);2016年

，

本文編號(hào)：2300837