【摘要】：進(jìn)入21世紀(jì),隨著信息技術(shù)的發(fā)展和人類生活的不斷智能化,計(jì)算機(jī)視覺正日益影響到人們生活的各個(gè)方面,而人體行為識(shí)別及分析,因其廣泛的應(yīng)用前景和實(shí)用價(jià)值,近幾年來一直都是計(jì)算機(jī)視覺方向的研究熱點(diǎn)。人體行為識(shí)別,即對(duì)原始的視頻圖像序列進(jìn)行分析,提取相關(guān)的行為特征信息,最后對(duì)這些信息進(jìn)行解釋以實(shí)現(xiàn)對(duì)人體行為的識(shí)別和學(xué)習(xí)。盡管計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的快速發(fā)展極大地推動(dòng)了行為識(shí)別領(lǐng)域的研究,而且隨著大數(shù)據(jù)技術(shù)的普及,算法的性能越來越多地依賴于數(shù)據(jù)集,然而如何選擇有效行為特征,以及目前數(shù)據(jù)集存在的遮擋、背景單一和缺少大量樣本數(shù)據(jù)等問題,使得基于大量數(shù)據(jù)的復(fù)雜自然場景下的人體行為識(shí)別技術(shù)仍然是一個(gè)非常具有挑戰(zhàn)性的研究領(lǐng)域。彩色-深度(RGB-Depth,RGB-D)傳感器能夠同時(shí)提供彩色和深度圖像,3D深度信息可以直接獲取而不再需要額外的計(jì)算,這為深度信息在人體行為識(shí)別領(lǐng)域內(nèi)的應(yīng)用提供了很大的方便。人體行為的識(shí)別和分析是依托于行為數(shù)據(jù)集進(jìn)行的,在行為識(shí)別研究的過程中,先后出現(xiàn)了多種數(shù)據(jù)集,目前存在的公共RGB-D行為數(shù)據(jù)集由于有限的行為類別,行為樣本數(shù)量以及單一化的背景環(huán)境,很難用于基于大量數(shù)據(jù)的復(fù)雜自然場景下的行為識(shí)別。因此,本文建立了一個(gè)綜合性RGB-D大規(guī)模行為數(shù)據(jù)集,以促進(jìn)對(duì)復(fù)雜自然場景下人體行為識(shí)別的研究,同時(shí),基于該綜合性數(shù)據(jù)集應(yīng)用了三種特征提取算法。本文的具體研究內(nèi)容如下:第一,分析了人體行為識(shí)別的研究背景、意義和目的,從數(shù)據(jù)集、特征提取和分類器三個(gè)層面綜述了人體行為識(shí)別的研究現(xiàn)狀,對(duì)基于RGB-D的行為識(shí)別研究面臨的問題進(jìn)行了闡述,介紹了本文的主要研究內(nèi)容和章節(jié)安排。第二,闡述了 RGB-D傳感器的優(yōu)點(diǎn)以及深度信息在人體行為識(shí)別中的重要性,對(duì)目前已經(jīng)存在的一些RGB-D數(shù)據(jù)集進(jìn)行了詳細(xì)的介紹,并比較了它們的優(yōu)缺點(diǎn)。第三,選擇了五個(gè)常用典型的RGB-D數(shù)據(jù)集,通過對(duì)這五個(gè)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行預(yù)處理、統(tǒng)計(jì)分析,最后整合成一個(gè)綜合性的RGB-D大數(shù)據(jù)集,并且對(duì)RGB-D大規(guī)模數(shù)據(jù)集中的行為類別進(jìn)行了重新標(biāo)定,統(tǒng)一了數(shù)據(jù)存儲(chǔ)格式。該部分主要對(duì)建立大規(guī)模數(shù)據(jù)集中的工作做了具體的描述,同時(shí)介紹了 RGB-D大規(guī)模數(shù)據(jù)集的數(shù)據(jù)信息、優(yōu)勢以及建立意義。第四,基于RGB-D大規(guī)模數(shù)據(jù)集提取了深度行為投影圖(Depth Motion Maps,DMMs)、深度立方體相似性特征(Depth Cuboid Similarity Feature,DCSF)和曲率尺度空間(Curvature Space Scale,CSS)三種類型的特征。DMMs特征累計(jì)整個(gè)深度視頻序列里兩個(gè)連續(xù)幀投影圖之間的絕對(duì)差(運(yùn)動(dòng)能量);DCSF描述了圍繞時(shí)空興趣點(diǎn)構(gòu)造的尺度自適應(yīng)3D深度立方體之間的相似性關(guān)系;CSS可以表示不同尺度水平下人體輪廓曲線的不變特征。三種特征提取算法分別在五個(gè)子數(shù)據(jù)集和綜合性大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),應(yīng)用協(xié)作表示分類器(Collaborative Representation Classifier,CRC)對(duì)人體行為進(jìn)行識(shí)別,通過對(duì)實(shí)驗(yàn)結(jié)果的比較和分析來驗(yàn)證所建立RGB-D大規(guī)模數(shù)據(jù)集的適用性和有效性。最后,對(duì)本文所做的全部工作進(jìn)行整理總結(jié),并對(duì)未來的研究方向進(jìn)行展望。
[Abstract]:In the 21st century, with the development of information technology and the increasingly intelligent of human life, computer vision is increasingly affecting all aspects of people's life, and human behavior identification and analysis, because of its wide application prospect and practical value, In recent years, it has been a hot topic in computer vision. The human behavior recognition, that is, the original video image sequence is analyzed, relevant behavior characteristic information is extracted, and finally, the information is interpreted so as to realize the identification and learning of human behavior. Although the rapid development of computer technology and image processing technology has greatly promoted the research in the field of behavior recognition, and with the popularization of large-data technology, the performance of the algorithm is increasingly dependent on the data set, however, how to select the effective behavior feature, As well as the problems such as occlusion, background single and lack of large amount of sample data in the current data set, the human behavior recognition technology under the complex natural scene based on the large amount of data is still a very challenging research field. The color-depth (RGB-Depth, RGB-D) sensor can provide both color and depth images at the same time, and the 3D depth information can be directly acquired without additional calculation, which provides great convenience for the application of the depth information in the field of human behavior identification. The identification and analysis of human behavior is based on the behavior data set. In the course of the study of behavior recognition, a variety of data sets have been presented, and the existing common RGB-D behavior data sets are due to the limited behavior category, the number of behavior samples and the single background environment. It is difficult to use for behavior recognition in complex natural scenes based on a large amount of data. Therefore, a comprehensive RGB-D large-scale behavior data set is established to promote the research of human behavior recognition in complex natural scene, and three feature extraction algorithms are applied based on the comprehensive data set. The research contents of this paper are as follows: First, the research background, meaning and purpose of human behavior recognition are analyzed, the research status of human behavior recognition is summarized from three aspects of data set, feature extraction and classifier, and the problems facing the research of behavior recognition based on RGB-D are described. The main contents and chapters of this paper are introduced. Secondly, the advantages of RGB-D sensor and the importance of depth information in human behavior recognition are described, and some of the existing RGB-D data sets are described in detail, and their advantages and disadvantages are compared. thirdly, five typical RGB-D data sets are selected, the data in the five data sets are pre-processed, analyzed and finally integrated into a comprehensive RGB-D large data set, and the behavior categories in the RGB-D large-scale data set are re-calibrated, The data storage format is unified. This part mainly describes the establishment of large-scale data set, and introduces the data information, advantage and significance of the large-scale data set of RGB-D. Fourth, based on the RGB-D large-scale data set, three types of features of the depth behavior projection (DMM), the depth cube similarity feature (DCSF) and the curvature scale space (CSS) are extracted. The DMs feature accumulates the absolute difference (motion energy) between two consecutive frame projections in the entire depth video sequence; the DCSF describes the similarity relationship between the scale adaptive 3D depth cubes constructed around the space-time interest point structure; CSS can represent the invariant feature of the human profile curve at different scale levels. The three feature extraction algorithms are tested on the five sub-data sets and the comprehensive large data set, and the cooperative expression classifier (CRC) is used to identify the human behavior. The applicability and validity of the established RGB-D large-scale data set are verified by the comparison and analysis of the experimental results. Finally, the whole work done in this paper is summarized, and the future research direction is expected.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉相濱,向堅(jiān)持,王勝春;人行為識(shí)別與理解研究探討[J];計(jì)算機(jī)與現(xiàn)代化;2004年12期

2 李寧;須德;傅曉英;袁玲;;結(jié)合人體運(yùn)動(dòng)特征的行為識(shí)別[J];北京交通大學(xué)學(xué)報(bào);2009年02期

3 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測模型的多人行為識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年07期

4 吳聯(lián)世;夏利民;羅大庸;;人的交互行為識(shí)別與理解研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

5 申曉霞;張樺;高贊;薛彥兵;徐光平;;一種魯棒的基于深度數(shù)據(jù)的行為識(shí)別算法[J];光電子.激光;2013年08期

6 鄭胤;陳權(quán)崎;章毓晉;;深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J];中國圖象圖形學(xué)報(bào);2014年02期

7 曾青松;余明輝;賀衛(wèi)國;李玲;;一種行為識(shí)別的新方法[J];昆明理工大學(xué)學(xué)報(bào)(理工版);2009年06期

8 谷軍霞;丁曉青;王生進(jìn);;基于人體行為3D模型的2D行為識(shí)別[J];自動(dòng)化學(xué)報(bào);2010年01期

9 李英杰;尹怡欣;鄧飛;;一種有效的行為識(shí)別視頻特征[J];計(jì)算機(jī)應(yīng)用;2011年02期

10 王新旭;;基于視覺的人體行為識(shí)別研究[J];中國新通信;2012年21期

相關(guān)會(huì)議論文 前7條

1 苗強(qiáng);周興社;於志文;倪紅波;;一種非覺察式的睡眠行為識(shí)別技術(shù)研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

2 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識(shí)別[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

3 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識(shí)別[A];2007中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

4 黃紫藤;吳玲達(dá);;監(jiān)控視頻中簡單人物行為識(shí)別研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

5 安國成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動(dòng)歷史圖的異常行為識(shí)別算法[A];第八屆中國智能交通年會(huì)優(yōu)秀論文集——智能交通與安全[C];2013年

6 王忠民;曹棟;;坐標(biāo)轉(zhuǎn)換在移動(dòng)用戶行為識(shí)別中的應(yīng)用研究[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

7 劉威;李石堅(jiān);潘綱;;uRecorder:基于位置的社會(huì)行為自動(dòng)日志[A];第18屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前4條

1 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日?qǐng)?bào);2001年

2 農(nóng)發(fā)行鹿邑支行黨支部書記 行長 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日?qǐng)?bào);2007年

3 東林;行為識(shí)別新技術(shù)讓監(jiān)控沒有“死角”[N];人民公安報(bào);2007年

4 田凱　徐蕊 李政育 信木祥;博物館安全的國際經(jīng)驗(yàn)[N];中國文物報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 邵延華;基于計(jì)算機(jī)視覺的人體行為識(shí)別研究[D];重慶大學(xué);2015年

2 仝鈺;基于條件隨機(jī)場的智能家居行為識(shí)別研究[D];大連海事大學(xué);2015年

3 馮銀付;多模態(tài)人體行為識(shí)別技術(shù)研究[D];浙江大學(xué);2015年

4 姜新波;基于三維骨架序列的人體行為識(shí)別研究[D];山東大學(xué);2015年

5 裴利沈;視頻中人體行為識(shí)別若干問題研究[D];電子科技大學(xué);2016年

6 周同馳;行為識(shí)別中基于局部時(shí)空關(guān)系的特征模型研究[D];東南大學(xué);2016年

7 徐海燕;復(fù)雜環(huán)境下行為識(shí)別特征提取方法研究[D];東南大學(xué);2016年

8 吳云鵬;集體行為的識(shí)別與仿真研究[D];鄭州大學(xué);2017年

9 劉艷秋;舍飼環(huán)境下母羊產(chǎn)前典型行為識(shí)別方法研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2017年

10 何衛(wèi)華;人體行為識(shí)別關(guān)鍵技術(shù)研究[D];重慶大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 唐小琴;基于全局和局部運(yùn)動(dòng)模式的人體行為識(shí)別研究[D];西南大學(xué);2015年

2 胡秋揚(yáng);可穿戴式個(gè)人室內(nèi)位置和行為監(jiān)測系統(tǒng)[D];浙江大學(xué);2015年

3 陳鈺昕;基于時(shí)空特性的人體行為識(shí)別研究[D];燕山大學(xué);2015年

4 任亮;智能車環(huán)境下車輛典型行為識(shí)別方法研究[D];長安大學(xué);2015年

5 金澤豪;并行化的人體行為識(shí)別方法研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

6 王呈;穿戴式多傳感器人體日�；顒�(dòng)監(jiān)測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2015年

7 王露;基于稀疏時(shí)空特征的人體行為識(shí)別研究[D];蘇州大學(xué);2015年

8 于靜;基于物品信息和人體深度信息的行為識(shí)別研究[D];山東大學(xué);2015年

9 章瑜;人體運(yùn)動(dòng)行為識(shí)別相關(guān)方法研究[D];南京師范大學(xué);2015年

10 趙揚(yáng);家庭智能空間下基于行走軌跡的人體行為理解[D];山東大學(xué);2015年

，

本文編號(hào)：2484981