【摘要】：隨著計(jì)算機(jī)軟硬件以及互聯(lián)網(wǎng)的飛速發(fā)展,計(jì)算機(jī)視覺(jué)在各個(gè)領(lǐng)域得到了廣泛的關(guān)注。其中,視頻中的人體動(dòng)作識(shí)別技術(shù)在安防和監(jiān)控等領(lǐng)域具有重要作用。在視頻人體動(dòng)作識(shí)別研究領(lǐng)域,RGB-D攝像機(jī)的出現(xiàn)提供了視頻的深度信息,同時(shí)也為如何處理這些信息帶來(lái)了挑戰(zhàn)。如何挖掘視頻中的有效特征一直是動(dòng)作識(shí)別中的難點(diǎn)之一。另一方面,隨著深度學(xué)習(xí)熱潮的興起,計(jì)算機(jī)視覺(jué)中的多項(xiàng)任務(wù)不斷取得突破性的進(jìn)展。因此,基于深度學(xué)習(xí)框架,本文重點(diǎn)在以下幾個(gè)方面展開(kāi)研究:首先,本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)動(dòng)作識(shí)別方法,根據(jù)不同模態(tài)信息的特性分別采用不同的深度神經(jīng)網(wǎng)絡(luò),并將多種深度網(wǎng)絡(luò)結(jié)合起來(lái),以挖掘視頻中人體動(dòng)作的多模態(tài)時(shí)空深度特征。其次,本文針對(duì)視頻場(chǎng)景復(fù)雜造成人體動(dòng)作顯著性不高的問(wèn)題,提出了一種基于視覺(jué)顯著性的動(dòng)作識(shí)別方法。該方法結(jié)合了三維神經(jīng)網(wǎng)絡(luò)以及遞歸神經(jīng)網(wǎng)絡(luò)的特點(diǎn),設(shè)計(jì)了一種端到端的深度學(xué)習(xí)網(wǎng)絡(luò)模型,同時(shí)保留視頻的空間和時(shí)序特征進(jìn)行動(dòng)作識(shí)別。最后,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Web端的動(dòng)作識(shí)別演示系統(tǒng),用戶通過(guò)選擇待識(shí)別視頻,經(jīng)由服務(wù)器處理分析并識(shí)別,將最終的識(shí)別結(jié)果分析呈現(xiàn)在用戶端,方便用戶分析算法的實(shí)際運(yùn)用效果。
[Abstract]:With the rapid development of computer hardware and software and Internet, computer vision has been widely concerned in various fields. Human motion recognition plays an important role in the field of security and surveillance. In the field of video human motion recognition, the appearance of RGB-D camera not only provides the depth information of video, but also brings challenges to how to deal with this information. How to mine effective features in video is always one of the difficulties in motion recognition. On the other hand, with the rise of deep learning, many tasks in computer vision have made great progress. Therefore, based on the depth learning framework, this paper focuses on the following aspects: first, this paper proposes a multi-modal motion recognition method based on depth neural network. According to the characteristics of different modes of information, different depth neural networks are adopted, and a variety of depth networks are combined to mine the multi-modal space-time depth characteristics of human actions in video. Secondly, a motion recognition method based on visual salience is proposed to solve the problem that the human motion is not significant due to the complexity of video scene. This method combines the characteristics of 3D neural network and recurrent neural network, and designs an end-to-end deep learning network model, while preserving the spatial and temporal features of the video for motion recognition. Finally, this paper designs and implements a motion recognition demonstration system based on Web. By selecting the video to be identified, the user analyzes and recognizes the final recognition result through the server, and presents the final recognition result to the user. The practical application effect of the convenient user analysis algorithm.
【學(xué)位授予單位】：南京理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡雅琴;;動(dòng)作識(shí)別技術(shù)及其發(fā)展[J];電視技術(shù);2013年S2期

2 倪世宏,史忠科,謝川,王彥鴻;軍用戰(zhàn)機(jī)機(jī)動(dòng)飛行動(dòng)作識(shí)別知識(shí)庫(kù)的建立[J];計(jì)算機(jī)仿真;2005年04期

3 程祥;;人體動(dòng)作識(shí)別的研究[J];電腦知識(shí)與技術(shù);2006年20期

4 黃飛躍;徐光yP;;視角無(wú)關(guān)的動(dòng)作識(shí)別[J];軟件學(xué)報(bào);2008年07期

5 徐光yP;曹媛媛;;動(dòng)作識(shí)別與行為理解綜述[J];中國(guó)圖象圖形學(xué)報(bào);2009年02期

6 黃麗鴻;高智勇;劉海華;;基于脈沖神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別[J];現(xiàn)代科學(xué)儀器;2012年02期

7 周艷青;王磊;;基于視覺(jué)的人體動(dòng)作識(shí)別綜述[J];山東輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年01期

8 曹琨;;基于檢索表的實(shí)時(shí)動(dòng)作識(shí)別技術(shù)研究[J];中外企業(yè)家;2014年05期

9 劉博;安建成;;基于關(guān)鍵姿勢(shì)的人體動(dòng)作識(shí)別[J];電視技術(shù);2014年05期

10 王燕;張紹武;凌志剛;潘泉;;基于圖嵌入線性拓展方法的人體動(dòng)作識(shí)別研究[J];計(jì)算機(jī)仿真;2008年10期

相關(guān)會(huì)議論文 前7條

1 袁飛;程韜波;周松斌;肖先文;;基于加速度特征的可拓動(dòng)作識(shí)別方法[A];廣州市儀器儀表學(xué)會(huì)2009年學(xué)術(shù)年會(huì)論文集[C];2010年

2 黃飛躍;徐光yP;;自然的人體動(dòng)作識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

3 葉喜勇;陶霖密;王國(guó)建;邸慧軍;;視角無(wú)關(guān)的人體軀干動(dòng)作識(shí)別[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

4 黃艷歡;葉少珍;;連續(xù)動(dòng)作分割綜述[A];第十四屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

5 董力賡;陶霖密;徐光yP;;頭部姿態(tài)和動(dòng)作的識(shí)別與理解[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

6 朱巖;趙旭;劉允才;;基于稀疏編碼和局部時(shí)空特征的人體動(dòng)作識(shí)別[A];第十五屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

7 席旭剛;金燕;朱海港;高云園;;基于小波包熵和支持向量機(jī)的手部肌電信號(hào)動(dòng)作識(shí)別[A];2013年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第五分冊(cè)）[C];2013年

相關(guān)重要報(bào)紙文章 前2條

1 本報(bào)記者 陳丹;人與機(jī)器的“對(duì)話”[N];科技日?qǐng)?bào);2010年

2 ;凌空敲鍵盤(pán)？無(wú)線計(jì)算機(jī)手套問(wèn)世[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)博士學(xué)位論文 前10條

1 諶先敢;現(xiàn)實(shí)環(huán)境下的人體動(dòng)作識(shí)別[D];武漢大學(xué);2012年

2 陳淵博;視頻序列中的人體動(dòng)作識(shí)別[D];北京郵電大學(xué);2015年

3 劉翠微;視頻中人的動(dòng)作分析與理解[D];北京理工大學(xué);2015年

4 陳萌;基于李代數(shù)高斯表示的動(dòng)作識(shí)別方法研究[D];華中科技大學(xué);2016年

5 李擬s，

本文編號(hào)：2412040