本文關(guān)鍵詞：基于深度數(shù)據(jù)的人體動(dòng)作分割與識(shí)別，由筆耕文化傳播整理發(fā)布。

【摘要】：人體動(dòng)作的分割和識(shí)別一直是計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要的課題。在人機(jī)交互、視頻監(jiān)控自動(dòng)化、游戲控制系統(tǒng)等應(yīng)用場景下,準(zhǔn)確的動(dòng)作識(shí)別都是整個(gè)系統(tǒng)中至關(guān)重要的一環(huán)。相較于單純的二維視頻數(shù)據(jù),如今三維數(shù)據(jù)保留了以前缺失的“z軸”信息,因此深度數(shù)據(jù)在動(dòng)作識(shí)別上擁有明顯的優(yōu)勢(shì)。另一方面,對(duì)視頻流進(jìn)行動(dòng)作分割也是一個(gè)頗有難度的任務(wù),目前絕大部分已提出的基于深度視頻的動(dòng)作識(shí)別算法均是基于已經(jīng)人工劃分好的視頻片段來進(jìn)行的,我們通過對(duì)這些片段數(shù)據(jù)的訓(xùn)練,往往可以得到很高的動(dòng)作識(shí)別準(zhǔn)確率,但是當(dāng)應(yīng)用場景換到實(shí)時(shí)的視頻流下,就難維持很高的準(zhǔn)確率了。在本文中,我們提出了幾套能夠分割視頻流中連續(xù)人體動(dòng)作并分別識(shí)別的解決方案。我們使用的數(shù)據(jù)為人體三維深度數(shù)據(jù)(Kinect捕獲),具體表現(xiàn)形式為人體骨架節(jié)點(diǎn)位置和深度圖像幀。這兩種類型的數(shù)據(jù)均包含了豐富的信息以助于我們從視頻中提取特征,但同時(shí)數(shù)據(jù)中也包含了不少噪音。對(duì)于骨架節(jié)點(diǎn),我們主要計(jì)算它們之間的空間位置關(guān)系；對(duì)于深度圖像幀,我們基于Depth Motion Map (DMM),以及擴(kuò)展后的DMM金字塔(DMM-Pryamid)進(jìn)行多種特種提取操作。此外我們針對(duì)相應(yīng)特征分別使用了傳統(tǒng)的sVM分類器,二維／三維卷積神經(jīng)網(wǎng)絡(luò),循環(huán)神經(jīng)網(wǎng)絡(luò)來進(jìn)行訓(xùn)練和識(shí)別。對(duì)于動(dòng)作分割,我們提出了兩種方法,其一為基于概率分布差(Probability-Distribution-Difference, PDD)的動(dòng)態(tài)動(dòng)作邊界探測框架；另一項(xiàng)為基于maximum subarray search的時(shí)間平滑化方法。上述的分割算法均為在線算法,可以處理實(shí)時(shí)的深度視頻流。我們?cè)诙鄠�(gè)領(lǐng)域內(nèi)廣泛使用的數(shù)據(jù)集上完成了多項(xiàng)實(shí)驗(yàn),并且與現(xiàn)今其它方法相比,我們的方法在準(zhǔn)確率、性能等關(guān)鍵指標(biāo)上具有優(yōu)勢(shì)。
【關(guān)鍵詞】：動(dòng)作識(shí)別 動(dòng)作分割 深度圖像 機(jī)器學(xué)習(xí) 深度學(xué)習(xí)
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41
【目錄】：

• 摘要4-5
• Abstract5-10
• 第一章 緒論10-14
• 1.1 研究背景10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.3 論文工作與內(nèi)容安排12-14
• 第二章 基于深度數(shù)據(jù)的人體動(dòng)作分割與識(shí)別綜述14-22
• 2.1 動(dòng)作識(shí)別14-19
• 2.1.1 人體模型特征14-15
• 2.1.2 圖像模型特征15
• 2.1.3 局部特征15
• 2.1.4 具體方法介紹15-19
• 2.2 動(dòng)作分割19-21
• 2.2.1 邊界檢測20
• 2.2.2 滑動(dòng)窗口20-21
• 2.3 本章小結(jié)21-22
• 第三章 基于DMM-HOG與PDD的動(dòng)作分割與識(shí)別方法22-32
• 3.1 基于視頻片段的識(shí)別23-25
• 3.1.1 骨架節(jié)點(diǎn)特征23-24
• 3.1.2 DMM-HOG24
• 3.1.3 基于SVM的分類器集合24-25
• 3.2 在完整視頻上的分割25-27
• 3.2.1 PDD定義25
• 3.2.2 邊界檢測策略25-27
• 3.3 實(shí)驗(yàn)結(jié)果與討論27-31
• 3.3.1 識(shí)別準(zhǔn)確率27-28
• 3.3.2 分割實(shí)驗(yàn)結(jié)果28-31
• 3.4 本章小結(jié)31-32
• 第四章 基于DMM-Pyramid和卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作識(shí)別方法32-42
• 4.1 基于2D-CNN的深度模型33-37
• 4.1.1 DMM-Pyramid33-34
• 4.1.2 CNN模型34-36
• 4.1.3 進(jìn)一步提升識(shí)別準(zhǔn)確率的策略36-37
• 4.2 基于3D-CNN的深度模型37-38
• 4.2.1 DMM的分割和堆疊37
• 4.2.2 CNN模型37-38
• 4.3 實(shí)驗(yàn)結(jié)果與討論38-41
• 4.3.1 MSR Action3D數(shù)據(jù)集38-40
• 4.3.2 在MSR Gesture3D數(shù)據(jù)集上的手勢(shì)識(shí)別40-41
• 4.4 本章小結(jié)41-42
• 第五章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的動(dòng)作分割與識(shí)別方法42-52
• 5.1 循環(huán)神經(jīng)網(wǎng)絡(luò)43-45
• 5.1.1 模型簡述43-44
• 5.1.2 在時(shí)域上的后向傳播44-45
• 5.2 排序特征45-47
• 5.2.1 骨架節(jié)點(diǎn)特征45-46
• 5.2.2 深度序列特征46-47
• 5.3 在線動(dòng)作識(shí)別47-48
• 5.4 實(shí)驗(yàn)結(jié)果與討論48-50
• 5.4.1 數(shù)據(jù)集48
• 5.4.2 實(shí)驗(yàn)結(jié)果48-50
• 5.5 本章小結(jié)50-52
• 第六章 總結(jié)與展望52-54
• 參考文獻(xiàn)54-60
• 攻讀碩士學(xué)位期間完成的學(xué)術(shù)成果60-61
• 致謝61-62

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 胡雅琴;;動(dòng)作識(shí)別技術(shù)及其發(fā)展[J];電視技術(shù);2013年S2期

2 倪世宏,史忠科,謝川,王彥鴻;軍用戰(zhàn)機(jī)機(jī)動(dòng)飛行動(dòng)作識(shí)別知識(shí)庫的建立[J];計(jì)算機(jī)仿真;2005年04期

3 程祥;;人體動(dòng)作識(shí)別的研究[J];電腦知識(shí)與技術(shù);2006年20期

4 黃飛躍;徐光yP;;視角無關(guān)的動(dòng)作識(shí)別[J];軟件學(xué)報(bào);2008年07期

5 徐光yP;曹媛媛;;動(dòng)作識(shí)別與行為理解綜述[J];中國圖象圖形學(xué)報(bào);2009年02期

6 黃麗鴻;高智勇;劉海華;;基于脈沖神經(jīng)網(wǎng)絡(luò)的人體動(dòng)作識(shí)別[J];現(xiàn)代科學(xué)儀器;2012年02期

7 周艷青;王磊;;基于視覺的人體動(dòng)作識(shí)別綜述[J];山東輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年01期

8 曹琨;;基于檢索表的實(shí)時(shí)動(dòng)作識(shí)別技術(shù)研究[J];中外企業(yè)家;2014年05期

9 劉博;安建成;;基于關(guān)鍵姿勢(shì)的人體動(dòng)作識(shí)別[J];電視技術(shù);2014年05期

10 王燕;張紹武;凌志剛;潘泉;;基于圖嵌入線性拓展方法的人體動(dòng)作識(shí)別研究[J];計(jì)算機(jī)仿真;2008年10期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前7條

1 袁飛;程韜波;周松斌;肖先文;;基于加速度特征的可拓動(dòng)作識(shí)別方法[A];廣州市儀器儀表學(xué)會(huì)2009年學(xué)術(shù)年會(huì)論文集[C];2010年

2 黃飛躍;徐光yP;;自然的人體動(dòng)作識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

3 葉喜勇;陶霖密;王國建;邸慧軍;;視角無關(guān)的人體軀干動(dòng)作識(shí)別[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

4 黃艷歡;葉少珍;;連續(xù)動(dòng)作分割綜述[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2008年

5 董力賡;陶霖密;徐光yP;;頭部姿態(tài)和動(dòng)作的識(shí)別與理解[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

6 朱巖;趙旭;劉允才;;基于稀疏編碼和局部時(shí)空特征的人體動(dòng)作識(shí)別[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

7 席旭剛;金燕;朱海港;高云園;;基于小波包熵和支持向量機(jī)的手部肌電信號(hào)動(dòng)作識(shí)別[A];2013年中國智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第五分冊(cè)）[C];2013年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 本報(bào)記者 陳丹;人與機(jī)器的“對(duì)話”[N];科技日?qǐng)?bào);2010年

2 ;凌空敲鍵盤？無線計(jì)算機(jī)手套問世[N];中國計(jì)算機(jī)報(bào);2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 諶先敢;現(xiàn)實(shí)環(huán)境下的人體動(dòng)作識(shí)別[D];武漢大學(xué);2012年

2 陳淵博;視頻序列中的人體動(dòng)作識(shí)別[D];北京郵電大學(xué);2015年

3 陳萌;基于李代數(shù)高斯表示的動(dòng)作識(shí)別方法研究[D];華中科技大學(xué);2016年

4 李擬s，

本文編號(hào)：291570