【摘要】：由于廣闊的應(yīng)用前景和重要的學(xué)術(shù)價(jià)值,基于視頻的人體行為分析已經(jīng)成為計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)之一。在實(shí)際應(yīng)用中,為了更好的分析視頻行為,不僅需要對(duì)視頻的行為類別進(jìn)行識(shí)別,而且需要定位行為發(fā)生的具體時(shí)空位置。真實(shí)場(chǎng)景下的人體行為十分復(fù)雜,考慮人體行為中的時(shí)空上下文信息,可以實(shí)現(xiàn)對(duì)復(fù)雜行為的準(zhǔn)確識(shí)別和精準(zhǔn)定位。因此,本文主要研究如何充分利用時(shí)空上下文信息提高模型的識(shí)別和定位性能,研究?jī)?nèi)容包括:(1)基于時(shí)空描述距離測(cè)度的復(fù)雜行為識(shí)別。為了提高模型的描述力,本文充分整合行為視頻中包含的有效時(shí)空信息,設(shè)計(jì)實(shí)現(xiàn)行為模式的更有效表示,消除復(fù)雜行為識(shí)別問(wèn)題中的描述鴻溝,從而提高復(fù)雜行為的識(shí)別準(zhǔn)確率。本文通過(guò)整合局部特征周圍的結(jié)構(gòu)信息以及構(gòu)建局部特征間的時(shí)空關(guān)聯(lián),提出三種時(shí)空描述子和相應(yīng)的距離測(cè)度方法,用以衡量行為視頻間的時(shí)空距離,可同時(shí)用于識(shí)別簡(jiǎn)單單人行為和復(fù)雜交互行為。(2)基于層級(jí)時(shí)空概率圖模型的復(fù)雜行為識(shí)別。為了提高模型的判別力,本文提出一個(gè)層級(jí)時(shí)空概率圖模型,同時(shí)建模人體行為及其附近交互場(chǎng)景中包含的所有時(shí)空關(guān)聯(lián),并且集成從局部到全局的所有層級(jí)特征,消除復(fù)雜行為識(shí)別問(wèn)題中的語(yǔ)義鴻溝,從而提高復(fù)雜行為的識(shí)別準(zhǔn)確率。本文使用概率圖模型直接作用于底層特征進(jìn)行時(shí)空建模,從復(fù)雜的行為數(shù)據(jù)中學(xué)習(xí)出具有判別性的行為識(shí)別模型。(3)聯(lián)合時(shí)空上下文的復(fù)雜行為識(shí)別和定位。為了提高模型的定位精度,本文提出一個(gè)統(tǒng)一的基于時(shí)空上下文的概率圖模型,聯(lián)合利用目標(biāo)行為本身及其周邊環(huán)境上下文信息共同修正定位邊界;為了縮小目標(biāo)行為的搜索空間,本文利用深度強(qiáng)化網(wǎng)絡(luò)學(xué)習(xí)一個(gè)更加符合人類感知過(guò)程的高效搜索策略,在僅僅提取少量行為候選區(qū)域的條件下,獲得更精確的時(shí)空定位結(jié)果;為了減少所需的人工標(biāo)注數(shù)量,本文整合人體行為中潛在的時(shí)空動(dòng)態(tài)和先驗(yàn)知識(shí),重新定義強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)函數(shù)和損失函數(shù),彌補(bǔ)因不完全標(biāo)注帶來(lái)的信息缺失。我們?cè)诙鄠�(gè)公共行為數(shù)據(jù)集上驗(yàn)證了所提模型的有效性。實(shí)驗(yàn)結(jié)果表明時(shí)空上下文不僅能夠增強(qiáng)模型的描述性和判別性,提升模型的識(shí)別性能,而且能夠修正模型的定位邊界,有助于更精準(zhǔn)的定位人體行為。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP391.41;TP181
【圖文】：

代替耗時(shí)的窮盡搜索算法，縮小搜索空間，減少所需候選區(qū)域數(shù)量。逡逑１．５論文的結(jié)構(gòu)安排逡逑本文中，復(fù)雜人體行為分析的研宄內(nèi)容框架如圖１－１所示。從圖中可以看出人逡逑體行為分析包含三個(gè)關(guān)鍵問(wèn)題：行為表達(dá)，行為識(shí)別和行為定位。行為表達(dá)的目逡逑的是提取更具描述性和判別性的特征表示；行為識(shí)別即為時(shí)變序列數(shù)據(jù)的分類問(wèn)逡逑題或時(shí)空建模問(wèn)題；行為定位的目標(biāo)為定位行為發(fā)生的起始幀和結(jié)束幀（時(shí)間定逡逑位），以及每幀的具體空間區(qū)域（空間定位）。本文，將圍繞行為分析中的這三個(gè)逡逑關(guān)鍵技術(shù)進(jìn)行研究，解決各自存在的不足和問(wèn)題，提高行為識(shí)別的準(zhǔn)確率和行為逡逑定位的精度，從而全面提升人體行為分析系統(tǒng)的性能。逡逑行為分析＾邋：￣￣邐邐邋｜二逡逑ｕ識(shí)別模型＿類別標(biāo)號(hào)逡逑Ｌ未分割視頻＿行為表達(dá)＿邋邐逡逑Ｉ定位模型＿時(shí)寶位置逡逑圖１－１．復(fù)雜人體行為分析的研宄內(nèi)容框架。逡逑、邐Ｆｉｇｕｒｅ邋１－１．邋Ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｃｏｍｐｌｅｘ邋ｈｕｍａｎ邋ａｃｔｉｖｉｔｙ邋ａｎａｌｙｓｉｓ．逡逑本文的主要內(nèi)容分為６章，具體結(jié)構(gòu)安排如下：逡逑第１章緒論。主要介紹基于視頻的人體行為分析的研究背景和研究意義。詳逡逑９逡逑

方法可分為于傳統(tǒng)機(jī)器學(xué)習(xí)的方和于深度學(xué)習(xí)的方法。前者征加分類器的框架，而后者是一種端對(duì)端的學(xué)習(xí)框架。本章將首先體行為分析研宄的公共數(shù)據(jù)集，然后分別對(duì)基于傳統(tǒng)機(jī)器學(xué)習(xí)的行基于深度學(xué)習(xí)的行為分析方法的研宄現(xiàn)狀進(jìn)行總結(jié)和比較。此外，深度強(qiáng)化學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用和相關(guān)擴(kuò)展。逡逑人體行為公共數(shù)據(jù)集逡逑著基于視頻的人體行為分析的迅速發(fā)展，大量的公共人體行為數(shù)據(jù)立，旨在方便研究者進(jìn)行公平和系統(tǒng)地算法驗(yàn)證和比較。人體行為最初的簡(jiǎn)單背景下的單人行為（例如Ｗｅｉｚｍａｎｎ和ＫＴＨ），發(fā)展到更的交互行為（例如邋ＵＴ－Ｉｎｔｅｒａｃｔｉｏｎ，ＢＩＴ－Ｉｎｔｅｒａｃｔｉｏｎ，邋Ｇｕｐｔａ邋和邋ＣＡＳＩＡ），真實(shí)場(chǎng)景下的網(wǎng)絡(luò)視頻（ＵＣＦ１０１和ＨＭＤＢ５１）。目前在人體行為分?jǐn)?shù)據(jù)集有：逡逑Ｗｅｉｚｍａｎｎ單人行為數(shù)據(jù)集逡逑

邐＇逡逑個(gè)人的一種行為。在這個(gè)視頻數(shù)據(jù)集中，視頻由固定攝像頭拍攝，背景靜止干凈，逡逑且前景提供了剪影信息。因此，該數(shù)據(jù)集可用來(lái)驗(yàn)證簡(jiǎn)單單人行為的識(shí)別。圖２－１逡逑中給出了該數(shù)據(jù)集中各類行為視頻的截圖示例。逡逑（２）邋ＫＴＨ單人行為數(shù)據(jù)集逡逑ＫＴＨ數(shù)據(jù)集［１１３］邋２００４年發(fā)布，包括６類簡(jiǎn)單單人行為：走路（ｗａｌｋｉｎｇ），慢逡逑跑（ｊｏｇｇｉｎｇ），跑步（ｒｕｎｎｉｎｇ），拳擊（ｂｏｘｉｎｇ），揮手（ｈａｎｄ邋ｗａｖｉｎｇ）和拍手（ｈａｎｄ逡逑ｄａｐｐｉｎｇ）。該數(shù)據(jù)集一共有５９９段視頻，其中每類行為由２５個(gè)不同的人在４種不逡逑同的場(chǎng)景下執(zhí)行。４個(gè)場(chǎng)景分別為室外攝像頭靜止場(chǎng)景，室內(nèi)場(chǎng)景，室外攝像頭伸逡逑縮場(chǎng)景，室外不同衣著顏色場(chǎng)景。與Ｗｅｉｚｍａｎｎ數(shù)據(jù)集一樣，ＫＴＨ數(shù)據(jù)集中的視逡逑頻也是分割好的行為片段，每段包含有且僅有一個(gè)人的一種行為。與之不同的是，逡逑ＫＴＨ數(shù)據(jù)集中的視頻類內(nèi)差異更大，背景雖然相對(duì)靜止，但是鏡頭存在拉近拉遠(yuǎn)逡逑和伸縮

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 富倩;;人體行為識(shí)別研究[J];信息與電腦(理論版);2017年24期

2 趙雄偉;;人體行為特征融合與行為識(shí)別的分析[J];無(wú)線互聯(lián)科技;2017年12期

3 雷慶;陳鍛生;李紹滋;;復(fù)雜場(chǎng)景下的人體行為識(shí)別研究新進(jìn)展[J];計(jì)算機(jī)科學(xué);2014年12期

4 魯統(tǒng)偉;任瑩;;基于光流的人體行為識(shí)別[J];電腦知識(shí)與技術(shù);2013年07期

5 王新旭;;基于視覺(jué)的人體行為識(shí)別研究[J];中國(guó)新通信;2012年21期

6 劉相濱,向堅(jiān)持,王勝春;人行為識(shí)別與理解研究探討[J];計(jì)算機(jī)與現(xiàn)代化;2004年12期

7 ;城市形象設(shè)計(jì)與建設(shè)(連載)——第十章 城市行為識(shí)別[J];經(jīng)濟(jì)工作導(dǎo)刊;2000年01期

8 岳興錄,陳素賢;企業(yè)形象策劃的行為識(shí)別和視覺(jué)識(shí)別[J];遼寧經(jīng)濟(jì);1996年06期

9 張偉東;陳峰;徐文立;杜友田;;基于階層多觀測(cè)模型的多人行為識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版)網(wǎng)絡(luò).預(yù)覽;2009年07期

10 田國(guó)會(huì);尹建芹;韓旭;于靜;;一種基于關(guān)節(jié)點(diǎn)信息的人體行為識(shí)別新方法[J];機(jī)器人;2014年03期

相關(guān)會(huì)議論文 前10條

1 齊娟;陳益強(qiáng);劉軍發(fā);;基于多模信息感知與融合的行為識(shí)別[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

2 連儒東;李佳;;人體行為識(shí)別分析技術(shù)在檢察監(jiān)督中的應(yīng)用及構(gòu)建[A];深化依法治國(guó)實(shí)踐背景下的檢察權(quán)運(yùn)行——第十四屆國(guó)家高級(jí)檢察官論壇論文集[C];2018年

3 安國(guó)成;羅志強(qiáng);李洪研;;改進(jìn)運(yùn)動(dòng)歷史圖的異常行為識(shí)別算法[A];第八屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通與安全[C];2013年

4 何靖蕓;周洪鈞;;示教學(xué)習(xí):一種端到端的機(jī)器人行為識(shí)別及生成的模仿學(xué)習(xí)方法[A];第36屆中國(guó)控制會(huì)議論文集（E）[C];2017年

5 王忠民;張新平;梁琛;;基于滑動(dòng)窗口異常數(shù)據(jù)提取的跌倒行為監(jiān)測(cè)方法[A];2016年全國(guó)通信軟件學(xué)術(shù)會(huì)議程序冊(cè)與交流文集[C];2016年

6 劉威;李石堅(jiān);潘綱;;uRecorder:基于位置的社會(huì)行為自動(dòng)日志[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

7 數(shù)采創(chuàng)新項(xiàng)目組;;“algMelt聚類融合算法”模型在零售客戶數(shù)采異常行為識(shí)別中的探索與應(yīng)用[A];中國(guó)煙草學(xué)會(huì)2015年度優(yōu)秀論文匯編[C];2015年

8 郝明軒;劉巍;;核安全文化評(píng)價(jià)與工程實(shí)踐[A];中國(guó)核學(xué)會(huì)核能動(dòng)力學(xué)會(huì)核電質(zhì)量保證專業(yè)委員會(huì)第十屆年會(huì)暨學(xué)術(shù)報(bào)告會(huì)論文專集[C];2010年

9 屈立笳;蘇紅;涂剛;;基于安全事件關(guān)聯(lián)分析的反垃圾郵件系統(tǒng)的研究[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

10 方帥;曹洋;王浩;;視頻監(jiān)控中的行為識(shí)別[A];2007中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 甘肅省武威市涼州區(qū)第一幼兒園 劉桂娥;從幼兒行為識(shí)別教育誤區(qū)[N];中國(guó)教育報(bào);2018年

2 東林;行為識(shí)別新技術(shù)讓監(jiān)控沒(méi)有“死角”[N];人民公安報(bào);2007年

3 素杰;形象就是影響力[N];中國(guó)包裝報(bào);2004年

4 本報(bào)記者 馬愛(ài)平;動(dòng)一動(dòng)就認(rèn)清你？機(jī)器說(shuō)可以[N];科技日?qǐng)?bào);2017年

5 國(guó)家郵政局公眾服務(wù)部;明確經(jīng)營(yíng)理念 推進(jìn)形象工程[N];中國(guó)郵政報(bào);2002年

6 何正坤;安全文化與企業(yè)CI戰(zhàn)略[N];中華合作時(shí)報(bào);2003年

7 國(guó)家稅務(wù)總局法規(guī)司 張學(xué)瑞;加強(qiáng)稅收違法行為識(shí)別的研究[N];中國(guó)稅務(wù)報(bào);2013年

8 符蓉邋通訊員 劉瀟;外經(jīng)貿(mào)職院引入大學(xué)新形象系統(tǒng)工程[N];湖南日?qǐng)?bào);2007年

9 農(nóng)發(fā)行鹿邑支行黨支部書(shū)記 行長(zhǎng) 劉永貞;發(fā)行形象與文化落地農(nóng)[N];周口日?qǐng)?bào);2007年

10 李晨光;導(dǎo)入CIS要注意什么？[N];河北經(jīng)濟(jì)日?qǐng)?bào);2001年

相關(guān)博士學(xué)位論文 前10條

1 康飛龍;基于機(jī)器學(xué)習(xí)的多目標(biāo)豬只狀態(tài)與個(gè)體行為識(shí)別研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2018年

2 許萬(wàn)茹;復(fù)雜人體行為分析的時(shí)空上下文方法研究[D];北京交通大學(xué);2018年

3 丁文文;基于三維骨架的時(shí)空表示與人體行為識(shí)別[D];西安電子科技大學(xué);2017年

4 楊延華;潛在信息融合的多任務(wù)人體行為識(shí)別[D];西安電子科技大學(xué);2017年

5 齊鏜泉;基于深度學(xué)習(xí)的行為識(shí)別與旅游場(chǎng)景分類關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2017年

6 牛曉鵬;普適計(jì)算環(huán)境下人體行為識(shí)別及情景感知研究[D];北京科技大學(xué);2018年

7 陳華鋒;視頻人體行為識(shí)別關(guān)鍵技術(shù)研究[D];武漢大學(xué);2017年

8 劉yN楠;基于空時(shí)信息的行為識(shí)別方法研究[D];電子科技大學(xué);2018年

9 梁銳;視頻語(yǔ)義分析若干問(wèn)題研究[D];電子科技大學(xué);2018年

10 汪亮;基于可穿戴傳感器網(wǎng)絡(luò)的人體行為識(shí)別技術(shù)研究[D];南京大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 趙曉葉;基于深度信息的人體行為識(shí)別方法研究[D];江南大學(xué);2018年

2 昝寶鋒;基于深度圖和線性表示模型的人體行為識(shí)別研究[D];江南大學(xué);2018年

3 徐海洋;基于深度信息和骨骼信息的人體行為識(shí)別算法研究[D];江南大學(xué);2018年

4 徐洋洋;基于深度神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別研究[D];廣西師范大學(xué);2018年

5 汪賢龍;基于智能手機(jī)的無(wú)監(jiān)督行為識(shí)別中的相似性度量方法研究[D];蘭州大學(xué);2018年

6 高陽(yáng);基于雙流卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)控視頻中打斗行為識(shí)別研究[D];西安理工大學(xué);2018年

7 張銀珠;基于軌跡池化神經(jīng)網(wǎng)絡(luò)的視頻行為識(shí)別[D];華南理工大學(xué);2018年

8 趙永康;應(yīng)用Kinect的人體行為識(shí)別方法研究與實(shí)現(xiàn)[D];吉林大學(xué);2018年

9 常玉青;人機(jī)協(xié)作中基于多Kinect的人體行為識(shí)別研究[D];吉林大學(xué);2018年

10 張遠(yuǎn);基于智能手機(jī)的用戶行為識(shí)別研究[D];內(nèi)蒙古大學(xué);2018年

本文編號(hào)：2793508