人體動(dòng)作檢測研究如何讓計(jì)算機(jī)自動(dòng)地找出視頻中發(fā)生動(dòng)作的位置,并識(shí)別出動(dòng)作的類別。它是自動(dòng)視頻分析的一項(xiàng)重要內(nèi)容,也是計(jì)算機(jī)視覺研究領(lǐng)域的一個(gè)重點(diǎn)研究方向,在智能安防、人機(jī)交互和自動(dòng)駕駛等方面都扮演著非常重要的角色。目前的動(dòng)作檢測方法多是先使用動(dòng)作候選片段提議方法生成一些候選片段,再對這些候選片段進(jìn)行調(diào)整來得到最后的檢測結(jié)果,因此動(dòng)作檢測的性能很大程度上取決于動(dòng)作候選片段的質(zhì)量。但由于目前的動(dòng)作候選片段提議方案不能充分捕捉時(shí)域上下文信息,且沒有考慮動(dòng)作在時(shí)域上的相關(guān)性,因此生成的候選動(dòng)作片段往往數(shù)量冗余且質(zhì)量不高。為了解決上述問題,本文提出了基于邊界概率的級聯(lián)動(dòng)作檢測技術(shù),主要工作如下:(1)提出了基于時(shí)域卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作邊界概率預(yù)測模型,用來預(yù)測輸入視頻的動(dòng)作邊界概率。該模型能夠在保持模型參數(shù)較少的同時(shí),讓網(wǎng)絡(luò)不僅具有多個(gè)尺度的“感受野”,更具有自適應(yīng)的“感受野”,從而充分捕捉時(shí)域上運(yùn)動(dòng)的細(xì)微變化,來實(shí)現(xiàn)準(zhǔn)確的動(dòng)作邊界預(yù)測。(2)提出了基于長短期記憶網(wǎng)絡(luò)的邊界概率微調(diào)模型,對上一步得到的邊界概率進(jìn)行微調(diào)。該模型利用長短期記憶網(wǎng)絡(luò)在時(shí)域上的記憶特性,來捕捉時(shí)域上動(dòng)作不同階段的關(guān)聯(lián)性,能夠?qū)?dòng)作概率進(jìn)行修正,從而減少冗余的候選片段并提高候選片段的質(zhì)量。最終將以上兩個(gè)模型整合為一個(gè)級聯(lián)模型,用來產(chǎn)生高質(zhì)量的動(dòng)作候選片段,然后基于這些候選片段實(shí)現(xiàn)了更準(zhǔn)確的動(dòng)作檢測。本文的方法在THUMOS2014數(shù)據(jù)庫上平均檢索候選片段數(shù)目為50時(shí)的將召回率從目前最好的37.46%提高到了43.06%;基于這些動(dòng)作候選片段實(shí)現(xiàn)的動(dòng)作檢測的平均準(zhǔn)確率從目前最好的45.1%提高到了48.8%;在這兩項(xiàng)指標(biāo)上都超過目前學(xué)術(shù)界最好的性能。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TP183
【部分圖文】：

和公共場所的安全隱患，為人們的生活增添一道保障。機(jī)交互�；谟�(jì)算機(jī)視覺技術(shù)的人體動(dòng)作識(shí)別技術(shù)能夠在非機(jī)器進(jìn)行交互，相較于傳統(tǒng)的鍵盤手柄等輸入設(shè)備，這種方式感游戲方面尤其出色。育運(yùn)動(dòng)分析�？捎糜谳o助體育運(yùn)動(dòng)中的日常訓(xùn)練和對運(yùn)動(dòng)員軌跡等信息的統(tǒng)計(jì)分析。駕駛�？捎糜趯Φ缆飞闲腥说臋z測和識(shí)別，讓自動(dòng)駕駛變得頻內(nèi)容壓縮。目前各種視頻在線網(wǎng)站繁多，允許用戶上傳視可以幫助快速用戶壓縮視頻中不必要的背景和無用鏡頭，減能家居。為家中有老人小孩或者行動(dòng)不便的用戶提供針對家在家中檢測到嬰兒摔倒等意外場景發(fā)出警報(bào)并緊急聯(lián)系其他

因?yàn)椴煌娜藢ν粋�(gè)動(dòng)作何時(shí)開始和結(jié)束的判定是有誤差的，因此動(dòng)作檢測的邊界往往有幾幀甚至幾十幀的偏移。如圖 1-3 中（a）所示，數(shù)據(jù)集中的標(biāo)注動(dòng)作是從 2025 幀開始的，但是實(shí)際上第 2025 幀和在其之前的第 2020 甚至第 2015 幀并無太大差異。（2）自然場景下的視頻質(zhì)量不一，而且會(huì)有很多干擾，如鏡頭模糊和光線變化等，在這樣的條件下實(shí)現(xiàn)精準(zhǔn)的動(dòng)作檢測極具挑戰(zhàn)性。如圖 1-3 中（b）所示，視頻的鏡頭模糊和光線變化讓視頻中發(fā)生的動(dòng)作變得難以區(qū)分。（3）不同類別的動(dòng)作之間有很多共享的肢體動(dòng)作或背景環(huán)境，也就是說對動(dòng)作檢測有區(qū)分性的特征在視頻中占比很少。這些小細(xì)節(jié)對計(jì)算機(jī)來說是難以觀察捕捉，如在撐桿跳和跳遠(yuǎn)這兩個(gè)運(yùn)動(dòng)中，運(yùn)動(dòng)員的助跑姿勢是一樣的，而且都是在標(biāo)準(zhǔn)的田徑場，背景又是高度一致的，如圖 1-3 中（c）所示。（4）不同的動(dòng)作持續(xù)時(shí)長和整段視頻時(shí)長的比例變化非常大，不同的動(dòng)作持續(xù)時(shí)長少則幾幀，多則幾百幀；而整段視頻的時(shí)長一般在 2000幀~20000 幀之間，二者的比例甚至能達(dá)到萬分之一，因此如何在時(shí)序上進(jìn)行有效的建模是一個(gè)關(guān)鍵難點(diǎn)。

圖 2-1 人體動(dòng)作識(shí)別的一般框架可分為輸入視頻、數(shù)據(jù)預(yù)處理、特征提取、時(shí)序編碼和動(dòng)作分類五大步驟。第一步是獲取不同類型的輸入視頻，可以是基于常見的彩色圖像，也可以是經(jīng)過計(jì)算后的光流圖像或者特殊設(shè)備采集到的深度圖像等。第二步接著對數(shù)據(jù)進(jìn)行必要的預(yù)處理，如數(shù)據(jù)歸一化和尺寸縮放等常見的數(shù)據(jù)增強(qiáng)方法，以及為了減輕計(jì)算復(fù)雜度常用的數(shù)據(jù)采樣，如對視頻的等間隔下采樣或者抽幀。第三步是對得到的基于幀的數(shù)據(jù)進(jìn)行特征提取，得到統(tǒng)一的向量表達(dá)，常見的是手工特征和神經(jīng)網(wǎng)絡(luò)特征。第四步是通過時(shí)序編碼將提取的局部特征融合成全局視頻特征，一般分為基于傳統(tǒng)方法和神經(jīng)網(wǎng)絡(luò)方法這兩類。第五步是使用分類器對得到的特征進(jìn)行分類學(xué)習(xí)，同樣地也有基于傳統(tǒng)方法和神經(jīng)網(wǎng)絡(luò)方法這兩類。由以上框架簡介可知，高質(zhì)量的視頻特征對視頻分類的精度尤為重要，一般來說特征提取也是整個(gè)框架中最耗時(shí)的部分，因此這部分也是研究者的重點(diǎn)研究對象。下文也將主要介紹特征提取的相關(guān)技術(shù)。
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;用概率判生死:法庭上的數(shù)學(xué)證據(jù)[J];語數(shù)外學(xué)習(xí)(高中版中旬);2017年01期

2 ;統(tǒng)計(jì)概率值[J];護(hù)理管理雜志;2009年06期

3 林兆升;甘玉華;;分析測試疑難問題評述及實(shí)例分析[J];重慶環(huán)境保護(hù);1987年06期

4 屈定坤;Fuzzy概率預(yù)測初探[J];安徽財(cái)貿(mào)學(xué)院學(xué)報(bào);1988年03期

5 葉子祥;用模糊事件的概率變換進(jìn)行非線性相關(guān)因子篩選[J];氣象;1988年07期

6 崔德山;關(guān)于七點(diǎn)鏈[J];兵工學(xué)報(bào);1988年03期

7 徐斌;;FTA中基本概率值選取途徑的探討[J];工業(yè)安全與防塵;1988年09期

8 葉子祥;;用模糊事件的概率變換進(jìn)行非線性相關(guān)因子篩選[J];浙江氣象科技;1988年03期

9 劉治中;王俊德;叢樹錚;;P-Ⅲ型分布的期望概率計(jì)算[J];河海大學(xué)學(xué)報(bào);1989年04期

10 王艷;模糊概率值法在曬煙品種(系)綜合評價(jià)中的應(yīng)用[J];延邊大學(xué)農(nóng)學(xué)學(xué)報(bào);2002年01期

相關(guān)碩士學(xué)位論文 前10條

1 徐亮;基于邊界概率的級聯(lián)動(dòng)作檢測技術(shù)研究[D];華中科技大學(xué);2019年

2 洪嘉玲;基于光伏出力概率預(yù)測的儲(chǔ)能優(yōu)化配置方法[D];合肥工業(yè)大學(xué);2019年

3 龐東澤;基于風(fēng)電出力重構(gòu)的風(fēng)電容量效益評估研究[D];華北電力大學(xué)(北京);2019年

4 方凱;基于轉(zhuǎn)換概率分析的硬件木馬檢測方法研究[D];合肥工業(yè)大學(xué);2019年

5 喻瑤;考慮員工偏好分布的服務(wù)型單位概率用工研究[D];杭州電子科技大學(xué);2019年

6 堯睿智;基于貝葉斯方法的盾構(gòu)隧道參數(shù)概率反演及可靠度分析[D];南昌大學(xué);2019年

7 靳培英;11-15歲兒童概率概念認(rèn)知水平與認(rèn)知策略發(fā)展研究[D];杭州師范大學(xué);2019年

8 李昊;販毒人員屬性關(guān)聯(lián)分析與概率預(yù)測[D];東北大學(xué);2017年

9 許敏;概率教學(xué)情境下學(xué)生隨機(jī)性思維發(fā)展水平研究[D];閩南師范大學(xué);2017年

10 周琳琳;概率反Top-k查詢上Why-not問題研究[D];浙江大學(xué);2017年

本文編號：2835337