視頻中的動(dòng)作識(shí)別,目的是使計(jì)算機(jī)能夠看懂人類的動(dòng)作,從而做出相應(yīng)的回應(yīng),是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)和難點(diǎn)。相對(duì)于圖像識(shí)別的發(fā)展,視頻中的動(dòng)作識(shí)別考慮的是一段視頻,涉及多種不同類型特征,從而使得動(dòng)作識(shí)別不像圖像識(shí)別領(lǐng)域的發(fā)展一樣迅速、高效。視頻中的動(dòng)作識(shí)別研究從早期的傳統(tǒng)方法到近年來的深度學(xué)習(xí)方法,其識(shí)別的速度和準(zhǔn)確度都在不斷提升。深度學(xué)習(xí)方法中結(jié)合空間信息和時(shí)間信息的雙流方法是當(dāng)前動(dòng)作識(shí)別領(lǐng)域最主流的方法。本文基于雙流方法分別在空間流和時(shí)間流模型上進(jìn)行改進(jìn),再對(duì)空間流和時(shí)間流模型采用串聯(lián)的方式完成整體串流網(wǎng)絡(luò)模型的搭建。單個(gè)的空間流和時(shí)間流,對(duì)視頻特征側(cè)重點(diǎn)不同,一個(gè)側(cè)重于空間信息,一個(gè)側(cè)重于時(shí)間信息。本文提出的多層分類的串流網(wǎng)絡(luò)模型,將空間流作為第一層分類模型,根據(jù)空間流模型的分類得分判斷是否存在空間特征模糊情況,選擇是否進(jìn)入第二層的時(shí)間流分類模型。進(jìn)入時(shí)間模型后,根據(jù)時(shí)間流模型的分類得分判斷是否時(shí)間特征也模糊,選擇是否進(jìn)入第三層的得分融合模型將空間特征和時(shí)間特征進(jìn)行融合分類。這種融合方法根據(jù)輸入視頻特征,自適應(yīng)調(diào)整融合方案,不僅有效地減少了計(jì)算量,節(jié)約了資源空間,而且還保留... 

【文章來源】：江西理工大學(xué)江西省

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

原始視頻幀和剪影能量圖像

圖2.1 原始視頻幀和剪影能量圖像光流是物體在空間中運(yùn)動(dòng)的直觀表示，是一個(gè)物體運(yùn)動(dòng)時(shí)在空間中所發(fā)生的變化，光流特征則是用來描述這種變化。如下圖2.2 所示，左邊的兩張?jiān)紙D片是 UCF101 數(shù)據(jù)集[36]視頻中的相鄰的兩幀，右邊則是通過 Brox 光流算法[37]得出的光流圖片�；诠饬魈卣鱉ahbub 等人[38]提出一種基于光流分析和隨機(jī)抽樣一致（Random sample consensus，RANSAC）算法的運(yùn)動(dòng)特征表示方法，該方法通過光流本身的性質(zhì)來體現(xiàn)運(yùn)動(dòng)特征，然后利用 RANSAC算法過濾掉場(chǎng)景中不需要的感興趣點(diǎn)，保留與人體動(dòng)作相關(guān)的點(diǎn)。通過這種方式估計(jì)視頻幀內(nèi)的人體面積，并將該區(qū)域分割成許多較小的區(qū)域，然后記錄幀到幀之間每塊小區(qū)域興趣點(diǎn)的百分比變化。對(duì)執(zhí)行相同動(dòng)作不同人重復(fù)以上過程，計(jì)算最終各個(gè)區(qū)域塊的平均值，最后通過這些平均值構(gòu)造該動(dòng)作的特征向量

相似性度量的新型動(dòng)作識(shí)別方法，該方法使用動(dòng)作的單個(gè)示例來作為查詢對(duì)象進(jìn)行相關(guān)動(dòng)作匹配，通過計(jì)算目標(biāo)視頻與查詢視頻時(shí)空立方體之間的相似性來完成動(dòng)作的分類。圖2.3 時(shí)空興趣點(diǎn)圖和3D 變換后的特征圖片軌跡特征是指用坐標(biāo)軌跡的形式描述視頻中人體運(yùn)動(dòng)所發(fā)生的位置變化。雖然在軌跡特征之前很多在圖像領(lǐng)域取得成功的特征提取算法在視頻方面也取得了成功，但是從視頻的序列性角度出發(fā)，二維或是一維空間的特征提取算法在三維視頻方面必定存在較大欠缺，所以基于序列軌跡的視頻特征提取算法的出現(xiàn)時(shí)必然的。早期Matikainen等人[42]就提出了一種基于跟蹤特征的量化軌跡片段技術(shù)，通過這種技術(shù)對(duì)視頻進(jìn)行量化跟蹤生成軌跡特征，在Hollywood[43]動(dòng)作識(shí)別數(shù)據(jù)庫(kù)上的效果要好于基于光流特征的算法。Sun等人[44]基于興趣點(diǎn)上下文、軌跡內(nèi)上下文、軌跡間上下文三個(gè)層次的特征進(jìn)行建模抽取時(shí)空特征并最終HOHA[43]和LSCOM[45]數(shù)據(jù)庫(kù)上取得了較大成功。受到這些軌跡算法的影響以及密集抽樣[46, 47]在圖像識(shí)別領(lǐng)域所獲得成功，Heng Wang等人在文獻(xiàn)[48]中提出了一種新的視頻特征——稠密軌跡特征（Dense Trajectories，DT）

【參考文獻(xiàn)】：
期刊論文
[1]行為識(shí)別中一種基于融合特征的改進(jìn)VLAD編碼方法[J]. 羅會(huì)蘭,王嬋娟.  電子學(xué)報(bào). 2019(01)
[2]基于3D人體骨架的動(dòng)作識(shí)別[J]. 張友梅,常發(fā)亮,劉洪彬.  電子學(xué)報(bào). 2017(04)
[3]基于改進(jìn)深層網(wǎng)絡(luò)的人臉識(shí)別算法[J]. 李倩玉,蔣建國(guó),齊美彬.  電子學(xué)報(bào). 2017(03)
[4]自然環(huán)境下日常動(dòng)作的在線識(shí)別[J]. 曹媛媛,黃飛躍,陶霖密,徐光祐.  電子學(xué)報(bào). 2009(S1)



本文編號(hào)：3099506