視頻作為信息的主要載體之一,已越來越多的被人類共享。如何理解和分析這些海量涌現(xiàn)的視頻數(shù)據(jù)顯得至關(guān)重要。視頻中的人體動作識別研究已經(jīng)成為計算機視覺領(lǐng)域中極具挑戰(zhàn)性的課題。不論是在視頻信息檢索、日常生活安全、公共視頻監(jiān)控,還是人機交互、科學(xué)認(rèn)知等領(lǐng)域都有廣泛的應(yīng)用。本文首先簡單概述動作識別研究背景與意義還有難點,接著從模型輸入信號的類型和數(shù)量、是否結(jié)合了傳統(tǒng)特征提取方法、模型預(yù)訓(xùn)練三個維度詳細綜述了基于深度學(xué)習(xí)的動作識別方法,及比較分析了它們在UCF101和HMDB51這兩個數(shù)據(jù)集上的識別效果。最后分別從視頻預(yù)處理、視頻中人體運動信息表征、模型學(xué)習(xí)訓(xùn)練這三個角度對未來動作識別可能的發(fā)展方向進行了論述。通過對當(dāng)前基于深度模型的視頻動作識別方法進行總結(jié)對比分析以供相關(guān)研究者參考。結(jié)合深度模型的時間信息和空間信息的雙流方法是視頻動作識別領(lǐng)域中最為典型的方法。本文從最初的雙流網(wǎng)絡(luò)結(jié)構(gòu)出發(fā),提出了一種時空壓縮激勵殘差乘法網(wǎng)絡(luò)用于視頻動作識別,該方法有效提升了動作識別的性能。針對淺層網(wǎng)絡(luò)和一般深度模型學(xué)習(xí)空間信息和時間信息的不足,提出將壓縮激勵殘差網(wǎng)絡(luò)用于空間流和時間流的動作識別。通過將恒等映射核作為...

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1.1傳統(tǒng)動作識別方法的分類圖

圖1.1傳統(tǒng)動作識別方法的分類圖不同于傳統(tǒng)的動作識別方法，基于深度學(xué)習(xí)的端到端方法是將特征提取表達與后續(xù)的全連接網(wǎng)絡(luò)層進行統(tǒng)一訓(xùn)練和學(xué)習(xí)，實現(xiàn)特征提取和分類的無縫連接。圖1.2是基于深度學(xué)習(xí)的動作識別方法分類圖。從圖1.2可以看出，基于深度學(xué)習(xí)的動作識別方法包含三大類....

圖1.2深度學(xué)習(xí)動作識別方法的分類圖

圖1.2深度學(xué)習(xí)動作識別方法的分類圖1.3視頻動作識別的研究難點視頻中的人體動作識別主要有兩個步驟，先是視頻中人體動作的特征表示，然后是對這些特征進行理解并最終分類。視頻圖像的特征表達是視頻動作識別的重點，可以分成基于模型的表示以及不基于模型的表示，其中后者又可分為局部特征....

圖2.1三維卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

表示成單幀光流特征圖，并將其應(yīng)用于動作識別中。2.2.2輸入信號流的個數(shù)根據(jù)輸入信號流的數(shù)量，當(dāng)前基于深度模型的動作識別方法可以分為單流、雙流及多流網(wǎng)絡(luò)模型方法。2.2.2.1單流動作識別模型在單流動作識別模型中，使用最廣泛的是三維卷積神經(jīng)網(wǎng)絡(luò)。三維卷積的概念最初是Shui....

圖2.2二流網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2.2二流網(wǎng)絡(luò)結(jié)構(gòu)圖視頻動作識別的訓(xùn)練數(shù)據(jù)集相較于圖像領(lǐng)域的ImageNet[61]數(shù)據(jù)集來說相對較小，在訓(xùn)練時更容易出現(xiàn)過擬合。相比于圖像識別領(lǐng)域的深度模型（如VGGNet[62]和GoogLeNet[63]），視頻動作識別采用的二流卷積網(wǎng)絡(luò)結(jié)構(gòu)相對較淺，因此表達能力....

本文編號：3961877