在基于視覺的人機(jī)交互中,利用人體動(dòng)作是非常有效的方法。然而動(dòng)作是一個(gè)復(fù)雜的三維信號(hào),在復(fù)雜的場(chǎng)景下高效穩(wěn)定的識(shí)別人體動(dòng)作仍然存在很多問題。針對(duì)人體動(dòng)作識(shí)別問題,本文分別從視頻序列、人體骨架序列以及二者的融合中提取動(dòng)作時(shí)空特征,利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別分類。根據(jù)項(xiàng)目需求,本文研究?jī)?nèi)容主要分為以下幾個(gè)部分:基于視頻流的雙通道卷積神經(jīng)網(wǎng)絡(luò)動(dòng)作識(shí)別算法。針對(duì)現(xiàn)有的雙通道卷積神經(jīng)網(wǎng)絡(luò)由于計(jì)算稠密光流速度緩慢的問題,提出一種在訓(xùn)練和識(shí)別過程中都是端到端的雙通道卷積神經(jīng)網(wǎng)絡(luò)框架。網(wǎng)絡(luò)包含空間和全局時(shí)域兩個(gè)通道,對(duì)人體動(dòng)作進(jìn)行表征和識(shí)別。以MobileNetV2為基礎(chǔ)網(wǎng)絡(luò),空間通道對(duì)動(dòng)作圖像進(jìn)行深度學(xué)習(xí),全局時(shí)域通道對(duì)能量運(yùn)動(dòng)歷史圖（Energy Motion History Image,EMHI）進(jìn)行深度學(xué)習(xí),然后將兩個(gè)通道融合,并采用一種多幀融合的方法來提升準(zhǔn)確率�；诠羌苄蛄械木矸e神經(jīng)網(wǎng)絡(luò)動(dòng)作識(shí)別算法�；谝曨l的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于場(chǎng)景的變化魯棒性較差,并且不能在夜間識(shí)別。本文提出一種基于骨架序列的動(dòng)作識(shí)別系統(tǒng),首先對(duì)人體骨架序列進(jìn)行視圖不變變換以消除視點(diǎn)的影響,然后將變換后的序列編碼到RGB空間,... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

人體動(dòng)作等級(jí)本課題基于視頻-骨架序列對(duì)于家庭環(huán)境下人體動(dòng)作識(shí)別問題展開研究，但由

運(yùn)動(dòng)信息的有效時(shí)空表示對(duì)于人體動(dòng)作準(zhǔn)確率和魯棒性。圖 1-2 動(dòng)作識(shí)別流程取動(dòng)作特征體結(jié)構(gòu)的表示方法識(shí)別方法采用 3D 模型來描述動(dòng)作，1983 年 Hog了 WALKER 等級(jí)模型來理解和解釋人類行為。Ro識(shí)別框架，該模型使用連接的氣缸及其演變來識(shí)別ogg 等人提出的 WALKER 等級(jí)模型，右圖是 Rohr

圖 1-4 Johansson 實(shí)驗(yàn)示意圖?Yilmaz 等人[6]首先選取人體的 13 個(gè)關(guān)節(jié)節(jié)點(diǎn)，然后對(duì)于一個(gè)視頻序列幀都進(jìn)行提取和跟蹤，最后得到人體關(guān)節(jié)節(jié)點(diǎn)在整個(gè)視頻中的軌跡，進(jìn)作進(jìn)行識(shí)別，如圖 1-5 所示。圖 1-5 人體節(jié)點(diǎn)軌跡2 全局特征表示方法

【參考文獻(xiàn)】：
期刊論文
[1]基于Kinect骨架追蹤的人體摔倒自動(dòng)檢測(cè)[J]. 王君澤,朱小龍,瞿暢.  上海交通大學(xué)學(xué)報(bào). 2015(09)



本文編號(hào)：3004753