基于視覺信息的手勢(shì)識(shí)別目前是一個(gè)活躍的研究課題。手勢(shì)識(shí)別技術(shù)已經(jīng)在很多領(lǐng)域得到了應(yīng)用,包括虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、手語(yǔ)識(shí)別、機(jī)器人控制、智能家居、游戲娛樂(lè)、醫(yī)療輔助系統(tǒng)等,隨著智能化的不斷推進(jìn),有著巨大的潛在應(yīng)用前景。手勢(shì)是一種較短時(shí)間的身體運(yùn)動(dòng),包含表觀信息和運(yùn)動(dòng)信息。復(fù)雜的背景、不同的光照條件、個(gè)體間執(zhí)行手勢(shì)的差異等都會(huì)影響手勢(shì)的識(shí)別。基于視頻的手勢(shì)識(shí)別可能更會(huì)因視頻的質(zhì)量較差、手勢(shì)相對(duì)區(qū)域較小的影響而增加識(shí)別難度。本文是對(duì)SKIGRGB-D多模態(tài)的孤立手勢(shì)視頻進(jìn)行手勢(shì)識(shí)別研究。首先將RGB和Depth兩種單模態(tài)視頻提取成圖片的形式保存,然后采樣成長(zhǎng)度為32幀的手勢(shì)序列分別輸入到本文提出的稠密連接的3DCNN組件學(xué)習(xí)短期的時(shí)空域特征,然后將提取的時(shí)空域特征輸入到卷積GRU網(wǎng)絡(luò)進(jìn)行長(zhǎng)期的時(shí)空域特征學(xué)習(xí),最終對(duì)單模態(tài)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行多模態(tài)融合,提升網(wǎng)絡(luò)識(shí)別準(zhǔn)確率。本文在SKIG數(shù)據(jù)集上取得了99.07%的識(shí)別準(zhǔn)確率,達(dá)到了極高的準(zhǔn)確率,證明了本文提出的網(wǎng)絡(luò)模型的有效性。

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
中文摘要
Abstract
中文文摘
第一章 緒論
    1.1 引言
    1.2 課題研究背景及意義
    1.3 手勢(shì)識(shí)別研究現(xiàn)狀
    1.4 本論文主要內(nèi)容及論文結(jié)構(gòu)
第二章 深度學(xué)習(xí)及典型網(wǎng)絡(luò)模型
    2.1 人工神經(jīng)網(wǎng)絡(luò)
        2.1.1 神經(jīng)元模型
        2.1.2 BP神經(jīng)網(wǎng)絡(luò)
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.2.2 卷積神經(jīng)網(wǎng)絡(luò)常用技術(shù)
        2.2.3 經(jīng)典網(wǎng)絡(luò)模型介紹
    2.3 三維卷積神經(jīng)網(wǎng)絡(luò)
    2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.4.1 基本的RNN網(wǎng)絡(luò)
        2.4.2 LSTM及GRU
    2.5 卷積和循環(huán)網(wǎng)絡(luò)的結(jié)合
    2.6 本章小結(jié)
第三章 稠密連接的3DCNN及卷積GRU模型
    3.1 網(wǎng)絡(luò)模型總體介紹
        3.1.1 模型提出的依據(jù)
        3.1.2 模型總體結(jié)構(gòu)
    3.2 稠密連接的3DCNN組件
        3.2.1 DenseNets介紹
        3.2.2 稠密連接的3DCNN結(jié)構(gòu)
    3.3 雙層卷積GRU網(wǎng)絡(luò)
    3.4 SPP層及全連接層
    3.5 融合策略與性能度量
        3.5.1 多模態(tài)融合方式
        3.5.2 模型性能度量
    3.6 本章小結(jié)
第四章 實(shí)驗(yàn)與結(jié)果分析
    4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集
        4.1.1 實(shí)驗(yàn)運(yùn)行環(huán)境
        4.1.2 RGB-D手勢(shì)視頻數(shù)據(jù)集
    4.2 視頻數(shù)據(jù)集的處理
        4.2.1 視頻轉(zhuǎn)成圖片格式
        4.2.2 交叉驗(yàn)證法
        4.2.3 數(shù)據(jù)集的劃分與標(biāo)簽處理
        4.2.4 數(shù)據(jù)增強(qiáng)方式
    4.3 網(wǎng)絡(luò)模型的訓(xùn)練
        4.3.1 網(wǎng)絡(luò)超參數(shù)的設(shè)置
        4.3.2 深度學(xué)習(xí)平臺(tái)的操作
    4.4 實(shí)驗(yàn)結(jié)果與對(duì)比
        4.4.1 實(shí)驗(yàn)結(jié)果
        4.4.2 對(duì)比與總結(jié)
    4.5 本章小節(jié)
第五章 總結(jié)與展望
參考文獻(xiàn)
攻讀學(xué)位期間承擔(dān)的科研任務(wù)與主要成果
致謝
個(gè)人簡(jiǎn)歷



本文編號(hào)：3764022