基于視覺信息的手勢識別目前是一個活躍的研究課題。手勢識別技術(shù)已經(jīng)在很多領(lǐng)域得到了應(yīng)用,包括虛擬現(xiàn)實、增強現(xiàn)實、手語識別、機器人控制、智能家居、游戲娛樂、醫(yī)療輔助系統(tǒng)等,隨著智能化的不斷推進,有著巨大的潛在應(yīng)用前景。手勢是一種較短時間的身體運動,包含表觀信息和運動信息。復(fù)雜的背景、不同的光照條件、個體間執(zhí)行手勢的差異等都會影響手勢的識別�；谝曨l的手勢識別可能更會因視頻的質(zhì)量較差、手勢相對區(qū)域較小的影響而增加識別難度。本文是對SKIGRGB-D多模態(tài)的孤立手勢視頻進行手勢識別研究。首先將RGB和Depth兩種單模態(tài)視頻提取成圖片的形式保存,然后采樣成長度為32幀的手勢序列分別輸入到本文提出的稠密連接的3DCNN組件學(xué)習(xí)短期的時空域特征,然后將提取的時空域特征輸入到卷積GRU網(wǎng)絡(luò)進行長期的時空域特征學(xué)習(xí),最終對單模態(tài)訓(xùn)練好的網(wǎng)絡(luò)進行多模態(tài)融合,提升網(wǎng)絡(luò)識別準確率。本文在SKIG數(shù)據(jù)集上取得了99.07%的識別準確率,達到了極高的準確率,證明了本文提出的網(wǎng)絡(luò)模型的有效性。

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【文章目錄】：
中文摘要
Abstract
中文文摘
第一章 緒論
    1.1 引言
    1.2 課題研究背景及意義
    1.3 手勢識別研究現(xiàn)狀
    1.4 本論文主要內(nèi)容及論文結(jié)構(gòu)
第二章 深度學(xué)習(xí)及典型網(wǎng)絡(luò)模型
    2.1 人工神經(jīng)網(wǎng)絡(luò)
        2.1.1 神經(jīng)元模型
        2.1.2 BP神經(jīng)網(wǎng)絡(luò)
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
        2.2.2 卷積神經(jīng)網(wǎng)絡(luò)常用技術(shù)
        2.2.3 經(jīng)典網(wǎng)絡(luò)模型介紹
    2.3 三維卷積神經(jīng)網(wǎng)絡(luò)
    2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.4.1 基本的RNN網(wǎng)絡(luò)
        2.4.2 LSTM及GRU
    2.5 卷積和循環(huán)網(wǎng)絡(luò)的結(jié)合
    2.6 本章小結(jié)
第三章 稠密連接的3DCNN及卷積GRU模型
    3.1 網(wǎng)絡(luò)模型總體介紹
        3.1.1 模型提出的依據(jù)
        3.1.2 模型總體結(jié)構(gòu)
    3.2 稠密連接的3DCNN組件
        3.2.1 DenseNets介紹
        3.2.2 稠密連接的3DCNN結(jié)構(gòu)
    3.3 雙層卷積GRU網(wǎng)絡(luò)
    3.4 SPP層及全連接層
    3.5 融合策略與性能度量
        3.5.1 多模態(tài)融合方式
        3.5.2 模型性能度量
    3.6 本章小結(jié)
第四章 實驗與結(jié)果分析
    4.1 實驗環(huán)境與數(shù)據(jù)集
        4.1.1 實驗運行環(huán)境
        4.1.2 RGB-D手勢視頻數(shù)據(jù)集
    4.2 視頻數(shù)據(jù)集的處理
        4.2.1 視頻轉(zhuǎn)成圖片格式
        4.2.2 交叉驗證法
        4.2.3 數(shù)據(jù)集的劃分與標簽處理
        4.2.4 數(shù)據(jù)增強方式
    4.3 網(wǎng)絡(luò)模型的訓(xùn)練
        4.3.1 網(wǎng)絡(luò)超參數(shù)的設(shè)置
        4.3.2 深度學(xué)習(xí)平臺的操作
    4.4 實驗結(jié)果與對比
        4.4.1 實驗結(jié)果
        4.4.2 對比與總結(jié)
    4.5 本章小節(jié)
第五章 總結(jié)與展望
參考文獻
攻讀學(xué)位期間承擔(dān)的科研任務(wù)與主要成果
致謝
個人簡歷



本文編號：3764022