手勢估計是計算機圖形領(lǐng)域與人機交互領(lǐng)域中重要的研究方向。隨著計算機計算速度的突飛猛進以及其硬件成本的降低,基于深度學習的手勢估計也得到了跨越式的發(fā)展。手勢估計在自動駕駛、虛擬現(xiàn)實(AR)、增強現(xiàn)實(VR)、智能家居等諸多實際場景中具有廣泛的應(yīng)用。因此,手勢估計已成為人類社會智能化發(fā)展的重要研究領(lǐng)域。然而,由于手部姿態(tài)變化豐富、手勢識別背景復(fù)雜等原因,當前的手勢估計在識別準確度、識別實時性等方面仍然存在諸多問題。首先,本文對手勢估計中手部分割的已有方法進行了分析和研究。通過研究發(fā)現(xiàn),提高手部分割的準確性有助于提升手勢估計的效果,而傳統(tǒng)基于語義分割的手部分割方法對于細節(jié)的刻畫不足,因此,本文提出了基于融合結(jié)構(gòu)FCRN網(wǎng)絡(luò)的手部分割方法。首先,通過NIN模型將手勢數(shù)據(jù)集中的RGB圖像進行處理得到對應(yīng)的皮膚檢測圖像;然后,將手勢數(shù)據(jù)集中的RGB圖像與通過NIN模型得到的皮膚檢測圖輸入到具有Atrous空間金字塔池的全卷積殘差網(wǎng)絡(luò)FCRN網(wǎng)絡(luò)進行深度融合訓(xùn)練,其中Atrous空間金字塔池用來優(yōu)化模型的特征提取;最后,通過實驗驗證得出本文提出的方法優(yōu)于傳統(tǒng)的手部分割方法。其次,本文對手勢估計中的三...

【文章頁數(shù)】：77 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 手部分割算法的國內(nèi)外研究現(xiàn)狀
        1.2.2 手勢估計方法的國內(nèi)外研究現(xiàn)狀
    1.3 本文主要研究內(nèi)容與章節(jié)安排
        1.3.1 主要研究內(nèi)容
        1.3.2 章節(jié)安排
第2章 基于深度學習的手勢估計相關(guān)理論
    2.1 深度學習相關(guān)理論
        2.1.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.1.2 激活函數(shù)
        2.1.3 池化層
        2.1.4 全連接層
    2.2 手部分割方法
        2.2.1 基于膚色的手部分割方法
        2.2.2 基于深度信息的手部分割方法
        2.2.3 基于深度學習的手部分割方法
    2.3 手勢估計方法
        2.3.1 手部模型
        2.3.2 基于生成模型的手勢估計方法
        2.3.3 基于判別模型的手勢估計方法
    2.4 本章小結(jié)
第3章 基于融合結(jié)構(gòu)FCRN網(wǎng)絡(luò)的手部分割算法
    3.1 基于NIN模型的皮膚檢測算法
        3.1.1 NIN網(wǎng)絡(luò)模型
        3.1.2 皮膚圖像分塊
        3.1.3 基于NIN模型的皮膚檢測算法
    3.2 融合皮膚檢測的FCRN手部分割算法
        3.2.1 VGG網(wǎng)絡(luò)模型
        3.2.2 全卷積網(wǎng)絡(luò)FCN
        3.2.3 全卷積殘差網(wǎng)絡(luò)FCRN
        3.2.4 Atrous空間金字塔池
        3.2.5 手部分割深度融合結(jié)構(gòu)
    3.3 本章小結(jié)
第4章 基于CVAE-CGAN模型的手勢估計方法
    4.1 基于VAE模型手勢估計方法
        4.1.1 變分自動編碼器(VAE)
        4.1.2 VAE網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練
        4.1.3 基于VAE模型的跨模態(tài)手勢估計方法
    4.2 單模態(tài)CVAE網(wǎng)絡(luò)結(jié)構(gòu)
        4.2.1 CVAE生成模型
        4.2.2 RGB模態(tài)的CVAE網(wǎng)絡(luò)結(jié)構(gòu)
        4.2.3 3D手勢模態(tài)CVAE網(wǎng)絡(luò)結(jié)構(gòu)
    4.3 跨模態(tài)CGAN網(wǎng)絡(luò)結(jié)構(gòu)
        4.3.1 CGAN生成模型
        4.3.2 跨模態(tài)隱藏空間CGAN網(wǎng)絡(luò)結(jié)構(gòu)
    4.4 基于CVAE-CGAN的跨模態(tài)手勢估計方法
        4.4.1 CVAE-CGAN網(wǎng)絡(luò)模型
        4.4.2 CVAE-CGAN手勢估計訓(xùn)練及其優(yōu)化
    4.5 本章小結(jié)
第5章 實驗結(jié)果與分析
    5.1 實驗環(huán)境
        5.1.1 實驗硬件環(huán)境
        5.1.2 實驗軟件環(huán)境
    5.2 手勢數(shù)據(jù)集
        5.2.1 RHD數(shù)據(jù)集
    5.3 實驗評價標準
        5.3.1 F-score
        5.3.2 關(guān)節(jié)平均誤差
    5.4 實驗結(jié)果及分析
        5.4.1 基于融合結(jié)構(gòu)FCRN網(wǎng)絡(luò)手部分割算法實驗結(jié)果
        5.4.2 基于CVAE-CGAN模型的手勢估計方法實驗結(jié)果
    5.5 本章小結(jié)
第6章 總結(jié)與展望
    6.1 總結(jié)
    6.2 進一步工作方向
致謝
參考文獻



本文編號：3811216