手勢(shì)是人類(lèi)非常重要的肢體語(yǔ)言之一,在人的所有姿態(tài)中,手勢(shì)占的比重最大。手勢(shì)估計(jì)是利用計(jì)算機(jī)技術(shù)去分析和估計(jì)人類(lèi)手部動(dòng)作的姿態(tài),在目前這個(gè)智能時(shí)代,手勢(shì)估計(jì)在人機(jī)交互的應(yīng)用中是至關(guān)重要的,非常具有研究的意義和價(jià)值�；谏疃葓D像的手勢(shì)估計(jì)近幾年來(lái)已經(jīng)取得了不錯(cuò)的成績(jī),主要原因在于優(yōu)良的數(shù)據(jù)獲取設(shè)備深度攝像頭的出現(xiàn)和基于深度學(xué)習(xí)的算法不斷創(chuàng)新。但基于深度圖像的手勢(shì)估計(jì)在實(shí)際的應(yīng)用中是非常受限的,所以近兩年的研究開(kāi)始出現(xiàn)基于彩色圖像的手勢(shì)估計(jì)。但由于手自身的一些特點(diǎn),例如靈活度大、分辨率低和關(guān)鍵點(diǎn)識(shí)別的難易程度不一樣等,還有最主要的是在完全不具有深度信息的情況下從2D圖片去估計(jì)3D姿態(tài),這些挑戰(zhàn)都使得目前基于彩色圖像的手勢(shì)估計(jì)還不夠理想。為了解決彩色圖像手勢(shì)估計(jì)遇到的一些問(wèn)題,本文提出了如下幾點(diǎn)創(chuàng)新性解決方法:(1)使用Hourglass Network進(jìn)行手部關(guān)鍵點(diǎn)檢測(cè),由于Hourglass Network自身的網(wǎng)絡(luò)特點(diǎn),它可以從整體到局部去把握手部關(guān)鍵點(diǎn)之間的位置關(guān)系。(2)采用SSD檢測(cè)算法去定位圖片中手部的位置,并將關(guān)鍵點(diǎn)的2D估計(jì)過(guò)程和手部定位過(guò)程進(jìn)行了融合。這樣在進(jìn)行手部定位時(shí)也...

【文章頁(yè)數(shù)】：71 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
1 引言
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文研究?jī)?nèi)容
2 手勢(shì)估計(jì)
    2.1 手姿態(tài)估計(jì)概述
    2.2 手勢(shì)估計(jì)方法
        2.2.1 生成方法
        2.2.2 判別方法
        2.2.3 混合方法
    2.3 本章小結(jié)
3 基于深度圖像的手勢(shì)估計(jì)方法
    3.1 手部的檢測(cè)
        3.1.1 傳統(tǒng)目標(biāo)檢測(cè)方法
        3.1.2 候選區(qū)域選擇
        3.1.3 基于區(qū)域提名的目標(biāo)檢測(cè)
        3.1.4 基于端對(duì)端學(xué)習(xí)的目標(biāo)檢測(cè)
    3.2 手部的分割
        3.2.1 圖像切割
        3.2.2 基于深度學(xué)習(xí)的圖像分割
    3.3 2D關(guān)鍵點(diǎn)檢測(cè)
        3.3.1 自上而下的關(guān)鍵點(diǎn)檢測(cè)
        3.3.2 自下而上的關(guān)鍵點(diǎn)檢測(cè)
    3.4 卷積神經(jīng)網(wǎng)絡(luò)
        3.4.1 特殊卷積核
        3.4.2 深度卷積神經(jīng)網(wǎng)絡(luò)
    3.5 本章小結(jié)
4 基于彩色圖像的手勢(shì)估計(jì)方法
    4.1 問(wèn)題分析及解決思路
        4.1.1 問(wèn)題分析
        4.1.2 解決思路
    4.2 手部關(guān)節(jié)點(diǎn)描述
        4.2.1 手部關(guān)節(jié)點(diǎn)自由度
        4.2.2 手勢(shì)的表示
    4.3 3D姿態(tài)的重建
    4.4 基于Hourglass Network的RGB圖像手勢(shì)估計(jì)
        4.4.1 Residual模塊
        4.4.2 Hourglass Network
        4.4.3 網(wǎng)絡(luò)架構(gòu)
    4.5 基于多層次特征融合的RGB圖像手勢(shì)估計(jì)
        4.5.1 SSD定位手部位置
        4.5.2 多層次特征融合
        4.5.3 網(wǎng)絡(luò)架構(gòu)
    4.6 本章小結(jié)
5 實(shí)驗(yàn)與分析
    5.1 實(shí)驗(yàn)數(shù)據(jù)
        5.1.1 手勢(shì)估計(jì)數(shù)據(jù)集
        5.1.2 手勢(shì)識(shí)別數(shù)據(jù)集
    5.2 對(duì)比算法
    5.3 實(shí)驗(yàn)評(píng)價(jià)方法
    5.4 手勢(shì)估計(jì)評(píng)估
        5.4.1 網(wǎng)絡(luò)的訓(xùn)練配置
        5.4.2 2D關(guān)鍵點(diǎn)檢測(cè)效果評(píng)估
        5.4.3 3D姿態(tài)估計(jì)評(píng)估
        5.4.4 手語(yǔ)識(shí)別效果評(píng)估
        5.4.5 時(shí)間性能的評(píng)估
    5.5 細(xì)節(jié)分析
        5.5.1 樣例分析
        5.5.2 實(shí)時(shí)的手勢(shì)估計(jì)
    5.6 本章小結(jié)
6 結(jié)論
    6.1 研究工作總結(jié)
    6.2 展望
參考文獻(xiàn)
作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果
學(xué)位論文數(shù)據(jù)集



本文編號(hào)：3744730