基于單目攝像頭的手勢(shì)識(shí)別是人機(jī)交互領(lǐng)域的熱門研究方向之一。然而,單目攝像頭下的手部檢測(cè)和識(shí)別仍然受到復(fù)雜背景、運(yùn)動(dòng)模糊、光線變化等問(wèn)題的影響。雖然近幾年基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法顯著提高了手部檢測(cè)的準(zhǔn)確率,但仍然存在很高的計(jì)算開(kāi)銷,不適用于嵌入式平臺(tái)。因此,本文基于輕量級(jí)的CNN模型,研究實(shí)現(xiàn)快速準(zhǔn)確的手勢(shì)識(shí)別算法,并將其應(yīng)用于嵌入式平臺(tái)。首先,本文結(jié)合SSD框架和改進(jìn)的MobileNet模型實(shí)現(xiàn)了靜態(tài)圖片的手部檢測(cè)和方向估計(jì)。為提高模型的檢測(cè)精度,本文修改了MobileNet模型的網(wǎng)絡(luò)結(jié)構(gòu),并通過(guò)自頂向下的特征融合結(jié)構(gòu)引入上下文信息。為了精確估計(jì)手部方向,本文建立長(zhǎng)軸和短軸向量的概念,并通過(guò)估計(jì)向量在水平和垂直方向的投影,實(shí)現(xiàn)手部方向?qū)R邊框的檢測(cè)。接著,本文針對(duì)視頻序列提出快速的手部檢測(cè)和手形識(shí)別算法。該檢測(cè)模型根據(jù)上一幀檢測(cè)結(jié)果確定當(dāng)前幀的搜索區(qū)域,然后進(jìn)行手部檢測(cè)和手形識(shí)別,以此迭代地完成視頻序列的檢測(cè)。同時(shí),本文針對(duì)模型訓(xùn)練給出了樣本生成和數(shù)據(jù)擴(kuò)增的方案。最后,本文將上述算法在嵌入式平臺(tái)Jetson TK1上進(jìn)行實(shí)現(xiàn)和優(yōu)化,先后采用多種方案縮減模型的計(jì)算開(kāi)銷和內(nèi)存讀寫,有效減...

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-4Oxford手勢(shì)數(shù)據(jù)集上標(biāo)注的手部真實(shí)邊框

驗(yàn)結(jié)果據(jù)集和評(píng)估方法在Oxford手勢(shì)數(shù)據(jù)集[13]上評(píng)估了所提出的手部檢測(cè)和方向估計(jì)模型。如前據(jù)集收集于多個(gè)公開(kāi)圖像數(shù)據(jù)集。數(shù)據(jù)的收集過(guò)程沒(méi)有限制人體是否可見(jiàn)件做任何限制。每張圖片中的手部用邊框進(jìn)行了標(biāo)注，并使每個(gè)標(biāo)注的邊對(duì)齊，如圖3-4中的實(shí)線邊框所示。實(shí)際的標(biāo)注文件....

圖4-3EgoFinger數(shù)據(jù)集中的多個(gè)場(chǎng)景的示例圖片

（batchsize）設(shè)定為32，并進(jìn)行90k次迭代訓(xùn)練。模型初始的學(xué)習(xí)率設(shè)定為10-3，然后分別在第60k次和第80k次訓(xùn)練迭代時(shí)進(jìn)行10倍的衰減，將學(xué)習(xí)率分別降至到10-4和10-5。4.3數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果4.3.1EgoFinger數(shù)據(jù)集Eg....

圖4-4本文采集的數(shù)據(jù)集中手部的示例圖像

模型對(duì)于多種手形的識(shí)別能力。為了充分評(píng)估檢測(cè)模型，本文采集了多種場(chǎng)景下的手勢(shì)視頻數(shù)據(jù)集，其中共定義了三種手形，包括“握拳”、“手掌”和“單指伸出”。參考EgoFinger數(shù)據(jù)集，本文采集的數(shù)據(jù)集也涵蓋了復(fù)雜背景和多種光照等難點(diǎn)。而且，本文在數(shù)據(jù)集采集過(guò)程中，對(duì)各個(gè)手形的姿態(tài)和....

圖4-5對(duì)比EgoFinger數(shù)據(jù)集的測(cè)試視頻上的手部檢測(cè)結(jié)果

中分別列出了HuangY等[16]的方法和本文方法在EgoFinger測(cè)試集上FRCNN曲線的數(shù)據(jù)來(lái)自于HuangY等的工作[16]，他們基于FasterR-法在EgoFinger數(shù)據(jù)集上達(dá)到最好的檢測(cè)效果。同樣，本文也基于Eg型訓(xùn)練，并在同樣的測(cè)試視....

本文編號(hào)：3943696