基于單目攝像頭的手勢識別是人機交互領域的熱門研究方向之一。然而,單目攝像頭下的手部檢測和識別仍然受到復雜背景、運動模糊、光線變化等問題的影響。雖然近幾年基于深度學習的目標檢測算法顯著提高了手部檢測的準確率,但仍然存在很高的計算開銷,不適用于嵌入式平臺。因此,本文基于輕量級的CNN模型,研究實現快速準確的手勢識別算法,并將其應用于嵌入式平臺。首先,本文結合SSD框架和改進的MobileNet模型實現了靜態(tài)圖片的手部檢測和方向估計。為提高模型的檢測精度,本文修改了MobileNet模型的網絡結構,并通過自頂向下的特征融合結構引入上下文信息。為了精確估計手部方向,本文建立長軸和短軸向量的概念,并通過估計向量在水平和垂直方向的投影,實現手部方向對齊邊框的檢測。接著,本文針對視頻序列提出快速的手部檢測和手形識別算法。該檢測模型根據上一幀檢測結果確定當前幀的搜索區(qū)域,然后進行手部檢測和手形識別,以此迭代地完成視頻序列的檢測。同時,本文針對模型訓練給出了樣本生成和數據擴增的方案。最后,本文將上述算法在嵌入式平臺Jetson TK1上進行實現和優(yōu)化,先后采用多種方案縮減模型的計算開銷和內存讀寫,有效減...

【文章頁數】：82 頁

【學位級別】：碩士

【部分圖文】：

圖3-4Oxford手勢數據集上標注的手部真實邊框

驗結果據集和評估方法在Oxford手勢數據集[13]上評估了所提出的手部檢測和方向估計模型。如前據集收集于多個公開圖像數據集。數據的收集過程沒有限制人體是否可見件做任何限制。每張圖片中的手部用邊框進行了標注，并使每個標注的邊對齊，如圖3-4中的實線邊框所示。實際的標注文件....

圖4-3EgoFinger數據集中的多個場景的示例圖片

（batchsize）設定為32，并進行90k次迭代訓練。模型初始的學習率設定為10-3，然后分別在第60k次和第80k次訓練迭代時進行10倍的衰減，將學習率分別降至到10-4和10-5。4.3數據集和實驗結果4.3.1EgoFinger數據集Eg....

圖4-4本文采集的數據集中手部的示例圖像

模型對于多種手形的識別能力。為了充分評估檢測模型，本文采集了多種場景下的手勢視頻數據集，其中共定義了三種手形，包括“握拳”、“手掌”和“單指伸出”。參考EgoFinger數據集，本文采集的數據集也涵蓋了復雜背景和多種光照等難點。而且，本文在數據集采集過程中，對各個手形的姿態(tài)和....

圖4-5對比EgoFinger數據集的測試視頻上的手部檢測結果

中分別列出了HuangY等[16]的方法和本文方法在EgoFinger測試集上FRCNN曲線的數據來自于HuangY等的工作[16]，他們基于FasterR-法在EgoFinger數據集上達到最好的檢測效果。同樣，本文也基于Eg型訓練，并在同樣的測試視....

本文編號：3943696