發(fā)布時間：2021-01-03 03:18

　　手勢是人機交互中的一個非常重要的手段。由于近些年來人工智能、增強現(xiàn)實和虛擬現(xiàn)實技術(shù)的迅猛發(fā)展以及深度相機的普及,實時并且準確的手勢姿態(tài)估計成為了人工智能研究領(lǐng)域的一大熱點研究問題,它可以在我們的日常生活中發(fā)揮重要的作用,計算機視覺為手勢姿態(tài)估計領(lǐng)域的研究與發(fā)展提供了一種全新的更好的思路,3D手勢姿態(tài)估計也是計算機視覺中的一個非常有挑戰(zhàn)性的任務(wù)。最近幾年,卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域中獲得了非常廣泛的應(yīng)用并且取得了巨大成功,同時在當前互聯(lián)網(wǎng)高速發(fā)展的推動下,各種新的大型公共標準數(shù)據(jù)集不斷出現(xiàn),極大的推動了卷積神經(jīng)網(wǎng)絡(luò)在手部姿態(tài)估計領(lǐng)域的發(fā)展。針對目前手部姿態(tài)估計領(lǐng)域存在目標場景復(fù)雜、人手自由度高等問題,本文設(shè)計了一個基于注意力機制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的3D手勢姿態(tài)估計回歸模型,主要研究工作如下:為了解決復(fù)雜場景下的背景對手勢姿態(tài)估計產(chǎn)生影響這個問題,本文根據(jù)深度值信息把包含人手部分的深度圖像從場景比較復(fù)雜的深度圖像中精確分割出來;為了避免目標和相機平面之間的距離不一致而影響手部姿態(tài)估計精確度,對深度圖像做歸一化處理。同時為了定位出感興趣的區(qū)域,設(shè)計了一個基于注意力機制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來解... 

【文章來源】：南昌大學(xué)江西省 211工程院校

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．１?２６個自由度的人手模型??

，并且使用了??一個微調(diào)網(wǎng)絡(luò)來獨立地對預(yù)測出的每個關(guān)節(jié)點的位置進行修正。ＯｂｅｒｗｅｇｅｒＭ??等人在之前的基礎(chǔ)上，使用了一些簡單的改進，增加了一個ＲｅｓＮｅｔ?（Ｒｅｓｉｄｕａｌ??Ｎｅｔｗｏｒｋ）網(wǎng)絡(luò)，并且使用了平面內(nèi)旋轉(zhuǎn)、平移和縮放的數(shù)據(jù)增強手段以及更好??的初始手部定位方法，在三個主要的手部姿態(tài)估計標準數(shù)據(jù)集：ＭＳＲＡ數(shù)據(jù)集［１１］、??ＮＹＵ數(shù)據(jù)集［ｌｉ＾ＰＩＣＶＬ數(shù)據(jù)集［１７］上實現(xiàn)了比當時更復(fù)雜的最新方法更好或更相??近的手勢姿態(tài)估計性能，同時還保持了原始方法的簡單性。圖１．２為三個流行??數(shù)據(jù)集的不同關(guān)節(jié)數(shù)量手模型的可視化圖。??１?Ｉ?ｆ?＼?Ｉ?ｆ?ｉｆｆ??．?＼?Ｖ?Ｉ?／?＼?＼〇／??（ａ）?１４?ｊｏｉｎｔｓ?（ｂ）?１６?ｊｏｉｎｔｓ?（ｃ）?２１?ｊｏｉｎｔｓ??圖１．２不同關(guān)節(jié)點數(shù)量手模型可視化圖??Ｇｅ［２３］等人提出了一種新的３Ｄ手勢姿態(tài)回歸方法，使用多視角卷積神經(jīng)網(wǎng)??絡(luò)能夠更好地利用深度信息來恢復(fù)手部關(guān)節(jié)點的３Ｄ信息，先把深度圖像投影??到３個不同的正交平面上，然后把深度圖像分別輸入到三個獨立的卷積神經(jīng)網(wǎng)??絡(luò)中進行特征提取并生成一系列的關(guān)節(jié)點熱力圖，最后把三個平面的熱力圖融??合起來得到最后的關(guān)節(jié)點３Ｄ位置估計。Ｃｈｅｎｆ％等人提出了一種基于姿態(tài)引導(dǎo)??的結(jié)構(gòu)化區(qū)域網(wǎng)絡(luò)來提升手部姿態(tài)估計的性能，根據(jù)手的拓撲結(jié)構(gòu)融合不同關(guān)??節(jié)點的特征，把屬于同一手指的關(guān)節(jié)的特征集成在同一層網(wǎng)絡(luò)中，并且來自所??有手指的特征被融合在最下層網(wǎng)絡(luò)中以預(yù)測最終的手部姿態(tài)。Ｍ〇〇ｎ『２５］等人將從??單幅深度圖像中估計手部姿態(tài)問題轉(zhuǎn)變成為體素到體素的預(yù)測問題，與之前的??直接從２Ｄ深度圖像回歸３

?第２章手勢姿態(tài)估計基礎(chǔ)知識???Ｘｉ?「ｃｏｓｏ）?０?－?ｓｍｃｘ）］?ｘ?ｘ??ｙ?＝?０?１?０?ｙ?＝?Ｒ３?ｙ?（２．４）??？ｚ」?Ｌｓｉｎｏ）?０?ｃｏｓｏ）?ｚ＇?２??因此綜合上面幾個公式可以得到旋轉(zhuǎn)矩陣１＾?＝?／＾?＊／？２?＊尺３。??個ｙ??ｙ’＼?…＇??＼?ｐ?（．Ｖ?，ｖ?，ｚ）??１Ｃ一??ｘ??圖２．１坐標繞Ｚ軸旋轉(zhuǎn)示意圖??當世界坐標系到相機坐標系進行如圖２．２所示變換時，再考慮到平移矩陣Ｔ，??于是便可以計算出點Ｐ在相機坐標系中的坐標計算公式為公式２．５。??＼ｘｃ］?ｒ＾ｗｉ??Ｙｃ?＝ＲＹＷ?＋Ｔ??．Ｚｃ＿?，ＺＷ．??（２．５??）??寫成矩陣形式為公式２．６。??＿?ｖ?ｒ?ｖ?＿??＾?ｃ?＾?ｗ??６?＝［尺?１?Ｌ??ｚｃ?Ｌ〇?ｌＪ?Ｚｗ??．１?Ｊ?１?．??（２．６??）??公式２．６中Ｒ是一個３＊３的矩陣，Ｔ是一個３＊１的矩陣，零向量為（０，?０，?０）。??１２??

【參考文獻】：
期刊論文
[1]基于中粒度模型的視頻人體姿態(tài)估計[J]. 史青宣,邸慧軍,陸耀,田學(xué)東.  自動化學(xué)報. 2018(04)
[2]復(fù)雜背景下基于空間分布特征的手勢識別算法[J]. 楊波,宋曉娜,馮志全,郝曉艷.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2010(10)
[3]基于數(shù)據(jù)手套的逼真虛擬手的實現(xiàn)[J]. 任程,戴樹嶺.  系統(tǒng)仿真學(xué)報. 2008(22)
[4]基于數(shù)據(jù)手套的虛擬手勢交互系統(tǒng)[J]. 周曉晶,趙正旭,樓江.  儀表技術(shù)與傳感器. 2007(10)



本文編號：2954208