手部姿態(tài)估計是各種智能應(yīng)用,進行活動識別的重要要求。對它的研究在計算機視覺界已經(jīng)展開了數(shù)十年,并且由于深度學習的發(fā)展,低成本深度相機的推出,對于手部姿態(tài)估計的研究引起越來越多研究者的興趣。隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展,大型手勢數(shù)據(jù)集的建立,基于神經(jīng)網(wǎng)絡(luò)的三維手部姿態(tài)估計的方法優(yōu)勢越來越突出,但研究者把深度圖像轉(zhuǎn)化為二維圖像作為輸入,會使得深度圖像中的手部姿態(tài)信息不能得到充分利用,從而影響估計精度。而把深度圖像轉(zhuǎn)化為三維體素進行三維卷積訓練,這種數(shù)據(jù)表示會隨著分辨率的增加,計算量呈指數(shù)增加,為實現(xiàn)有效卷積使得運算數(shù)據(jù)龐大。如果分辨率較低又會使得手部細節(jié)信息缺失。本文的方法直接利用點云數(shù)據(jù)作為輸入進行手部姿態(tài)的估計,充分利用了深度圖像信息,并在公開數(shù)據(jù)集上取得了很好的表現(xiàn)。本文主要工作內(nèi)容如下:一、對深度信息的獲取方法及深度相機的成像原理進行了研究,并推導(dǎo)出深度圖像轉(zhuǎn)化為點云的一種方法,應(yīng)用于深度圖像數(shù)據(jù)集的點云轉(zhuǎn)化處理。對深度圖像轉(zhuǎn)化的點云進行了可視化。二、對點云數(shù)據(jù)的常見濾波器的特點及原理進行了分析研究。給出了深度圖像轉(zhuǎn)點云后,用少的點更多的保留圖像信息的方法流程,最終將ICVL數(shù)據(jù)集里每張... 

【文章來源】：西北師范大學甘肅省

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【部分圖文】：

車載智能手勢控制精靈現(xiàn)在越來越多的移動技術(shù)推出智能穿戴的產(chǎn)品，豐富并方便著大家的生活，如

第2章深度圖像的獲取及點云轉(zhuǎn)換7比較復(fù)雜，而且比較消耗資源。雙目相機的主要優(yōu)點有：對于硬件的要求低，成本也比較低,普通的CMOS相機就能勝任；場地應(yīng)用廣泛，室內(nèi)外都適用，對光線要求不高，只要不是過分黑暗。但雙目相機的缺點也是非常明顯：主要為對環(huán)境的光照變化敏感；單調(diào)缺乏紋理的場景表現(xiàn)不佳；計算復(fù)雜度較高。涉及到左右相機的相互特征匹配等。結(jié)構(gòu)光（散斑）的優(yōu)點主要有：方案比較成熟，相機方便小型化；功耗比較低；使用主動光源，因此夜晚也可以使用；在合適的范圍內(nèi)可以獲得高精度圖像。散斑結(jié)構(gòu)光的缺點與結(jié)構(gòu)光類似主要變現(xiàn)為：容易受環(huán)境光干擾，室外體驗較差；隨檢驗距離的增加，精度會因此變差。ToF深度攝像頭:計算深度信息是通過測量光脈沖之間的傳輸延遲時間[43]。如圖2.1所示，紅外(IR)發(fā)射裝置投射的紅外線脈沖（紅色波形），遇到目標物體后反射。感應(yīng)器接受發(fā)射紅外信號（藍色波形），利用反射光波與測量發(fā)射之間的相位改變量（phase-delay）進而計算出深度信息。目前主流ToF深度攝像頭代表產(chǎn)品有PMDTechnologiesCamCube2.0和MicrosoftKinectv2等。圖2.1ToF相機深度信息采集原理ToF的優(yōu)點主要有：檢測距離較遠。在激光能量足夠的情況下使用，檢測距離可達幾十米；受環(huán)境光的干擾比較校但是ToF也有一些比較明顯的問題：主要表現(xiàn)在其對設(shè)備的要求高，特別體現(xiàn)在時間測量模塊；對資源的消耗較大；邊緣精度較低等問題。目前，由于使用距離的限制，機構(gòu)光技術(shù)的應(yīng)用領(lǐng)域，主要在智能解鎖、安全支付等方面。ToF方案由于其遠距離下的噪聲較低，而且同時具有更高的FPS，使其在動態(tài)場景擁有優(yōu)秀的表現(xiàn)，在AR、VR等領(lǐng)域都有應(yīng)用。

第2章深度圖像的獲取及點云轉(zhuǎn)換82.1.1Kinect相機簡介2009年6月1日在E3大展上Kinect首次亮相，這是第一款進入市場的深度相機，命名為XBOX360體感周圍外設(shè)。我們前面介紹Kinect相機是基于飛行時間原理的攝像頭，本文實驗所選用的ICVL公開數(shù)據(jù)集的深度圖像是用基于飛行時間原理的深度相機拍攝的，所以我們將通過對Kinect相機來介紹深度圖像的成像原理及深度圖像的點云轉(zhuǎn)換。Kinect相機外觀Kinect相機內(nèi)部結(jié)構(gòu)圖2.2Kinect相機如圖2.2為第一代Kinect相機的內(nèi)部結(jié)構(gòu)與外觀圖。該相機一共包含三個鏡頭從左到右依次為：紅外發(fā)射器、RGB攝像頭和紅外接收器。由左右兩個傳感器共同構(gòu)成了3D結(jié)構(gòu)光深度傳感器。紅外相機幀率與彩色相機幀率都為30，彩色相機分辨率為640×480，紅外相機分辨率為320×240。Kinect相機的垂直視角與水平視角分別為43°、57°，有效視距為0.8m至3.5m。2.2Kinect成像模型及圖像點云轉(zhuǎn)換相機成像模型如圖2.3所示，我們利用空間一點P的成像原理為例來論述空間點的像素坐標系、圖像坐標系、相機坐標以及世界坐標系之間的轉(zhuǎn)換關(guān)系。我們通過這些坐標系的聯(lián)系，最終推導(dǎo)出深度圖像的點云信息的表達公式。本文實驗選用的ICVL公開數(shù)據(jù)集深度圖像的信息是以像素坐標的形式給與的，我們需要轉(zhuǎn)化為世界坐標系下的點云信息，以此作為深度學習模型的輸入數(shù)據(jù)。

【參考文獻】：
期刊論文
[1]基于飛行時間技術(shù)的PET發(fā)展歷史與現(xiàn)狀[J]. 贠明凱,李婷,章志明,張玉包,單保慈,魏龍.  原子核物理評論. 2012(02)
[2]基于數(shù)據(jù)手套的逼真虛擬手的實現(xiàn)[J]. 任程,戴樹嶺.  系統(tǒng)仿真學報. 2008(22)
[3]基于立體視覺的三維建模方法[J]. 鄧志東,牛建軍,張競丹.  系統(tǒng)仿真學報. 2007(14)
[4]人機交互的進展及面臨的挑戰(zhàn)[J]. 董士海.  計算機輔助設(shè)計與圖形學學報. 2004(01)



本文編號：3128750