人體姿態(tài)估計,泛指以接觸或非接觸式傳感器所獲取的運動加速度、圖像、視頻等數(shù)據(jù)為基礎,計算人體骨架或關(guān)節(jié)點位置的技術(shù)。隨著計算機圖形學、計算機視覺、模式識別及人機交互等領域技術(shù)的發(fā)展,人體姿態(tài)估計及姿態(tài)距離度量學習,已廣泛地應用于動作識別、動作仿真、視頻監(jiān)控分析、行為檢索等方面,并成為計算機視覺、模式識別及人機交互等領域的重要研究內(nèi)容。非接觸式人體姿態(tài)估計方法,按照輸入數(shù)據(jù)通常可分為基于彩色圖像的方法和基于深度圖像的方法。前者以可見光圖像為數(shù)據(jù)基礎,容易受到背景、光照、遮擋等因素的影響;后者以結(jié)構(gòu)光或飛行時間法獲取的場景景深為數(shù)據(jù)基礎,雖然在一定程度上避免了可見光圖像受環(huán)境光照等因素影響的困擾,但由于深度圖像存在噪聲、空洞、特征不明顯等數(shù)據(jù)缺陷�；谏疃葓D像的人體姿態(tài)估計仍是模式識別領域極具挑戰(zhàn)性的研究課題。此外,傳統(tǒng)的基于骨架點信息的人體姿態(tài)距離度量學習方法,通常以人體骨架點的歐氏距離模型或稀疏模型為基礎,且需要大量人工標注的相似/不相似的人體姿態(tài)數(shù)據(jù)對作為訓練數(shù)據(jù)。然而,考慮到運動人體動作行為的復雜性,以及部分人體動作數(shù)據(jù)庫含有大量的噪聲數(shù)據(jù)或低置信度數(shù)據(jù),傳統(tǒng)的歐氏距離模型或稀疏模型難以精確刻畫運動人體的姿態(tài)相似度�；谏鲜鰡栴},本文以面向深度圖像、彩色與深度圖像融合的高精度人體姿態(tài)估計為目標,研究了深度圖像像素特征表示、彩色與深度圖像特征融合、無監(jiān)督人體姿態(tài)距離度量學習等方法,并研發(fā)完成了人體運動感知計算系統(tǒng)。本文的主要工作包括以下幾方面:1.針對傳統(tǒng)面向深度圖像的人體姿態(tài)估計方法中像素特征刻畫不準確問題,提出了基于深度差與測地距離融合特征的深度圖像人體姿態(tài)估計模型。傳統(tǒng)基于深度圖像的姿態(tài)估計通常將像素對的深度差特征與隨機決策森林分類器結(jié)合,而深度差特征雖然計算簡單,但只是像素對之間局部相對深度屬性的描述,難以準確描述具有復雜形變、自遮擋、高噪聲等特點的非剛性人體部件間的連接關(guān)系。本文提出的聯(lián)合特征與深度圖像超像素相結(jié)合,描述了像素的上下文信息,減少了噪聲和非均勻深度數(shù)據(jù)的干擾,不僅保證了特征提取和隨機決策森林(RDF)的訓練效率,而且提高了人體部位的分類精度。論文同時還提出基于RDF的部位分類與基于聚類特征的稀疏回歸相結(jié)合的位姿估計框架,將超像素融合特征與組件聚類中心的特征結(jié)合在一起,在不同質(zhì)量和分辨率的數(shù)據(jù)集上的結(jié)果表明了方法的魯棒性、高效性和準確性。2.針對傳統(tǒng)面向彩色與深度圖像融合的姿態(tài)估計方法中特征融合問題,提出了基于Dempster-Shafer外觀-形狀融合模型的彩色-深度圖像人體姿態(tài)估計方法。傳統(tǒng)基于彩色-深度圖像的姿態(tài)估計方法將HOG、SIFT、輪廓描述子等特征作為彩色圖像骨架點特征,將深度差或其他深度圖像特征算子作為深度圖像骨架點特征,將特征進行拼接后通過訓練評分模型實現(xiàn)人體姿態(tài)估計,這種特征融合手段難以精確地將可見光圖像與深度圖像的特性進行高效互補�？梢姽鈭D像與深度圖像這兩個不同信息源提供的圖像特征,一般都是片面、不精確、不完整的,甚至有可能是完全矛盾的。本文提出的Dempster-Shafer外觀-形狀融合模型,借助Dempster-Shafer概率融合理論,將彩色圖像信息源與深度圖像信息源的HOG特征與輪廓特征以不確定性模型進行融合,充分利用了可見光圖像與深度圖像的信息源特征的互補性,實現(xiàn)了面向RGB-D數(shù)據(jù)的高效人體姿態(tài)估計。3.針對傳統(tǒng)的人體姿態(tài)距離度量學習需要大量標記樣本、學習模型不精確問題,提出了基于多層次稀疏模型的無監(jiān)督人體姿態(tài)距離度量學習模型。考慮到人體姿態(tài)的相似程度具有多層次特性,即:由頭部、手腳肢端及軀干構(gòu)成的粗略姿態(tài),以及由手腕、手肘、肩部、腳腕、膝蓋等構(gòu)成的精細姿態(tài),該多層次稀疏模型將各個姿態(tài)數(shù)據(jù)進行分層次稀疏表示,并學習保持該稀疏表示下殘差向量在相應的姿態(tài)度量最小,以此保持人體姿態(tài)在不同尺度意義下的相似距離。與現(xiàn)有基于學習的人體姿態(tài)距離度量的方法相比的實驗結(jié)果表明,本文所提出的無監(jiān)督模型無需任何帶標簽的姿態(tài)數(shù)據(jù),學習的姿態(tài)距離度量在現(xiàn)有的動作序列姿態(tài)檢索方面取得較高的檢索精度。4.設計與實現(xiàn)了人體運動感知計算系統(tǒng)。該系統(tǒng)通過模塊化設計把數(shù)據(jù)采集、人體部位標定、姿態(tài)估計及結(jié)果展示等功能集成到一個平臺中,為人體運動感知的相關(guān)研究提供了一個集成化的環(huán)境。作為高精度體感儀器項目的應用平臺,驗證了該系統(tǒng)的實用性。實驗表明了本文所提出的人體姿態(tài)估計算法的準確性、高效性,所提出的姿態(tài)距離度量學習模型的可行性、有效性。
【學位單位】：北京工業(yè)大學
【學位級別】：博士
【學位年份】：2019
【中圖分類】：TP391.41;TP181
【部分圖文】：

圖 1-1 人體姿態(tài)估計及人體距離度量的應用[41]Figure 1-1 Applications of human pose estimation and human pose distance metric[41]1.2 人體模型及特征表達人體結(jié)構(gòu)是一種由多個肢體和關(guān)節(jié)組成的復雜非剛性系統(tǒng)，因此，人體姿態(tài)估計是一項非常具有挑戰(zhàn)性的任務。Marinoiu 等人[25]研究“人”是如何感知三維姿態(tài)的空間結(jié)構(gòu)，以及這些感知如何能與“人”運動的空間連接起來。為了實現(xiàn)這一方向，他們采集了一個包含人體圖像的數(shù)據(jù)集，并判斷人是如何準確地重構(gòu)3D 姿態(tài)的。該數(shù)據(jù)集不僅標定了二維（2D）和三維（3D）的真實姿態(tài)，還同步記錄了人眼在展示不同人體圖像時的移動。他們發(fā)現(xiàn)在實驗室環(huán)境中，人在定位3D 姿態(tài)的準確性方面的優(yōu)勢并不比現(xiàn)有的計算機視覺算法更明顯�；谀Ｐ停∕odel-based）的人體姿態(tài)估計方法采用人體模型，引入人體先驗信息來克服這些困難。最常見的 3D 人體模型是幾何體骨架或網(wǎng)格模型，圖 1-2中顯示了其中較為常見的形體模型（Shape model）。這些模型都具有人體運動鏈（kinematic）的特性，而形體模型也定義了外觀特征，常用圓柱體和截錐體模型

北京工業(yè)大學工學博士學位論文計方法，而 Helten 等人[42]對深度空間下的方法進行了分析；按照輸入的形式可以分為單幀圖像的估計和運動序列的估計，進一步可以分為單幀單視點的圖像、單幀多視點的圖像、單視點的動作序列和多視點的動作序列的估計方法；按照估計推斷方法分為生成式(Generative approaches)、判別式（Discriminative approaches）和混合的方法（Hybrid approaches），如圖 1-3 所示。

圖 1-4 深度獲取設備對深度圖像質(zhì)量的影響[106]Figure 1-4 The effect of deep acquisition equipment on the depth image quality.2 基于判別式方法的姿態(tài)估計別式方法是通過從深度圖像中提取具有良好表征能力的特征描述符，并利回歸來得到人體姿態(tài)的一類方法。Kinect 系統(tǒng)[5][6][112]使用基于大規(guī)模數(shù)據(jù)別學習來獲取人體姿態(tài)，其通過使用隨機決策森林（Random decisios, RDF），來對像素進行分類，然后使用 Mean-Shift 聚類算法來獲取最終的態(tài)。雖然 Kinect 在娛樂領域上已經(jīng)取得了相當?shù)某晒�，但是由于相機提度信息有明顯噪聲，其姿態(tài)估計的精度仍然只是娛樂領域可接受的范圍ick 等人[112]在使用深度差特征的基礎上，建立霍夫森林（Hough forests）來像素直接進行回歸。Hernández-Vela 等人[113]使用圖割（Graph-cut）優(yōu)化改善 Shotton 方法中[5]每個像素的分類。Jung 等人[105]提出了一種利用隨機來對每個骨架點的初始位置方向進行迭代計算的方法，在時間效率上取得的改進。Kim 等人[114]使用超像素來減少像素處理的時間，并使用 SVM 來
【相似文獻】

相關(guān)期刊論文 前10條

1 韓貴金;沈建冬;;二維人體姿態(tài)估計研究進展[J];西安郵電大學學報;2017年04期

2 蔡鵬;孔德慧;尹寶才;霍奕;;基于肢體調(diào)整的人體姿態(tài)估計[J];系統(tǒng)仿真學報;2015年10期

3 喻東山,徐捷,孫旦暉,曾彥英,高小寧,蔣曉軍;利培酮對人體姿態(tài)平衡的效應[J];中國行為醫(yī)學科學;2005年03期

4 東方伊人;四種常見的人體姿態(tài)[J];現(xiàn)代技能開發(fā);1996年02期

5 李崤河;劉進鋒;;二維人體姿態(tài)估計研究綜述[J];現(xiàn)代計算機;2019年22期

6 蘇延超;艾海舟;勞世竑;;圖像和視頻中基于部件檢測器的人體姿態(tài)估計[J];電子與信息學報;2011年06期

7 鄭毅;李鳳;張麗;劉守印;;基于長短時記憶網(wǎng)絡的人體姿態(tài)檢測方法[J];計算機應用;2018年06期

8 李慶武;席淑雅;王恬;馬云鵬;周亮基;;結(jié)合位姿約束與軌跡尋優(yōu)的人體姿態(tài)估計[J];光學精密工程;2017年04期

9 譚冠政;葉華;陳敏杰;;基于頻率篩分的無監(jiān)督人體姿態(tài)特征提取與識別研究[J];測控技術(shù);2017年09期

10 王筱蘭;徐捷;喻東山;成為榮;;氯丙嗪與利培酮對人體姿態(tài)平衡效應的對照研究[J];四川精神衛(wèi)生;2006年03期

相關(guān)博士學位論文 前10條

1 張雯暉;人體姿態(tài)估計與姿態(tài)距離度量學習方法研究[D];北京工業(yè)大學;2019年

2 趙林;面向復雜監(jiān)控環(huán)境的人體運動分析方法[D];西安電子科技大學;2017年

3 馬淼;視頻中人體姿態(tài)估計、跟蹤與行為識別研究[D];山東大學;2017年

4 李弟平;基于視頻的人體姿態(tài)檢測與運動識別方法[D];中南大學;2012年

5 陳聰;基于人體姿態(tài)序列提取和分析的行為識別[D];華南理工大學;2012年

6 歐陽毅;單目視頻中人體運動建模及姿態(tài)估計研究[D];浙江大學;2012年

7 李佳;多視角三維人體運動捕捉的研究[D];北京交通大學;2013年

8 張殿勇;基于人體模型構(gòu)建的無標識運動捕捉關(guān)鍵技術(shù)研究[D];北京交通大學;2014年

9 葉青;無標記人體運動捕捉技術(shù)的研究[D];北京郵電大學;2014年

10 李毅;單目視頻人體運動分析技術(shù)研究[D];南京大學;2013年

相關(guān)碩士學位論文 前10條

1 熊紫華;基于深度學習的人體姿態(tài)估計研究[D];華中科技大學;2019年

2 鄭岳智;基于卷積神經(jīng)網(wǎng)絡的人體姿態(tài)估計方法研究[D];華中科技大學;2019年

3 許志強;基于深度學習的實時人體姿態(tài)估計系統(tǒng)[D];燕山大學;2019年

4 朱靖;基于卷積神經(jīng)網(wǎng)絡的二維人體姿態(tài)估計研究[D];杭州電子科技大學;2019年

5 周亞輝;基于跨階段深度網(wǎng)絡的人體姿態(tài)分析[D];合肥工業(yè)大學;2019年

6 湯林;擁擠條件下的人體姿態(tài)檢測算法研究[D];重慶郵電大學;2019年

7 侯珊珊;基于卷積神經(jīng)網(wǎng)絡的人體姿態(tài)估計[D];華北理工大學;2019年

8 周朋肖;基于人體姿態(tài)估計的隊列評分系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2019年

9 季月鵬;基于視頻人體姿態(tài)估計的高爾夫揮桿動作比對分析研究[D];南京郵電大學;2019年

10 趙昱文;基于深度學習的視頻中的人體姿態(tài)估計[D];寧夏大學;2019年

本文編號：2869886