人體姿態(tài)估計任務是計算機視覺領域中極具挑戰(zhàn)性的問題之一,目標是檢測出圖像數(shù)據(jù)中人體的關鍵節(jié)點,比如頭部、肩膀、臀部,在行人檢測、重識別,行為識別、預測,人機交互等領域都有著廣泛的應用。在近些年,隨著深度學習和深度神經(jīng)網(wǎng)絡的引入,人體姿態(tài)估計的算法性能得到飛躍式的提升,其中最主要的原因就在于深度網(wǎng)絡結構的不斷革新。人體姿態(tài)估計網(wǎng)絡框架主要分為兩個部分:人體結構應用網(wǎng)絡和關鍵點檢測網(wǎng)絡。本文中通過對人體姿態(tài)及估計任務本身特點的理解和分析,設計了新的人體結構應用網(wǎng)絡框架和關鍵點檢測網(wǎng)絡。同時,本文中還對所提出的關鍵點檢測網(wǎng)絡在相似或相關視覺任務上的推廣性進行了研究,如圖像分類和語義分割任務。本文的主要工作包括:人體結構應用網(wǎng)絡中的全局和局部姿態(tài)歸一化。人體姿態(tài)的高自由度衍生出了復雜多樣的關鍵點相對位置關系,對人體結構建模造成了巨大挑戰(zhàn)。本文提出了全局和局部的姿態(tài)歸一化模塊,通過從全局再到局部的歸一化設計,逐步降低人體姿態(tài)的自由度,將多樣的人體姿態(tài)變換到一個標準姿態(tài)附近,使得關鍵點之間的相對位置分布更加集中,關系更為單一,從而可以通過少量的參數(shù)量構建更有效的人體結構模型。高分辨率關鍵點檢測網(wǎng)絡... 

【文章來源】：中國科學技術大學安徽省 211工程院校 985工程院校

【文章頁數(shù)】：109 頁

【學位級別】：博士

【部分圖文】：

圖１．２?ＤｅｅｐＰｏｓｅ１２２丨初始坐標回歸網(wǎng)絡

?第１章緒?論???ＩｒｆＴＢ??圖１．３?ＤｅｅｐＰｏｓｅ１２２１中的級聯(lián)網(wǎng)絡。圖來源于ＤｅｅｐＰｏｓｅ１２２１。??在這個過程中，可以發(fā)現(xiàn)每個關鍵點都需要從原圖中截取一個區(qū)域子圖像，??然后送入網(wǎng)絡進行訓練。每個階段的網(wǎng)絡由于輸入圖像的特性不同，回歸殘差的??數(shù)值范圍不同，不能重復采用同一個網(wǎng)絡進行學習和預測，因此作者為每個階段??都單獨訓練一個網(wǎng)絡。這使得網(wǎng)絡實際并不能端到端的整體進行訓練，并且整個??網(wǎng)絡的參數(shù)量也隨著網(wǎng)絡級數(shù)的增加呈線性的增長。??③ＩＥＦ網(wǎng)絡結構??ＩＥＦ［２３］在整體上采用了與ＤｅｅｐＰｏｓｅ［２２］相同的級聯(lián)網(wǎng)絡框架。其中的網(wǎng)絡主??體／（？）采用的是ＧｏｏｇｌｅＮｅｔ［２５］結構。其中最主要的不同在于ＩＥＦ［２３］網(wǎng)絡的輸入??包含兩個部分，原始圖像和關鍵點的高斯掩碼。其中關鍵點的高斯掩碼是以關鍵??點坐標為中心利用高斯函數(shù)ｇ〇生成的。通過這個高斯掩碼來告訴網(wǎng)絡當前關鍵??點的坐標位置，類似于注意力模型，以便網(wǎng)絡能夠利用這個指導信息來獲取關鍵??點的局部信息。??與ＤｅｅｐＰ〇Ｓｅ［２２］相比，ＩＥＦ［２３】在網(wǎng)絡進行逐級遞進的過程中輸入圖像始終保??持為原始圖像，而非ＤｅｅｐＰ〇Ｓｅ［２２］中既有原始圖像還有局部圖像。這樣就保證了輸??入圖像空間的一致性。然后通過加入關鍵點高斯掩碼的方式，替代了?ＤｅｅｐＰｏｓｅ＾ｌ??以截取局部圖像的方式獲取局部細節(jié)信息。這種關鍵點高斯掩碼的設計，在后續(xù)??的工作中被廣泛沿用。??（２）熱力圖預測網(wǎng)絡??在坐標回歸網(wǎng)絡中，關鍵點的定位精度始終無法達到預期。熱力圖則作為另??一種預測目標出現(xiàn)在了人體姿態(tài)估計任務中。??輸入圖像與相應的

?第１章緒?論???圖１．４輸入圖像和相應的熱力圖標注。實際每一類關鍵點有獨立的熱力圖標注，這里為了??可視化簡潔，將不同關鍵點的熱力圖放在同一張圖中顯示。??像素的分類，相對于坐標回歸網(wǎng)絡，這極大的降低了網(wǎng)絡的學習難度。由于對表??征空間分辨率的高度需求與坐標回歸網(wǎng)絡截然不同，在網(wǎng)絡結構上也就存在著??明顯的差異。熱力圖預測網(wǎng)絡在結構設計中，不僅注重提升特征的分類性能，同??時也注重對表征分辨率的恢復和保持，期望獲取既具有高分辨率又具有強分類??性能的表征。??由于熱力圖預測網(wǎng)絡的優(yōu)越性能，在近些年坐標回歸網(wǎng)絡己經(jīng)基本淡出了??人體姿態(tài)估計任務，主要都以熱力圖為預測目標的網(wǎng)絡為主。熱力圖預測網(wǎng)絡也??分為兩個主要研究方向：其一是以對人體結構建模為主的人體結構應用網(wǎng)絡，另??一類是專注關鍵點定位性能的關鍵點檢測網(wǎng)絡。??①問題定義??熱力圖預測的方法將人體姿態(tài)估計問題建模成一個像素級標注問題（ｐｉｘｅｌ－??ｗｉｓｅ?ｌａｂｅｌｉｎｇ）。?將關鍵點對應的預測目標表示成?Ｙ?＝（？？．，�。ィ�？．），／ｅ?｛ｌ，．．．，ｆｃ｝，?其??中Ｖ是第／個關鍵點所對應的熱力圖，熱力圖由提前定義好的高斯函數(shù)生成得??至�。省崃DＸ中每個位置的像素值，代表了這個位置屬于關鍵點的概率。在給??定一個輸入圖像／，通過以下方式進行坐標的預測??Ｙ?＝?ｆ｛Ｉ－６）?（１．５）??其中ｆ是預測出的熱力圖，／（？）是用于進行熱力圖估計的函數(shù)，這里一般采用??的全卷積網(wǎng)絡，０是網(wǎng)絡中可學習的模型參數(shù)。??在損失函數(shù)上以Ｌ２損失以及損失兩種為主，目前采用Ｌ２損失來??對網(wǎng)絡模型參數(shù)進行優(yōu)化的較多??７??


本文編號：3136387