發(fā)布時間：2020-11-19 18:23

　　 人體姿態(tài)估計是計算機視覺中的熱點研究方向。由于圖像受到拍攝角度、光照、周圍環(huán)境等因素的影響,早期基于手工特征的人體姿態(tài)估計方法一直無法獲得比較滿意的性能。隨著深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)相關(guān)研究的深入,基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計取得了顯著進步,使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征表示替代傳統(tǒng)手工特征能夠?qū)崿F(xiàn)端到端的優(yōu)化,當(dāng)前基于卷積神經(jīng)網(wǎng)絡(luò)的方法已經(jīng)成為了人體姿態(tài)估計中的主流方法。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計方法取得了較大的進展,但是在實際應(yīng)用中,基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計方法仍然面臨一些現(xiàn)實問題。一方面,目前現(xiàn)有的研究主要關(guān)注如何提升人體姿態(tài)估計方法的精度卻忽視了模型在精度與速度之間的平衡,但這卻是實現(xiàn)高效人體姿態(tài)估計的關(guān)鍵。另一方面,先前的方法并未意識到量化誤差與優(yōu)化矛盾問題在人體姿態(tài)估計中的重要性,而這是實現(xiàn)高精度人體姿態(tài)估計的關(guān)鍵問題。為了解決這兩個核心問題,本文分別從高效網(wǎng)絡(luò)架構(gòu)設(shè)計、輕量級模型訓(xùn)練策略以及高精度定位這三個角度展開研究工作。本文的主要工作及貢獻如下:(1)針對現(xiàn)有人體姿態(tài)估計網(wǎng)絡(luò)架構(gòu)在設(shè)計時未考慮模型的效率問題,提出了一種基于層次上下文學(xué)習(xí)的高效人體姿態(tài)估計網(wǎng)絡(luò)架構(gòu)。首先研究了人類視覺感知中的前置注意加工機制,然后將該機制融入到網(wǎng)絡(luò)架構(gòu)的設(shè)計思想中,提出了一種多階段的層次上下文網(wǎng)絡(luò)。整個網(wǎng)絡(luò)由若干上下文階段與一個預(yù)測階段構(gòu)成,網(wǎng)絡(luò)中各個階段的子網(wǎng)絡(luò)由階段間共享的低層特征提取模塊、主干網(wǎng)絡(luò)、上下文導(dǎo)入模塊以及中間上下文學(xué)習(xí)模塊所構(gòu)成。階段間共享的低層特征提取模塊負(fù)責(zé)提取各個子網(wǎng)絡(luò)所需要的低層特征,上下文導(dǎo)入模塊將提取到的低層特征以及前一階段子網(wǎng)絡(luò)所輸出的上下文信息導(dǎo)入到當(dāng)前子網(wǎng)絡(luò)中,每個子網(wǎng)絡(luò)都會收到來自中間上下文學(xué)習(xí)模塊的監(jiān)督信息。在整個網(wǎng)絡(luò)架構(gòu)中子網(wǎng)絡(luò)的輸入由低分辨率逐漸過渡到高分辨,各個子網(wǎng)絡(luò)中的主干網(wǎng)絡(luò)使用不同復(fù)雜度的模型,低分辨率輸入的子網(wǎng)絡(luò)負(fù)責(zé)關(guān)節(jié)點快速的初步定位,只需要簡單的模型,而高分辨率輸入的子網(wǎng)絡(luò)負(fù)責(zé)關(guān)節(jié)點高精度精細化定位,需要復(fù)雜的模型。這種設(shè)計能夠在不降低模型精度的前提下保證模型的效率。最后,實驗驗證了層次上下文網(wǎng)絡(luò)架構(gòu)在效率與精度方面的優(yōu)勢。(2)針對現(xiàn)有研究中缺乏通用的模型輕量化方法以及輕量級模型會面臨的性能退化問題,提出了基于姿態(tài)蒸餾的快速人體姿態(tài)估計方法。首先,以堆疊沙漏網(wǎng)絡(luò)為例探究了主流人體姿態(tài)估計模型的冗余性,提出了一種通用的模型輕量化方法,減少了人體姿態(tài)估計模型的參數(shù)量與計算開銷。其次,輕量級人體姿態(tài)估計模型雖然具有較低參數(shù)量與計算開銷,但模型的泛化能力也同時發(fā)生了退化,為了提升輕量級人體姿態(tài)估計模型的泛化能力,將知識蒸餾思想引入至人體姿態(tài)估計領(lǐng)域并設(shè)計了一種適用于人體姿態(tài)估計的蒸餾方法以將重量級網(wǎng)絡(luò)中所學(xué)習(xí)到的知識遷移到輕量級網(wǎng)絡(luò)中并對蒸餾過程中所學(xué)習(xí)到的知識進行可視化分析。在可視化分析過程中,對學(xué)習(xí)到的知識進行分類,以直觀的方式解釋所提姿態(tài)蒸餾方法提升模型泛化能力的原因。最后,通過實驗驗證了基于姿態(tài)蒸餾的快速人體姿態(tài)估計方法的有效性。(3)針對現(xiàn)有人體姿態(tài)估計中關(guān)節(jié)點表示所存在的量化誤差問題,提出了分布感知的人體關(guān)節(jié)點坐標(biāo)表示方法。首先,分析了熱力圖回歸方法中人體關(guān)節(jié)點坐標(biāo)編解碼方法的缺陷,找出坐標(biāo)編解碼過程中量化誤差問題產(chǎn)生的原因。其次,在關(guān)節(jié)點坐標(biāo)編碼階段提出了關(guān)節(jié)點坐標(biāo)的無偏編碼方法避免模型學(xué)習(xí)有偏的關(guān)節(jié)點位置信息。在關(guān)節(jié)點坐標(biāo)解碼階段,提出了熱力圖分布調(diào)整方法以及基于泰勒展開的解碼方法,通過在熱力圖中最大激活值位置使用二階泰勒展開獲得最大激活值到精確位置之間的偏移量,獲得精確的關(guān)節(jié)點坐標(biāo)。相比傳統(tǒng)的編解碼方法,所提方法為關(guān)節(jié)點坐標(biāo)的編解碼提供了理論支撐。最后,實驗部分從編碼和解碼兩個角度分別驗證了所提方法的有效性,在不同模型上帶來的顯著提升證明了該方法的通用性。(4)針對傳統(tǒng)積分姿態(tài)回歸方法中所存在的優(yōu)化矛盾問題,提出了基于位置自適應(yīng)積分姿態(tài)回歸方法。首先,給出了積分姿態(tài)回歸方法的基本原理,其次,分析了該方法在熱力圖回歸與坐標(biāo)回歸之間優(yōu)化矛盾所存在的原因,分析中發(fā)現(xiàn)熱力圖轉(zhuǎn)換為坐標(biāo)這個過程缺乏可學(xué)習(xí)參數(shù)會使熱力圖回歸和坐標(biāo)回歸出現(xiàn)無法調(diào)和的優(yōu)化矛盾,優(yōu)化矛盾會導(dǎo)致模型無法獲得精確的關(guān)節(jié)點坐標(biāo)。然后,基于上述分析將可學(xué)習(xí)參數(shù)引入到Softmax函數(shù)中,提出了位置自適應(yīng)的Softmax模型,將該模型與積分姿態(tài)回歸方法進行結(jié)合,得到位置自適應(yīng)的積分姿態(tài)積分回歸方法。為了降低該方法的訓(xùn)練開銷,提出了簡化的訓(xùn)練策略。作為一種后處理方法,位置自適應(yīng)積分姿態(tài)回歸方法可以在不需要對模型重新訓(xùn)練的情況下與現(xiàn)有方法進行結(jié)合。最后,為了驗證所提方法的有效性與通用性,實驗中對位置自適應(yīng)積分姿態(tài)積分回歸方法中簡化的訓(xùn)練策略、位置自適應(yīng)Softmax模型分別進行了驗證,評估了不同輸入輸出分辨率以及主干模型下該方法的性能。
【學(xué)位單位】：電子科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2020
【中圖分類】：TP391.41;TP183
【部分圖文】：

章節(jié)組織結(jié)構(gòu)

早期的分類任務(wù)或者回歸任務(wù)都是在特征提取器的后端接上全連接層,通過全連接層降低特征的維度。然而,全連接層過多的參數(shù)會增加網(wǎng)絡(luò)的計算開銷,造成過擬合。為了減少網(wǎng)絡(luò)的參數(shù)量與計算量,避免過擬合,研究者嘗試使用全局池化層替代全連接層,獲得了與全連接層相同的效果[13]。對于某些密集預(yù)測(Dense Prediction,DP)任務(wù)比如語義分割[14]、姿態(tài)估計[15]等,則一般在靠近輸出的網(wǎng)絡(luò)層使用卷積層。原因在于這一類任務(wù)需要使用全卷積網(wǎng)絡(luò)以保留位置信息,產(chǎn)生分割圖或者熱力圖。下面分別對卷積神經(jīng)網(wǎng)絡(luò)的各個組成部分進行詳細介紹:

在基于坐標(biāo)回歸的方法中,DeepPose[3]奠定了基于坐標(biāo)回歸的方法的基礎(chǔ),提出了很多實用的數(shù)據(jù)預(yù)處理及網(wǎng)絡(luò)訓(xùn)練方法。后續(xù)的研究主要從應(yīng)用場景(處理視頻還是靜止的圖像[79])、數(shù)據(jù)擴增[79]、多源輸入[80]、反饋輸入[81]、多任務(wù)[82]以及人體姿態(tài)的表示[83]這幾個方面展開。Toshev等人開創(chuàng)了將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人體姿態(tài)估計的先例。如圖2-2所示,Toshev等人基于AlexNet提出了一種稱之為DeepPose的級聯(lián)架構(gòu)回歸人體各個關(guān)節(jié)點的坐標(biāo)。為了避免卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生過擬合,作者使用數(shù)據(jù)集中提供的人體邊界框?qū)﹃P(guān)節(jié)點坐標(biāo)進行歸一化,并將歸一化之后的坐標(biāo)作為網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)。對關(guān)節(jié)點坐標(biāo)進行歸一化這一操作非常重要,這決定了網(wǎng)絡(luò)能否收斂,這一操作被后續(xù)基于坐標(biāo)回歸的方法沿用。圖2-2中可以看出,DeepPose架構(gòu)有多個階段,初始階段的網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)人體關(guān)節(jié)點的粗糙位置,后續(xù)階段網(wǎng)絡(luò)的輸入是前一階段網(wǎng)絡(luò)所輸出粗糙位置,這一部分的網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)粗糙位置相對于真實位置的偏移量。Pfister等人[79]使用卷積神經(jīng)網(wǎng)絡(luò)對視頻中人體的上半身進行姿態(tài)估計。在該方法中作者將多個視頻幀作為網(wǎng)絡(luò)的輸入,為了緩解過擬合現(xiàn)象(網(wǎng)絡(luò)可能會過擬合人的背景區(qū)域),作者從數(shù)據(jù)集中隨機采樣2000個視頻幀,利用視頻幀計算出均值圖像,然后將所輸入的視頻幀減去均值圖像后作為網(wǎng)絡(luò)的輸入。該研究還提出了人體姿態(tài)估計中許多常用的數(shù)據(jù)擴增方法,在訓(xùn)練時對輸入進行隨機裁剪、隨機水平翻轉(zhuǎn)、顏色抖動等數(shù)據(jù)擴增操作。Li等人[82]提出了一種多任務(wù)的網(wǎng)絡(luò)架構(gòu)將人體部件檢測和人體關(guān)節(jié)點定位同時嵌入到網(wǎng)絡(luò)中,利用人體部件檢測任務(wù)去輔助關(guān)節(jié)點回歸任務(wù)。Fan等人[80]進一步提出雙源多任務(wù)的人體姿態(tài)估計方法,將候選關(guān)節(jié)點區(qū)域的局部圖像和人體圖像同時作為網(wǎng)絡(luò)的輸入,使網(wǎng)絡(luò)同時學(xué)習(xí)檢測關(guān)節(jié)和回歸關(guān)節(jié)點的坐標(biāo)。由于人的視覺系統(tǒng)中包含有反饋連接,為了利用反饋連接改善基于坐標(biāo)回歸的人體姿態(tài)估計,Carriean等人[81]提出了迭代誤差反饋(Iterative Error Feedback,IEF)的思想。
【相似文獻】

相關(guān)期刊論文 前10條

1 彭帥;黃宏博;陳偉駿;胡志穎;袁銘陽;;基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計算法綜述[J];北京信息科技大學(xué)學(xué)報(自然科學(xué)版);2020年03期

2 肖賢鵬;劉理想;胡莉;張華;;基于深度圖像的實時多人體姿態(tài)估計[J];傳感器與微系統(tǒng);2020年06期

3 薛濤;;基于混合部件模型改進的人體姿態(tài)估計[J];信息與電腦(理論版);2020年10期

4 岳程宇;閆勝業(yè);;2D人體姿態(tài)估計綜述[J];現(xiàn)代信息科技;2020年12期

5 韓貴金;沈建冬;;二維人體姿態(tài)估計研究進展[J];西安郵電大學(xué)學(xué)報;2017年04期

6 蔡鵬;孔德慧;尹寶才;霍奕;;基于肢體調(diào)整的人體姿態(tài)估計[J];系統(tǒng)仿真學(xué)報;2015年10期

7 喻東山,徐捷,孫旦暉,曾彥英,高小寧,蔣曉軍;利培酮對人體姿態(tài)平衡的效應(yīng)[J];中國行為醫(yī)學(xué)科學(xué);2005年03期

8 東方伊人;四種常見的人體姿態(tài)[J];現(xiàn)代技能開發(fā);1996年02期

9 蘇延超;艾海舟;勞世竑;;圖像和視頻中基于部件檢測器的人體姿態(tài)估計[J];電子與信息學(xué)報;2011年06期

10 何燁林;張軍;;用于人體姿態(tài)估計傳感的菲涅爾透鏡設(shè)計[J];應(yīng)用光學(xué);2020年03期

相關(guān)博士學(xué)位論文 前10條

1 張鋒;基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計方法研究[D];電子科技大學(xué);2020年

2 張雯暉;人體姿態(tài)估計與姿態(tài)距離度量學(xué)習(xí)方法研究[D];北京工業(yè)大學(xué);2019年

3 趙林;面向復(fù)雜監(jiān)控環(huán)境的人體運動分析方法[D];西安電子科技大學(xué);2017年

4 馬淼;視頻中人體姿態(tài)估計、跟蹤與行為識別研究[D];山東大學(xué);2017年

5 孫可;人體姿態(tài)估計的深度網(wǎng)絡(luò)結(jié)構(gòu)研究[D];中國科學(xué)技術(shù)大學(xué);2020年

6 李弟平;基于視頻的人體姿態(tài)檢測與運動識別方法[D];中南大學(xué);2012年

7 陳聰;基于人體姿態(tài)序列提取和分析的行為識別[D];華南理工大學(xué);2012年

8 李佳;多視角三維人體運動捕捉的研究[D];北京交通大學(xué);2013年

9 歐陽毅;單目視頻中人體運動建模及姿態(tài)估計研究[D];浙江大學(xué);2012年

10 張殿勇;基于人體模型構(gòu)建的無標(biāo)識運動捕捉關(guān)鍵技術(shù)研究[D];北京交通大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 申小鳳;基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計研究[D];西華大學(xué);2020年

2 張賽;基于對抗學(xué)習(xí)的人體姿態(tài)估計研究[D];中國礦業(yè)大學(xué);2020年

3 王柳程;人體姿態(tài)點識別算法研究[D];江西理工大學(xué);2020年

4 馬瑞軍;基于深度學(xué)習(xí)的多人人體姿態(tài)估計[D];天津職業(yè)技術(shù)師范大學(xué);2019年

5 胡剛;基于圖結(jié)構(gòu)模型的人體姿態(tài)估計研究[D];武漢理工大學(xué);2014年

6 孟凡輝;靜態(tài)圖片人體姿態(tài)估計研究[D];合肥工業(yè)大學(xué);2012年

7 葉浩;基于關(guān)系網(wǎng)絡(luò)的二維人體姿態(tài)回歸算法研究[D];大連海事大學(xué);2020年

8 韓利夫;基于深度學(xué)習(xí)的人體姿態(tài)估計算法研究[D];電子科技大學(xué);2020年

9 朱靖;基于卷積神經(jīng)網(wǎng)絡(luò)的二維人體姿態(tài)估計研究[D];杭州電子科技大學(xué);2019年

10 周亞輝;基于跨階段深度網(wǎng)絡(luò)的人體姿態(tài)分析[D];合肥工業(yè)大學(xué);2019年

本文編號：2890315