在災(zāi)害、戰(zhàn)場等復(fù)雜環(huán)境下,救援機(jī)器人需自動(dòng)對受傷人員進(jìn)行動(dòng)作識別與狀態(tài)分析,因此對復(fù)雜圖像中的人體關(guān)節(jié)點(diǎn)和肢體進(jìn)行檢測,即人體姿態(tài)估計(jì)有著重要的意義。目前,基于深度學(xué)習(xí)的室外復(fù)雜環(huán)境下多人人體姿態(tài)估計(jì)技術(shù)發(fā)展迅速,但在搜救應(yīng)用中還存在許多困擾,例如救援環(huán)境惡劣,背景復(fù)雜無法得到清晰、高質(zhì)量的人員圖像;人員姿態(tài)受環(huán)境所限,身體同一肢體呈現(xiàn)出不同的外觀;多人交錯(cuò)在一起,肢體存在遮擋、重疊,人體的肢體完整性下降;救援環(huán)境屬于陌生環(huán)境,沒有人體姿態(tài)的相關(guān)先驗(yàn)知識,單人或多人人體的各個(gè)肢體可能存在于圖像的任意區(qū)域,導(dǎo)致模型檢測時(shí)需要大面積搜索圖像內(nèi)容等等。本文以建立基于深度學(xué)習(xí)的多人人體姿態(tài)估計(jì)模型為主要目的,在國內(nèi)外人體姿態(tài)估計(jì)研究現(xiàn)狀的基礎(chǔ)上研究了相關(guān)理論基礎(chǔ)。搭建了復(fù)雜環(huán)境圖像的人體姿態(tài)特征提取網(wǎng)絡(luò),對其特征進(jìn)行提取;其次利用關(guān)節(jié)點(diǎn)檢測網(wǎng)絡(luò)對所得特征進(jìn)行關(guān)節(jié)點(diǎn)估計(jì)和聚類;隨后采用部件親和力場（PAFs）對關(guān)節(jié)點(diǎn)對匹配形成肢體特征,將匹配好的肢體和關(guān)節(jié)點(diǎn)存入不同的集合中;最后利用匈牙利算法和人體肢體框架構(gòu)建成完整的人體姿態(tài)模型。在常用的人體姿態(tài)估計(jì)數(shù)據(jù)集基礎(chǔ)上,選擇LSP和MS COCO數(shù)據(jù)... 

【文章來源】：天津職業(yè)技術(shù)師范大學(xué)天津市

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

救援機(jī)器人

天津職業(yè)技術(shù)師范大學(xué)碩士學(xué)位論文-2-備。受傷人員的圖像信息具有內(nèi)容豐富、獲取速度容易和快速的特點(diǎn)，使得機(jī)器視覺（ComputerVision，CV）技術(shù)在陸地救援機(jī)器人中十分常見。在視覺搜尋過程中涉及到機(jī)器視覺的圖像分類、目標(biāo)檢測、目標(biāo)位姿判斷與估計(jì)等多個(gè)信息的加工和處理內(nèi)容。在實(shí)際的救援過程中，受傷人員的視覺信息容易受到室外惡劣環(huán)境的影響，尤其是受到圖像背景和受傷人員姿態(tài)（單人或者多人肢體存在遮擋）的干擾難以獲取有效的圖像，導(dǎo)致姿態(tài)估計(jì)解不唯一（如圖1-3所示），不能準(zhǔn)確、穩(wěn)定的對傷員的姿態(tài)估計(jì)。為了解決機(jī)器視覺如何在復(fù)雜環(huán)境下準(zhǔn)確找出受傷人員，開發(fā)可以有效抵抗室外環(huán)境的干擾，提高受傷人員姿態(tài)估計(jì)的效率，并有一定魯棒性的多人人體姿態(tài)估計(jì)模型對于當(dāng)前救援機(jī)器人的發(fā)展具有重要的意義。圖1-3多人人體檢測示意圖因此，本文提出基于深度學(xué)習(xí)的多人人體姿態(tài)估計(jì)，重點(diǎn)對室外多人人體姿態(tài)進(jìn)行估計(jì)，開發(fā)出一套可以在室外較為惡劣的環(huán)境下能夠準(zhǔn)確估計(jì)出多人人體姿態(tài)的網(wǎng)絡(luò)模型。1.3國內(nèi)外發(fā)展現(xiàn)狀人體姿態(tài)估計(jì)是將人體的肢體和關(guān)節(jié)點(diǎn)從圖像或視頻中檢測出來，輸出人體肢體和關(guān)

天津職業(yè)技術(shù)師范大學(xué)碩士學(xué)位論文-4-②多階段分布回歸Carreira[9]等人設(shè)計(jì)了迭代誤差反饋的人體姿態(tài)估計(jì)模型（IterativeErrorFeedback.IEF）。作者提出了一個(gè)通用的框架，以關(guān)節(jié)點(diǎn)的二維坐標(biāo)作為迭代對象，通過從輸入和輸出的聯(lián)合空間訓(xùn)練特征提取器，對輸入和輸出空間中豐富的結(jié)構(gòu)化信息進(jìn)行建模。文章引入了自上向下的反饋機(jī)制，不直接預(yù)測目標(biāo)輸出，而是在前饋過程中，預(yù)測當(dāng)前估計(jì)的偏差并反饋迭代修正預(yù)測值，IEF結(jié)構(gòu)圖如圖1-5所示。圖1-5IEF結(jié)構(gòu)圖2）基于熱圖檢測的方法由于CoordinateNet網(wǎng)絡(luò)存在：一方面網(wǎng)絡(luò)回歸值是檢測到的每個(gè)關(guān)鍵點(diǎn)相對于圖像中真值坐標(biāo)的一個(gè)偏置值（offset），當(dāng)網(wǎng)絡(luò)經(jīng)過多層的回歸后會出現(xiàn)因?yàn)殚L距離偏置使得偏置誤差值越來越小，最終導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂十分困難，并且網(wǎng)絡(luò)此時(shí)的檢測誤差較大，另一方面網(wǎng)絡(luò)提供的監(jiān)督信息比較少，使得整個(gè)網(wǎng)絡(luò)達(dá)到收斂的速度較慢。因此研究人員做出了基于熱圖（Heatmap）檢測的模型，簡稱HeatmapNet。HeatmapNet既可以表達(dá)基于概率分布的標(biāo)簽?zāi)Ｐ?GroundTruth)，又可以表達(dá)人體肢體之間的關(guān)聯(lián)信息。圖像中的關(guān)節(jié)點(diǎn)位置使用概率表達(dá)，即每個(gè)關(guān)節(jié)點(diǎn)的所在的像素位置會有一個(gè)相應(yīng)的概率值，離關(guān)節(jié)點(diǎn)真實(shí)坐標(biāo)越近，像素點(diǎn)的對應(yīng)的概率就會越接近1，反之接近于0，可以使用多元高斯模型[10]將二維坐標(biāo)轉(zhuǎn)換成熱圖形式的標(biāo)簽，使用熱圖形式參與網(wǎng)絡(luò)訓(xùn)練可以為每個(gè)關(guān)節(jié)點(diǎn)提供監(jiān)督信息，有助于模型能夠較快的收斂，同時(shí)熱圖可以更直觀的獲得關(guān)節(jié)點(diǎn)在圖像中的位置。兩種方法的處理過程如下圖1-6、7所示。目前基于熱圖檢測的模型取得的效果最好，應(yīng)用也最為廣泛。根據(jù)網(wǎng)絡(luò)模型學(xué)習(xí)獲取關(guān)節(jié)點(diǎn)結(jié)構(gòu)關(guān)系方式的不同，HeatmapNet可以分為顯式添加結(jié)構(gòu)先驗(yàn)和隱式學(xué)習(xí)結(jié)構(gòu)兩種。

【參考文獻(xiàn)】：
期刊論文
[1]基于條件先驗(yàn)人體模型的人體姿態(tài)估計(jì)[J]. 趙勇,巨永鋒.  計(jì)算機(jī)工程與應(yīng)用. 2018(16)
[2]基于改進(jìn)CNN和加權(quán)SVDD算法的人體姿態(tài)估計(jì)[J]. 韓貴金.  計(jì)算機(jī)工程與應(yīng)用. 2018(24)



本文編號：3332347