人體姿態(tài)估計算法是計算機(jī)視覺領(lǐng)域的一個基礎(chǔ)性研究。它是行為識別、人物追蹤等其他計算機(jī)視覺研究的基礎(chǔ)。人體姿態(tài)估計可以分為單人任務(wù)和多人任務(wù)。在現(xiàn)實(shí)的應(yīng)用場景里攝像頭獲得的照片或者視頻中往往不止包括一個人,多人的人體姿態(tài)估計算法更能滿足實(shí)際應(yīng)用的需求。多人人體姿態(tài)估計任務(wù)中,圖片中人體之間存在的重疊或者干擾是任務(wù)復(fù)雜性的主要來源。如何正確地檢測圖片中所有人體的姿態(tài)是一個極具挑戰(zhàn)性的課題。在目前的多人人體姿態(tài)估計算法研究中,主要存在自底向上和自頂向下兩個大類的算法。自底向上的方法首先檢測圖片中所有人體的關(guān)鍵點(diǎn),然后對這些關(guān)鍵點(diǎn)進(jìn)行聚類以形成不同的個體姿態(tài)。自頂向下的方法則首先檢測人體,然后根據(jù)人體候選區(qū)域從圖片中將人裁剪下來,再針對裁剪下來的圖片做單人的人體姿態(tài)估計。本文主要研究基于深度學(xué)習(xí)的自頂向下的多人人體姿態(tài)估計算法,并且主要關(guān)注于其中的單人人體姿態(tài)估計部分。當(dāng)圖片中存在非�？拷亩鄠�人體時,根據(jù)目標(biāo)檢測算法獲得的人體候選區(qū)域裁剪出來的圖片中很容易存在其他人體的相同局部關(guān)鍵點(diǎn)造成混淆。關(guān)鍵點(diǎn)的局部信息區(qū)分性較弱。因此需要通過全局信息來輔助分辨局部區(qū)域。本文引入非局部模塊來使神經(jīng)網(wǎng)絡(luò)在... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

彈簧形變模型[33]

第2章多人人體姿態(tài)估計相關(guān)理論及算法介紹-9-然而PictorialStructure算法具有一個天生的局限性，即其不是基于圖像數(shù)據(jù)構(gòu)建，對于變化無窮的人體姿態(tài)不具有很好的泛化性和魯棒性。Yang等人[34]提出了可形變部件模型（Deformablepartmodels），使用部件的混合模型來表示復(fù)雜的關(guān)鍵點(diǎn)關(guān)系�？尚巫儾考Ｐ褪且粋�模板集合。這些模板的組合方式是可以發(fā)生形變的，每一個模型都包括全局模板和局部模板。通過這些模板與圖像的匹配來檢測或識別對象，可以很好地建模關(guān)鍵點(diǎn)之間的連接。然而，該算法沒有考慮到全局信息，故其性能仍然具有較大的提升空間。2.2基于深度學(xué)習(xí)的自底向上算法與自頂向下算法近年來，深度學(xué)習(xí)技術(shù)在人體姿態(tài)估計等計算機(jī)視覺領(lǐng)域中大放光彩，在人體姿態(tài)估計研究領(lǐng)域占據(jù)主流。以深度學(xué)習(xí)為基礎(chǔ)的多人人體姿態(tài)估計算法總體上可以分為兩個大類。一類是自底向上，一類是自頂向下。a)自底向上算法流程b)自頂向下算法流程圖2-2自底向上算法與自頂向下算法流程圖如圖2-2a)所示，自底向上的多人人體姿態(tài)估計算法主要分為兩個部分。即圖片輸入關(guān)鍵點(diǎn)檢測關(guān)鍵點(diǎn)聚類人體姿態(tài)估計結(jié)果圖片輸入人體檢測單人人體姿態(tài)估計人體姿態(tài)估計結(jié)果人體候選區(qū)域裁剪nms

第2章多人人體姿態(tài)估計相關(guān)理論及算法介紹-11-圖2-3利用AssociativeEmbedding進(jìn)行人體姿態(tài)估計網(wǎng)絡(luò)結(jié)構(gòu)圖[10]SemanticPartSegmentation算法將姿態(tài)估計與語義分割相結(jié)合，采用語義分割結(jié)果來協(xié)助關(guān)鍵點(diǎn)聚類。其將人體結(jié)構(gòu)細(xì)分為六個不同的肢體部件，以六個人體肢體部件mask作為GroundTruth來訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)關(guān)鍵點(diǎn)屬于某個特定肢體部件區(qū)域的能力。如圖2-4所示為具體的網(wǎng)絡(luò)結(jié)構(gòu)圖。網(wǎng)絡(luò)采用FCN來檢測人體關(guān)鍵點(diǎn)，并且設(shè)計了一個概率模型圖來顯式地添加人體結(jié)構(gòu)的先驗(yàn)信息。其還學(xué)習(xí)使用pair-wise關(guān)系建模相鄰關(guān)鍵點(diǎn)的預(yù)測圖（jointneighbor），與關(guān)鍵點(diǎn)的heatmap相結(jié)合，能夠有效地構(gòu)建人體圖結(jié)構(gòu)。算法還通過語義分割網(wǎng)絡(luò)學(xué)習(xí)獲得人體肢體語義分布圖。通過一個全連接層構(gòu)建的條件隨機(jī)場（CRF[35],conditionalrandomfield）將關(guān)鍵點(diǎn)位置信息及肢體語義分布信息融合，進(jìn)一步優(yōu)化關(guān)鍵點(diǎn)位置和聚類，使得神經(jīng)網(wǎng)絡(luò)能夠在肢體分布信息和關(guān)鍵點(diǎn)位置信息之間取得語義信息和空間信息的一致性。通過肢體部件分割能夠有效地建模關(guān)鍵點(diǎn)之間的關(guān)系，顯式地提供了人體肢體結(jié)構(gòu)的空間先驗(yàn)知識，很好地指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)，在最后的關(guān)鍵點(diǎn)聚類時也起到了連接相應(yīng)關(guān)鍵點(diǎn)的作用。圖2-4SemanticPartSegmentation結(jié)構(gòu)圖[13]部分親和場PAFs設(shè)計了一種全新的具有豐富語義信息的GroundTruth來幫助神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何更好地進(jìn)行關(guān)鍵點(diǎn)聚類。如圖2-5所示，PAFs不僅有像素


本文編號：3138812