人體姿態(tài)識(shí)別技術(shù)已經(jīng)成為當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容,應(yīng)用場(chǎng)景滲透到了日常生活中的方方面面。人體姿態(tài)識(shí)別（Human Pose Recognition）是指對(duì)數(shù)字圖像或視頻中人體關(guān)鍵部位和主要關(guān)節(jié)點(diǎn)進(jìn)行識(shí)別,是人體動(dòng)作識(shí)別和行為分析的基礎(chǔ)與前提。人體姿態(tài)識(shí)別技術(shù)發(fā)展越來(lái)越快,但也面臨著眾多挑戰(zhàn)。例如光照條件、背景復(fù)雜、人體自身遮擋和物體間遮擋等常見(jiàn)情況的發(fā)生阻礙著姿態(tài)識(shí)別研究的進(jìn)展。基于深度學(xué)習(xí)的人體姿態(tài)識(shí)別因?yàn)槠涠询B的卷積神經(jīng)網(wǎng)絡(luò)對(duì)大量數(shù)據(jù)集進(jìn)行提取的特征具有高度抽象性與普適性,相較于傳統(tǒng)的基于圖像結(jié)構(gòu)的方法有較好的泛化性與魯棒性,應(yīng)對(duì)光照條件差、背景復(fù)雜、人體部位遮擋等問(wèn)題有較好的表現(xiàn),但也存在模型結(jié)構(gòu)復(fù)雜、模塊相對(duì)冗余、實(shí)時(shí)性存在改進(jìn)空間等面向?qū)嶋H應(yīng)用的問(wèn)題。因此,在自然環(huán)境下實(shí)現(xiàn)高精度且具有實(shí)時(shí)性的姿態(tài)識(shí)別仍面臨巨大挑戰(zhàn)。本文針對(duì)2D平面圖像與視頻中的人體姿態(tài)識(shí)別問(wèn)題,提出了改進(jìn)的OpenPose模型,更好地優(yōu)化了精度與實(shí)時(shí)性之間的關(guān)系,充分地發(fā)揮了殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)地優(yōu)勢(shì),并通過(guò)觀察關(guān)節(jié)點(diǎn)運(yùn)動(dòng)的規(guī)律,將關(guān)節(jié)點(diǎn)識(shí)別結(jié)果簡(jiǎn)單地應(yīng)用于人體動(dòng)作分類場(chǎng)景上,解決了自然圖像中的人體... 

【文章來(lái)源】：天津職業(yè)技術(shù)師范大學(xué)天津市

【文章頁(yè)數(shù)】：92 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LSP數(shù)據(jù)集與標(biāo)注信息[40]

圖2-2 表示DeepPose模型粗略識(shí)別階段,輸入圖像大小為640x450x3,DeepPose網(wǎng)絡(luò)輸入圖像尺寸因考慮到計(jì)算量問(wèn)題調(diào)整為220x220x3,模型結(jié)構(gòu)中以Alexnet模型為基本框架,其中藍(lán)色矩形框表示卷積層（層內(nèi)包括卷積的大小與數(shù)量,55x55x58：卷積核大小寬55高55,卷積核數(shù)量為48個(gè)）,橘色矩形框表示全連接層（層內(nèi)包括神經(jīng)元個(gè)數(shù)）,輸出(xi,yi)表示初始階段網(wǎng)絡(luò)預(yù)測(cè)的左手腕關(guān)節(jié)點(diǎn)位置。初始階段(initial stage)粗略的得到關(guān)節(jié)點(diǎn)的大概位置,它是基于整幅圖像進(jìn)行上下文推理的。通常數(shù)據(jù)集中的圖片原始尺寸較大,所以輸入到網(wǎng)絡(luò)的時(shí)候會(huì)對(duì)圖像進(jìn)行下采樣,這樣網(wǎng)絡(luò)細(xì)節(jié)提取的難度加大,優(yōu)化關(guān)節(jié)點(diǎn)的位置相對(duì)不夠精確。為了得到更好的精確率,作者訓(xùn)練了一個(gè)級(jí)聯(lián)的姿態(tài)回歸器。圖2-3表示DeepPose模型優(yōu)化精修階段,以精修階段中的第一個(gè)階段為例,輸入圖像是初始階段的輸出圖像,使用已經(jīng)預(yù)測(cè)到的關(guān)鍵點(diǎn)來(lái)切出基于這個(gè)關(guān)鍵點(diǎn)的鄰域圖像（黃色矩形框）,這個(gè)子圖像將被用于接下來(lái)的網(wǎng)絡(luò)輸入,同時(shí)將子圖重置為200x200尺寸大小使得網(wǎng)絡(luò)獲取更高分辨率的圖像,最終達(dá)到更好的精確率。模型結(jié)構(gòu)與粗略識(shí)別階段相同,(xis1,yis1)表示(xi,yi)經(jīng)過(guò)放大重置后的關(guān)節(jié)點(diǎn)位置坐標(biāo),輸出(xire,yire)表示精修階段網(wǎng)絡(luò)預(yù)測(cè)的左手關(guān)節(jié)點(diǎn)位置。圖2-3 DeepPose模型優(yōu)化精修階段

圖2-2 DeepPose模型粗略識(shí)別階段步驟5. 圖2-4 表示DeepPose模型訓(xùn)練過(guò)程簡(jiǎn)述。與用于分類問(wèn)題的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程類似,僅是將分類損失修改成回歸損失。圖中表達(dá)了粗略識(shí)別階段得到的紅色預(yù)測(cè)點(diǎn),經(jīng)過(guò)優(yōu)化精修階段得到的藍(lán)色關(guān)節(jié)點(diǎn),向著綠色關(guān)節(jié)點(diǎn)所代表的真實(shí)位置不斷靠近的過(guò)程。

【參考文獻(xiàn)】：
期刊論文
[1]融合HOG和顏色特征的人體姿態(tài)估計(jì)新算法[J]. 沈建冬,陳恒.  計(jì)算機(jī)工程與應(yīng)用. 2017(21)
[2]基于HOG和顏色特征融合的人體姿態(tài)估計(jì)[J]. 韓貴金,朱虹.  模式識(shí)別與人工智能. 2014(09)
[3]人體動(dòng)作行為識(shí)別研究綜述[J]. 李瑞峰,王亮亮,王珂.  模式識(shí)別與人工智能. 2014(01)
[4]人體步態(tài)特征生物識(shí)別方法研究[J]. 張軍.  天津工程師范學(xué)院學(xué)報(bào). 2010(04)
[5]動(dòng)作識(shí)別與行為理解綜述[J]. 徐光祐,曹媛媛.  中國(guó)圖象圖形學(xué)報(bào). 2009(02)

博士論文
[1]人體生物特征的綜合分析與應(yīng)用[D]. 劉歡喜.上海交通大學(xué) 2010

碩士論文
[1]視頻監(jiān)控中人體動(dòng)作識(shí)別關(guān)鍵技術(shù)研究[D]. 渠暢.北方工業(yè)大學(xué) 2019



本文編號(hào)：3131895