目標(biāo)檢測(cè)和目標(biāo)分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中兩個(gè)關(guān)系密切的研究方向。目標(biāo)檢測(cè)的目的是將圖像中的物體檢測(cè)出來(lái),而目標(biāo)分割是將圖像中的物體的輪廓分割出來(lái)。語(yǔ)義分割是將一張圖片分割成不同種類(lèi)的物體,每一種類(lèi)可能包含多個(gè)相同屬性的物體。實(shí)例分割則是一種對(duì)圖像中每一個(gè)需要檢測(cè)的物體都進(jìn)行單獨(dú)標(biāo)注和分割的圖像分析方法。實(shí)例分割由于需要將每一個(gè)目標(biāo)物體的輪廓標(biāo)注出來(lái),是一個(gè)研究難題。目前的研究在這一領(lǐng)域雖然取得了一定的進(jìn)展,但是很難獲取具有復(fù)雜輪廓的物體的精確目標(biāo)邊界。這是由于卷積神經(jīng)網(wǎng)絡(luò)中的下采樣和上采樣過(guò)程會(huì)損失物體邊界上的語(yǔ)義信息。所以本文研究設(shè)計(jì)了一種創(chuàng)新的方式,來(lái)更精確地分割圖像中的物體。主要工作如下:首先,本文針對(duì)目前最流行的幾種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)和實(shí)例分割算法,如MASK R-CNN、Yolo、Deep-lab等,進(jìn)行了測(cè)試和研究。發(fā)現(xiàn)分割的誤差主要來(lái)源于物體的細(xì)小部分。因此本文提出了一種利用如角點(diǎn)等關(guān)鍵點(diǎn)特征來(lái)強(qiáng)化實(shí)例分割的方法。基于MASK R-CNN的標(biāo)準(zhǔn)網(wǎng)絡(luò),在網(wǎng)絡(luò)中加入真值關(guān)鍵點(diǎn)作為額外輸入,并且設(shè)計(jì)了一個(gè)關(guān)鍵點(diǎn)損失函數(shù)來(lái)改進(jìn)對(duì)物體細(xì)小部分的漏檢。由于對(duì)真值標(biāo)注的時(shí)間有限,本文在... 

【文章來(lái)源】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院寧波材料技術(shù)與工程研究所)浙江省

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

MASKR-CNN對(duì)復(fù)雜物體的分割結(jié)果

關(guān)鍵點(diǎn)特征強(qiáng)化實(shí)例分割4部分，但是本文認(rèn)為一些物體的細(xì)小部分往往是對(duì)識(shí)別一個(gè)物體有比較重要意義的部分，比如細(xì)長(zhǎng)的椅腿和鏤空車(chē)輪。傳統(tǒng)方法的分割誤差往往來(lái)自于細(xì)小部分。從下圖1.2，可以看出，椅子的上半?yún)^(qū)域，椅背和坐墊的分割誤差�。幌掳�?yún)^(qū)域，椅腿和扶手分割誤差大。圖1.2復(fù)雜物體的分割誤差分析Figure1.2Theerroranalysisofcomplexobjectssegmentation目前在實(shí)例分割領(lǐng)域，已經(jīng)有研究在傳統(tǒng)的像素特征以外，加入一些額外的信息來(lái)強(qiáng)化分割效果。這類(lèi)方法主要有半卷積[3]、OpenPose[4]、AAF[5]、depth-awareCNN[6]、超像素[7]、輪廓融合[8]等。雖然這些方法的表現(xiàn)形式不同，是通過(guò)加入關(guān)節(jié)點(diǎn)、深度、標(biāo)簽、超像素、輪廓等不同的知識(shí)，但是本文認(rèn)為其都是一種特征強(qiáng)化的方法，是利用像素特征之外的知識(shí)來(lái)加強(qiáng)實(shí)例分割效果。特征強(qiáng)化主要是在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，加入了像素特征之外的知識(shí)來(lái)強(qiáng)化網(wǎng)絡(luò)對(duì)某些特征的響應(yīng)。這種強(qiáng)化可以通過(guò)多種方式加入，比如depth-awareCNN[6]是在卷積提取特征過(guò)程中加入深度特征；超像素是在卷積訓(xùn)練網(wǎng)絡(luò)或者預(yù)測(cè)網(wǎng)絡(luò)輸入前進(jìn)行超像素處理；OpenPose[4]、DensePose是在標(biāo)注中加入關(guān)節(jié)點(diǎn)特征。相比傳統(tǒng)的通過(guò)像素特征，特征強(qiáng)化在一些特定的分割情景下能取得更加精確的分割結(jié)果。為了研究特征強(qiáng)化對(duì)實(shí)例分割的影響以及找到一種泛化性的特征強(qiáng)化實(shí)例分割方法，本文通過(guò)引入關(guān)鍵點(diǎn)特征來(lái)強(qiáng)化實(shí)例分割，提高了分割方法對(duì)復(fù)雜物體的分割精度。

關(guān)鍵點(diǎn)特征強(qiáng)化實(shí)例分割20圖2.1層級(jí)神經(jīng)網(wǎng)絡(luò)示意圖Figure2.1Hierarchicalneuralnetworkgraph圖2.2卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)Figure2.2Hierarchicalstructureofconvolutionalneuralnetworksgraph卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)基本由以下幾個(gè)部分組成：數(shù)據(jù)輸入層Inputlayer、卷積層convlayer、ReLU激勵(lì)層、池化層Poolinglayer、全連接層FClayer。1.數(shù)據(jù)輸入層：數(shù)據(jù)輸入層的主要作用是是輸入圖像數(shù)據(jù)進(jìn)行預(yù)處理，一般包括以下三個(gè)部分：1.去均值：把輸入圖像數(shù)據(jù)的每個(gè)維度的中心坐標(biāo)都變?yōu)?；2.歸一化：將每個(gè)維度的尺度大小歸一化到統(tǒng)一的標(biāo)準(zhǔn)尺度上，這樣可以降低計(jì)算過(guò)程中由于尺度大小不同帶來(lái)的影響；3.PCA和白化：PCA是一種降維操作，白化則是將輸入圖像數(shù)據(jù)在每個(gè)特征軸上進(jìn)行的尺度歸一化。2.卷積計(jì)算層：卷積神經(jīng)網(wǎng)絡(luò)的命名就是來(lái)源于卷積計(jì)算層，這一層是卷積

【參考文獻(xiàn)】：
期刊論文
[1]圖像場(chǎng)景識(shí)別中深度學(xué)習(xí)方法綜述[J]. 宋杰,孟朝暉.  計(jì)算機(jī)測(cè)量與控制. 2018(01)



本文編號(hào)：2970573