圖像實(shí)例分割是計(jì)算機(jī)視覺方向的基本任務(wù)之一。給定一幅圖像,實(shí)例分割任務(wù)旨在對(duì)圖像中某些類別的實(shí)例進(jìn)行像素級(jí)別的區(qū)分。傳統(tǒng)的實(shí)例分割方法主要分為兩類:基于候選框的實(shí)例分割方法和無候選框?qū)嵗指罘椒ā；诤蜻x框的實(shí)例分割方法先利用候選框?qū)ξ矬w進(jìn)行定位,再對(duì)找到的物體進(jìn)行掩膜分割。而無候選框的實(shí)例分割方法則利用網(wǎng)絡(luò)預(yù)測像素級(jí)別的實(shí)例信息,再對(duì)圖像中的像素進(jìn)行聚類。在無候選框的實(shí)例分割算法中,如何找到合適的實(shí)例級(jí)信息一直是研究的重點(diǎn)與難點(diǎn)。而在基于候選框的實(shí)例分割算法中,一方面,由于掩膜通常在備選區(qū)域內(nèi)部產(chǎn)生,視覺表征的學(xué)習(xí)受到候選框范圍的限制。另一方面,由于掩膜支路分辨率的限制,得到的掩膜結(jié)果十分粗糙。為了解決這些問題,提升實(shí)例分割算法的性能,得到更好的分割結(jié)果,本文將像素親和性和語義信息顯式地引入實(shí)例分割任務(wù)。本文的主要工作和創(chuàng)新點(diǎn)包含如下三個(gè)方面:第一,提出了基于圖融合方法的無候選框?qū)嵗指钏惴�。該算法將整幅圖像作為一個(gè)圖結(jié)構(gòu),利用神經(jīng)網(wǎng)絡(luò)預(yù)測圖像的語義信息與親和性信息作為圖中的邊,提出圖融合方法將圖中的像素聚類為不同的集合,最后得到不同的實(shí)例。該方法將像素親和性與圖像語義信息結(jié)合,并利... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：96 頁

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１．１實(shí)例分割任務(wù)的定義

?第１章緒?論???１．３研究內(nèi)容和創(chuàng)新點(diǎn)??候選框的實(shí)例分割基于圖融合方法的實(shí)例分割??ｆ?Ｉ—?／－?ｎ??、?Ｊ?Ａｋ基干全局上下文信息的實(shí)例分割??＇、＼（ｓ于候選框的實(shí)例分割）￣??Ｙ基于像素親和性的實(shí)例分割優(yōu)化??圖１．２本文提出的主要工作結(jié)構(gòu)。??對(duì)于圖像實(shí)例分割任務(wù)，本文從兩個(gè)方面進(jìn)行研宄。如圖１．２所示，對(duì)于無??候選框的實(shí)例分割，本文提出一種新的實(shí)例信息表征：像素之間的親和性，并以??此構(gòu)建基于像素親和性的圖融合方法，生成實(shí)例分割的結(jié)果。另一方面，對(duì)于基??于候選框的實(shí)例分割，本文分析了現(xiàn)有方法中存在的問題，提出了將全局上下文??信息融入特征的學(xué)習(xí)過程，增強(qiáng)實(shí)例分割的結(jié)果。同時(shí)，本文還對(duì)像素親和性進(jìn)??行更深一步的探索，在基于候選框的實(shí)例分割方法中，也可以利用像素親和性，??學(xué)習(xí)更好的特征表達(dá)，并對(duì)得到的掩膜結(jié)果進(jìn)行優(yōu)化，得到更好的實(shí)例分割效??果。??本文主要?jiǎng)?chuàng)新點(diǎn)如下：??１．提出了一種全新的無候選框?qū)嵗指罘椒�，�?yàn)證了像素的親和性可以作為??有效的實(shí)例層次信息。針對(duì)學(xué)習(xí)得到的親和性，提出了全新的圖融合算法，??結(jié)合像素親和性與語義信息，為聚類過程提供指引。??２．針對(duì)基于候選框的實(shí)例分割任務(wù)中存在的問題，提出了將上下文信息引入??特征學(xué)習(xí)中。通過增加輔助監(jiān)督與一致性約束，指引網(wǎng)絡(luò)學(xué)習(xí)全局上下文??信息。針對(duì)候選框空間位置信息的缺失，引入了位置編碼向量，解決了訓(xùn)??練中存在的標(biāo)簽不一致問題。??３．針對(duì)傳統(tǒng)方法由于上采樣導(dǎo)致的邊界粗糙問題，提出了像素親和性網(wǎng)絡(luò)，??將像素親和性引入網(wǎng)絡(luò)訓(xùn)練中來，基于圖融合算法，設(shè)計(jì)了對(duì)實(shí)例分割結(jié)??果進(jìn)行優(yōu)化的流程。??１

應(yīng)用如此廣??泛，最關(guān)鍵的是它對(duì)圖像特征提取的能力，在這一小節(jié)，我們對(duì)近些年來的卷積??神經(jīng)網(wǎng)絡(luò)發(fā)展進(jìn)行簡要回顧。??１．?ＬｅＮｅｔ??Ｃ３：?ｆ?ｍａｐｓ?１６＠１０ｘ１０??ＩＭＰＩＩＴ?Ｃ１：?ｆｅａｔｕｒｅ?ｍａｐｓ?Ｓ４?ｆ?ｍａｐｓ?１６＠５ｘ５??Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ?｜?Ｇａｕｓｓｉａｎ?ｃｏｎｎｅｃｔｉｏｎｓ??Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｉｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??圖２．１?ＬｅＮｅｔ－５的網(wǎng)絡(luò)結(jié)構(gòu)，圖片引用自論文Ｉ％。??如圖２．１所示，ＬｅＮｅｔ是為了解決手寫字符識(shí)別問題提出的一個(gè)分類網(wǎng)絡(luò)，是??最早的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之一，開啟了深度學(xué)習(xí)的發(fā)展。ＬｅＮｅｔ第一次向研宄人??員們展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征的能力，并在分類任務(wù)中取得了卓越的性能。??ＬｅＮｅｔ中可以發(fā)現(xiàn)大部分ＣＮＮ中的常用操作：卷積，池化，激活，全連接層等??等，這為之后ＣＮＮ的發(fā)展奠定了基矗??２．?ＡｌｅｘＮｅｔ??盡管ＣＮＮ向研究者們展現(xiàn)了強(qiáng)有力的特征學(xué)習(xí)能力，但在當(dāng)時(shí)的硬件條件??下，神經(jīng)網(wǎng)絡(luò)的復(fù)雜性成為了研宄的瓶頸。隨著計(jì)算條件的不斷發(fā)展，２０１２年，??基于卷積神經(jīng)網(wǎng)絡(luò)的ＡｌｅｘＮｅｔ?—舉獲得了?ＩｍａｇｅＮｅｔ圖像分類競賽的冠軍，這使??得卷積神經(jīng)網(wǎng)絡(luò)再一次進(jìn)入了大眾的視野。??ＡｌｅｘＮｅｔ的主要網(wǎng)絡(luò)結(jié)構(gòu)如圖２．２所示，它第一次使用了?ＲｅＬＵ作為網(wǎng)絡(luò)激活??層的激活函數(shù)。與全等映射不同的是，當(dāng)輸入值小于０時(shí)，ＲｅＬＵ函數(shù)將會(huì)返回０。??由于ＲｅＬＵ層的激活不會(huì)增加梯度計(jì)算的開銷，相比于之前的激活函數(shù)，ＲｅＬＵ??


本文編號(hào)：2983230