圖像實例分割是計算機視覺方向的基本任務之一。給定一幅圖像,實例分割任務旨在對圖像中某些類別的實例進行像素級別的區(qū)分。傳統(tǒng)的實例分割方法主要分為兩類:基于候選框的實例分割方法和無候選框實例分割方法�；诤蜻x框的實例分割方法先利用候選框對物體進行定位,再對找到的物體進行掩膜分割。而無候選框的實例分割方法則利用網絡預測像素級別的實例信息,再對圖像中的像素進行聚類。在無候選框的實例分割算法中,如何找到合適的實例級信息一直是研究的重點與難點。而在基于候選框的實例分割算法中,一方面,由于掩膜通常在備選區(qū)域內部產生,視覺表征的學習受到候選框范圍的限制。另一方面,由于掩膜支路分辨率的限制,得到的掩膜結果十分粗糙。為了解決這些問題,提升實例分割算法的性能,得到更好的分割結果,本文將像素親和性和語義信息顯式地引入實例分割任務。本文的主要工作和創(chuàng)新點包含如下三個方面:第一,提出了基于圖融合方法的無候選框實例分割算法。該算法將整幅圖像作為一個圖結構,利用神經網絡預測圖像的語義信息與親和性信息作為圖中的邊,提出圖融合方法將圖中的像素聚類為不同的集合,最后得到不同的實例。該方法將像素親和性與圖像語義信息結合,并利... 

【文章來源】：中國科學技術大學安徽省 211工程院校 985工程院校

【文章頁數】：96 頁

【學位級別】：博士

【部分圖文】：

圖１．１實例分割任務的定義

?第１章緒?論???１．３研究內容和創(chuàng)新點??候選框的實例分割基于圖融合方法的實例分割??ｆ?Ｉ—?／－?ｎ??、?Ｊ?Ａｋ基干全局上下文信息的實例分割??＇、＼（ｓ于候選框的實例分割）￣??Ｙ基于像素親和性的實例分割優(yōu)化??圖１．２本文提出的主要工作結構。??對于圖像實例分割任務，本文從兩個方面進行研宄。如圖１．２所示，對于無??候選框的實例分割，本文提出一種新的實例信息表征：像素之間的親和性，并以??此構建基于像素親和性的圖融合方法，生成實例分割的結果。另一方面，對于基??于候選框的實例分割，本文分析了現有方法中存在的問題，提出了將全局上下文??信息融入特征的學習過程，增強實例分割的結果。同時，本文還對像素親和性進??行更深一步的探索，在基于候選框的實例分割方法中，也可以利用像素親和性，??學習更好的特征表達，并對得到的掩膜結果進行優(yōu)化，得到更好的實例分割效??果。??本文主要創(chuàng)新點如下：??１．提出了一種全新的無候選框實例分割方法，驗證了像素的親和性可以作為??有效的實例層次信息。針對學習得到的親和性，提出了全新的圖融合算法，??結合像素親和性與語義信息，為聚類過程提供指引。??２．針對基于候選框的實例分割任務中存在的問題，提出了將上下文信息引入??特征學習中。通過增加輔助監(jiān)督與一致性約束，指引網絡學習全局上下文??信息。針對候選框空間位置信息的缺失，引入了位置編碼向量，解決了訓??練中存在的標簽不一致問題。??３．針對傳統(tǒng)方法由于上采樣導致的邊界粗糙問題，提出了像素親和性網絡，??將像素親和性引入網絡訓練中來，基于圖融合算法，設計了對實例分割結??果進行優(yōu)化的流程。??１

應用如此廣??泛，最關鍵的是它對圖像特征提取的能力，在這一小節(jié)，我們對近些年來的卷積??神經網絡發(fā)展進行簡要回顧。??１．?ＬｅＮｅｔ??Ｃ３：?ｆ?ｍａｐｓ?１６＠１０ｘ１０??ＩＭＰＩＩＴ?Ｃ１：?ｆｅａｔｕｒｅ?ｍａｐｓ?Ｓ４?ｆ?ｍａｐｓ?１６＠５ｘ５??Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ?｜?Ｇａｕｓｓｉａｎ?ｃｏｎｎｅｃｔｉｏｎｓ??Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｉｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??圖２．１?ＬｅＮｅｔ－５的網絡結構，圖片引用自論文Ｉ％。??如圖２．１所示，ＬｅＮｅｔ是為了解決手寫字符識別問題提出的一個分類網絡，是??最早的卷積神經網絡結構之一，開啟了深度學習的發(fā)展。ＬｅＮｅｔ第一次向研宄人??員們展現了卷積神經網絡學習特征的能力，并在分類任務中取得了卓越的性能。??ＬｅＮｅｔ中可以發(fā)現大部分ＣＮＮ中的常用操作：卷積，池化，激活，全連接層等??等，這為之后ＣＮＮ的發(fā)展奠定了基矗??２．?ＡｌｅｘＮｅｔ??盡管ＣＮＮ向研究者們展現了強有力的特征學習能力，但在當時的硬件條件??下，神經網絡的復雜性成為了研宄的瓶頸。隨著計算條件的不斷發(fā)展，２０１２年，??基于卷積神經網絡的ＡｌｅｘＮｅｔ?—舉獲得了?ＩｍａｇｅＮｅｔ圖像分類競賽的冠軍，這使??得卷積神經網絡再一次進入了大眾的視野。??ＡｌｅｘＮｅｔ的主要網絡結構如圖２．２所示，它第一次使用了?ＲｅＬＵ作為網絡激活??層的激活函數。與全等映射不同的是，當輸入值小于０時，ＲｅＬＵ函數將會返回０。??由于ＲｅＬＵ層的激活不會增加梯度計算的開銷，相比于之前的激活函數，ＲｅＬＵ??


本文編號：2983230