如今的自動駕駛、智能安防等各個領(lǐng)域都離不開計算機視覺,而圖像分割是計算機視覺領(lǐng)域的一個重要的研究方向。隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的圖像語義分割任務(wù)迎來了新的飛躍。圖像的語義分割是計算機認(rèn)知圖像內(nèi)容獲取圖像信息的重要環(huán)節(jié),為后續(xù)的圖像處理環(huán)節(jié)提供計算機可辨識的信息,其準(zhǔn)確度直接影響著后續(xù)的圖像處理效果。本文基于深度神經(jīng)網(wǎng)絡(luò)的框架,對城市街景圖像的語義分割任務(wù)進行研究。目前的街景圖像語義分割任務(wù)存在著訓(xùn)練樣本不均勻、對小物體的分割不準(zhǔn)確、細(xì)節(jié)部分例如邊緣等容易分割出錯、監(jiān)督方式較為單一等問題�；谀壳霸摲较虼嬖诘膯栴},本文從三個方面切入展開。首先,在對圖像特征提取環(huán)節(jié)的研究中,本文提出了一個基于改進殘差網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò),以擴大網(wǎng)絡(luò)的感受野,獲取更多語義信息。在殘差網(wǎng)絡(luò)的后端,設(shè)計了一個并聯(lián)式空洞卷積模塊,來獲取不同尺度的目標(biāo)的圖像特征,為后面的圖像特征融合環(huán)節(jié)做準(zhǔn)備。其次,在對圖像特征融合環(huán)節(jié)的研究中,本文提出了一個多重特征關(guān)聯(lián)模塊。借助注意力機制的優(yōu)勢,該部分能融合不同像素點和不同特征兩個維度的語義信息。然后,在對網(wǎng)絡(luò)的訓(xùn)練方法上,本文采用的是主損失函數(shù)和輔助損失函數(shù)相結(jié)... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【部分圖文】：

語義分割示意圖

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-5-端到端網(wǎng)絡(luò)在語義分割領(lǐng)域的開山之作。圖1-2全卷積神經(jīng)網(wǎng)絡(luò)[23]示意圖隨著神經(jīng)網(wǎng)絡(luò)變得越來越深，一個新的問題誕生了，即梯度消失問題。許多研究也在這方面展開，一種做法是在前層和后層之間創(chuàng)建連接，例如HighwayNetworks、ResNets[24]、Stochasticdepth、FractalNets等。但是這些網(wǎng)絡(luò)仍有不足，GaoHuang等人就提出了DenseNet[25]來解決ResNets參數(shù)過多的問題。除此以外，研究人員還在多個反面進行了思考，以此來提高網(wǎng)絡(luò)的性能。1.3.3.1提高多尺度特征融合效率卷積層本質(zhì)上是對圖像進行特征提取，而解碼過程本質(zhì)上是一個特征融合的過程。因此，如何提取更多的特征，如何將各類特征更好的融合，成為了研究人員最為關(guān)注的問題。基于這樣的思考，人們又在FCN的基礎(chǔ)上對編碼解碼式進行了更多探索。U-net[26]將解碼過程獲得的高分辨率特征與編碼過程中獲得的特征相融合，將前層特征直接連接到后層，這成為了圖像分割中最經(jīng)典的網(wǎng)絡(luò)之一。語義分割網(wǎng)絡(luò)中高低層特征融合的效率問題也成為了研究人員關(guān)注的一點。通過不同的池化操作可以獲得不同分辨率的特征圖，PSPnet[27]提出金字塔池化模塊（SaptialPyramidPooling，SPP）幫助實現(xiàn)背景聚合，DeepLabV2[28]中結(jié)合空洞卷積的思想提出金字塔型的空洞池化（AtrousSaptialPyramidPooling，ASPP），如圖1-3所示，并利用ASPP整合多尺度特征，使得高分辨率特征和低分辨率特征相融合，從而更好地提取目標(biāo)的類別信息。ExFuse[29]基于GCN設(shè)計了語義嵌入支路（SemanticEmbeddingBranch，SEB），通過將高層特征上采樣后與低層特征逐像素相乘的方法將高層特征融入低層特征。在文獻(xiàn)[30]中，曠視研究院針對不同尺度特征提取的問題提出了一個動態(tài)路徑選擇（Dy

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-6-系。熊志勇等人[32]也提出了一種利用不同尺度圖像作為輸入的模型，通過多次的迭代訓(xùn)練，提取出圖像的多種尺度的特征信息，并使之融合以完成圖像語義分割的任務(wù)。圖1-3空洞金字塔池化[28]1.3.3.2擴大感受野卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖（featuremap）上的像素點在輸入圖片上映射的區(qū)域大小就是感受野，因此感受野越大往往能獲得更多的信息。2015年，Yu等人提出了空洞卷積[33]，向卷積層引入了一個稱為“擴張率(dilationrate)”的參數(shù)，擴張率表示卷積核處理數(shù)據(jù)時各值的間距，在卷積核大小相同的情況下，能夠使卷積操作具有更大的感受野。2016年，Google團隊提出了DeepLab網(wǎng)絡(luò)[34]，將空洞卷積應(yīng)用于網(wǎng)絡(luò)中，DeepLab也因此成為了后續(xù)人員研究的基石。BiSeNet[35]中的ContextPath直接用經(jīng)典網(wǎng)絡(luò)提取深層特征，擴大感受野。ESPNet[36]將標(biāo)準(zhǔn)卷積分解為兩個步驟，分別為逐點卷積和擴張卷積的空間金字塔，使網(wǎng)絡(luò)的效果有了顯著提升。GCN[37]采用小卷積組合的方式來取代大卷積，既能保持較大的感受野，又能減少模型參數(shù)和計算量。1.3.3.3優(yōu)化卷積結(jié)構(gòu)在使用卷積神經(jīng)網(wǎng)絡(luò)進行語義分割的過程中，卷積操作必不可少且至關(guān)重要。卷積池化的結(jié)合可以很好地提取圖像語義信息，增大圖像的感受野，但同時也會導(dǎo)致特征圖分辨率降低或者部分信息丟失。于是研究人員轉(zhuǎn)換思路對卷積結(jié)構(gòu)進行優(yōu)化。WangP等人[38]使用混合擴張卷積(HybridDilatedConvolution，HDC)代替擴張卷積，通過設(shè)置一些列不同擴張率的卷積模塊，有效避免了網(wǎng)格效應(yīng)，保持了局部細(xì)節(jié)信息的相關(guān)性。DaiJ等人[39]提出了可變形卷積(deformableconvolution)，其思路是利用一個可學(xué)習(xí)的偏移量，使卷積操作的卷積核具有可變的形狀，這樣

【參考文獻(xiàn)】：
期刊論文
[1]基于全連接條件隨機場的道路場景語義分割方法[J]. 王瑤,馮峰.  電腦知識與技術(shù). 2019(18)
[2]基于深度CRF模型的圖像語義分割方法[J]. 胡濤,李衛(wèi)華,秦先祥,邱浪波,李小春.  空軍工程大學(xué)學(xué)報(自然科學(xué)版). 2018(05)
[3]基于多尺度特征提取的圖像語義分割[J]. 熊志勇,張國豐,王江晴.  中南民族大學(xué)學(xué)報(自然科學(xué)版). 2017(03)
[4]一種多尺度CNN的圖像語義分割算法[J]. 劉丹,劉學(xué)軍,王美珍.  遙感信息. 2017(01)
[5]區(qū)域分裂合并法在圖像分割中的應(yīng)用[J]. 程帥.  福建電腦. 2013(06)
[6]自適應(yīng)區(qū)域生長算法在醫(yī)學(xué)圖像分割中的應(yīng)用[J]. 陸劍鋒,林海,潘志庚.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2005(10)



本文編號：3302830