如今的自動(dòng)駕駛、智能安防等各個(gè)領(lǐng)域都離不開(kāi)計(jì)算機(jī)視覺(jué),而圖像分割是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要的研究方向。隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割任務(wù)迎來(lái)了新的飛躍。圖像的語(yǔ)義分割是計(jì)算機(jī)認(rèn)知圖像內(nèi)容獲取圖像信息的重要環(huán)節(jié),為后續(xù)的圖像處理環(huán)節(jié)提供計(jì)算機(jī)可辨識(shí)的信息,其準(zhǔn)確度直接影響著后續(xù)的圖像處理效果。本文基于深度神經(jīng)網(wǎng)絡(luò)的框架,對(duì)城市街景圖像的語(yǔ)義分割任務(wù)進(jìn)行研究。目前的街景圖像語(yǔ)義分割任務(wù)存在著訓(xùn)練樣本不均勻、對(duì)小物體的分割不準(zhǔn)確、細(xì)節(jié)部分例如邊緣等容易分割出錯(cuò)、監(jiān)督方式較為單一等問(wèn)題。基于目前該方向存在的問(wèn)題,本文從三個(gè)方面切入展開(kāi)。首先,在對(duì)圖像特征提取環(huán)節(jié)的研究中,本文提出了一個(gè)基于改進(jìn)殘差網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò),以擴(kuò)大網(wǎng)絡(luò)的感受野,獲取更多語(yǔ)義信息。在殘差網(wǎng)絡(luò)的后端,設(shè)計(jì)了一個(gè)并聯(lián)式空洞卷積模塊,來(lái)獲取不同尺度的目標(biāo)的圖像特征,為后面的圖像特征融合環(huán)節(jié)做準(zhǔn)備。其次,在對(duì)圖像特征融合環(huán)節(jié)的研究中,本文提出了一個(gè)多重特征關(guān)聯(lián)模塊。借助注意力機(jī)制的優(yōu)勢(shì),該部分能融合不同像素點(diǎn)和不同特征兩個(gè)維度的語(yǔ)義信息。然后,在對(duì)網(wǎng)絡(luò)的訓(xùn)練方法上,本文采用的是主損失函數(shù)和輔助損失函數(shù)相結(jié)... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

語(yǔ)義分割示意圖

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-5-端到端網(wǎng)絡(luò)在語(yǔ)義分割領(lǐng)域的開(kāi)山之作。圖1-2全卷積神經(jīng)網(wǎng)絡(luò)[23]示意圖隨著神經(jīng)網(wǎng)絡(luò)變得越來(lái)越深，一個(gè)新的問(wèn)題誕生了，即梯度消失問(wèn)題。許多研究也在這方面展開(kāi)，一種做法是在前層和后層之間創(chuàng)建連接，例如HighwayNetworks、ResNets[24]、Stochasticdepth、FractalNets等。但是這些網(wǎng)絡(luò)仍有不足，GaoHuang等人就提出了DenseNet[25]來(lái)解決ResNets參數(shù)過(guò)多的問(wèn)題。除此以外，研究人員還在多個(gè)反面進(jìn)行了思考，以此來(lái)提高網(wǎng)絡(luò)的性能。1.3.3.1提高多尺度特征融合效率卷積層本質(zhì)上是對(duì)圖像進(jìn)行特征提取，而解碼過(guò)程本質(zhì)上是一個(gè)特征融合的過(guò)程。因此，如何提取更多的特征，如何將各類(lèi)特征更好的融合，成為了研究人員最為關(guān)注的問(wèn)題。基于這樣的思考，人們又在FCN的基礎(chǔ)上對(duì)編碼解碼式進(jìn)行了更多探索。U-net[26]將解碼過(guò)程獲得的高分辨率特征與編碼過(guò)程中獲得的特征相融合，將前層特征直接連接到后層，這成為了圖像分割中最經(jīng)典的網(wǎng)絡(luò)之一。語(yǔ)義分割網(wǎng)絡(luò)中高低層特征融合的效率問(wèn)題也成為了研究人員關(guān)注的一點(diǎn)。通過(guò)不同的池化操作可以獲得不同分辨率的特征圖，PSPnet[27]提出金字塔池化模塊（SaptialPyramidPooling，SPP）幫助實(shí)現(xiàn)背景聚合，DeepLabV2[28]中結(jié)合空洞卷積的思想提出金字塔型的空洞池化（AtrousSaptialPyramidPooling，ASPP），如圖1-3所示，并利用ASPP整合多尺度特征，使得高分辨率特征和低分辨率特征相融合，從而更好地提取目標(biāo)的類(lèi)別信息。ExFuse[29]基于GCN設(shè)計(jì)了語(yǔ)義嵌入支路（SemanticEmbeddingBranch，SEB），通過(guò)將高層特征上采樣后與低層特征逐像素相乘的方法將高層特征融入低層特征。在文獻(xiàn)[30]中，曠視研究院針對(duì)不同尺度特征提取的問(wèn)題提出了一個(gè)動(dòng)態(tài)路徑選擇（Dy

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-6-系。熊志勇等人[32]也提出了一種利用不同尺度圖像作為輸入的模型，通過(guò)多次的迭代訓(xùn)練，提取出圖像的多種尺度的特征信息，并使之融合以完成圖像語(yǔ)義分割的任務(wù)。圖1-3空洞金字塔池化[28]1.3.3.2擴(kuò)大感受野卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖（featuremap）上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小就是感受野，因此感受野越大往往能獲得更多的信息。2015年，Yu等人提出了空洞卷積[33]，向卷積層引入了一個(gè)稱(chēng)為“擴(kuò)張率(dilationrate)”的參數(shù)，擴(kuò)張率表示卷積核處理數(shù)據(jù)時(shí)各值的間距，在卷積核大小相同的情況下，能夠使卷積操作具有更大的感受野。2016年，Google團(tuán)隊(duì)提出了DeepLab網(wǎng)絡(luò)[34]，將空洞卷積應(yīng)用于網(wǎng)絡(luò)中，DeepLab也因此成為了后續(xù)人員研究的基石。BiSeNet[35]中的ContextPath直接用經(jīng)典網(wǎng)絡(luò)提取深層特征，擴(kuò)大感受野。ESPNet[36]將標(biāo)準(zhǔn)卷積分解為兩個(gè)步驟，分別為逐點(diǎn)卷積和擴(kuò)張卷積的空間金字塔，使網(wǎng)絡(luò)的效果有了顯著提升。GCN[37]采用小卷積組合的方式來(lái)取代大卷積，既能保持較大的感受野，又能減少模型參數(shù)和計(jì)算量。1.3.3.3優(yōu)化卷積結(jié)構(gòu)在使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割的過(guò)程中，卷積操作必不可少且至關(guān)重要。卷積池化的結(jié)合可以很好地提取圖像語(yǔ)義信息，增大圖像的感受野，但同時(shí)也會(huì)導(dǎo)致特征圖分辨率降低或者部分信息丟失。于是研究人員轉(zhuǎn)換思路對(duì)卷積結(jié)構(gòu)進(jìn)行優(yōu)化。WangP等人[38]使用混合擴(kuò)張卷積(HybridDilatedConvolution，HDC)代替擴(kuò)張卷積，通過(guò)設(shè)置一些列不同擴(kuò)張率的卷積模塊，有效避免了網(wǎng)格效應(yīng)，保持了局部細(xì)節(jié)信息的相關(guān)性。DaiJ等人[39]提出了可變形卷積(deformableconvolution)，其思路是利用一個(gè)可學(xué)習(xí)的偏移量，使卷積操作的卷積核具有可變的形狀，這樣

【參考文獻(xiàn)】：
期刊論文
[1]基于全連接條件隨機(jī)場(chǎng)的道路場(chǎng)景語(yǔ)義分割方法[J]. 王瑤,馮峰.  電腦知識(shí)與技術(shù). 2019(18)
[2]基于深度CRF模型的圖像語(yǔ)義分割方法[J]. 胡濤,李衛(wèi)華,秦先祥,邱浪波,李小春.  空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(05)
[3]基于多尺度特征提取的圖像語(yǔ)義分割[J]. 熊志勇,張國(guó)豐,王江晴.  中南民族大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(03)
[4]一種多尺度CNN的圖像語(yǔ)義分割算法[J]. 劉丹,劉學(xué)軍,王美珍.  遙感信息. 2017(01)
[5]區(qū)域分裂合并法在圖像分割中的應(yīng)用[J]. 程帥.  福建電腦. 2013(06)
[6]自適應(yīng)區(qū)域生長(zhǎng)算法在醫(yī)學(xué)圖像分割中的應(yīng)用[J]. 陸劍鋒,林海,潘志庚.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2005(10)



本文編號(hào)：3302830