基于多尺度探測與掩碼評估網(wǎng)絡(luò)的目標(biāo)實(shí)例分割算法研究
發(fā)布時(shí)間:2021-10-04 23:29
圖像實(shí)例分割是人工智能與圖像識別領(lǐng)域的重要發(fā)展方向,其像素級的目標(biāo)分割被廣泛應(yīng)用于工業(yè)生產(chǎn)、醫(yī)療衛(wèi)生和社會安全等領(lǐng)域。傳統(tǒng)圖像實(shí)例分割算法容易受到目標(biāo)形變、重疊、光照等因素的影響,其分割精度不高;诰矸e神經(jīng)網(wǎng)絡(luò)的特征提取方法雖然在目標(biāo)檢測、語義分割等任務(wù)中取得了較高的測試精度,但仍然存在一些問題。一方面,由于圖像中目標(biāo)尺度差異較大,導(dǎo)致檢測精度降低,且分割結(jié)果不準(zhǔn)確;另一方面,在語義分割階段,池化過程導(dǎo)致特征圖尺寸下降,像素點(diǎn)通過全連接層的映射和分類出現(xiàn)偏差,同時(shí)傳統(tǒng)的實(shí)例分割模型不能對生成掩碼的完整性進(jìn)行評估,使得生成的目標(biāo)掩碼不準(zhǔn)確。在現(xiàn)有實(shí)例分割算法框架的基礎(chǔ)上,本文通過研究MTCNN和DNN等深度學(xué)習(xí)方法,以解決實(shí)例分割過程中目標(biāo)尺度差異較大、掩碼生成不準(zhǔn)確的難題。本文的主要工作如下:(1)本文設(shè)計(jì)了一種多尺度探測器MSD(multi-scale detector),用于在特征圖中提取不同尺度的實(shí)例目標(biāo)特征,以消除目標(biāo)尺寸差異較大的影響,提高實(shí)例分割精度。傳統(tǒng)基于深度學(xué)習(xí)的目標(biāo)實(shí)例分割算法在特征提取階段通常使用單一的卷積核尺寸,難以提取特征圖中不同尺寸的實(shí)例特征,并且在池化過...
【文章來源】:河南大學(xué)河南省
【文章頁數(shù)】:84 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-2卷積神經(jīng)網(wǎng)絡(luò)基本框架??
?第2章圖像實(shí)例分割基礎(chǔ)知識???層、池化層、激活函數(shù)以及全連接層組成,形成級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu),如圖2-2所示。其中,??卷積層主要用于特征的提取以及特征向量的生成;池化層和激活函數(shù)在特征圖的基礎(chǔ)上,??增強(qiáng)特征尺度信息、加入非線性因素,使提取的特征具有良好的平移不變性和一定的旋??轉(zhuǎn)不變性;同時(shí),在卷積群組中利用不同的池化手段和獨(dú)特的連接方式,能夠?qū)⒉煌??寸的特征向量互相融合,從而構(gòu)建出更有效的特征提取網(wǎng)絡(luò)。??120??|特征可視化|?:?\??j?_麵_齡:爲(wèi)I?\??特征圖:14M4?.?,?\?84??I?I?\??I?mmammaet?\??輸入■特—?1|^?!?;??|?1—?:?t—i!?^?^?|??卷積?最大池化?卷積?特征重構(gòu)?全連接1全連接2?輸出??圖2-2卷積神經(jīng)網(wǎng)絡(luò)基本框架??2.2.1?CNN特征提取網(wǎng)絡(luò)理論基礎(chǔ)??卷積層(Convolutionallayer)是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的最基本的組成結(jié)構(gòu),用于提取??輸入圖片的特征。卷積層的設(shè)計(jì)來源于模擬人類視覺皮層細(xì)胞中的神經(jīng)元,對感受野的??特征進(jìn)行選擇性的獲取,如圖2-3所示。??特征描述子?^?神經(jīng)元??傳統(tǒng)特征提取?CNN卷積特征提取??圖2-3傳統(tǒng)特征提取與CNN特征提取感受野??在進(jìn)行卷積運(yùn)算時(shí),通常給定一個(gè)大小為的方陣,稱為卷積核(filter),卷積核??的大。ǎ妫椋欤簦澹?size)即像素點(diǎn)在輸入圖像中映射的區(qū)域大小,被稱為感受野。從數(shù)學(xué)的??9??
式?擴(kuò)張卷積(Dilated?Convolutions)?[56],又稱空洞卷積。該方??法提出了一種7x7的空洞卷積,其正則表達(dá)式等效于3個(gè)3x3的卷積疊加。同時(shí),Yu等??人在提出的網(wǎng)絡(luò)結(jié)構(gòu)中減少了池化層的數(shù)量,這一方法不僅大幅度地減少了神經(jīng)網(wǎng)絡(luò)的??參數(shù),同時(shí)又增大了特征提取的感受野,使得圖像識別的精度得到了顯著提升。??^?原始像素值?C0nc3t??3x3conv?3x3conv?3x3conv??(a)傳統(tǒng)卷積運(yùn)算?(b)空洞卷積運(yùn)算?(c)深度可分離卷積??圖2-4卷積運(yùn)算分類??隨著圖像分割技術(shù)的進(jìn)一步研究,空洞卷積逐漸出現(xiàn)小目標(biāo)丟失等諸多問題?斩??卷積的特征提取并不連續(xù),損失了圖像信息本身的連續(xù)性,甚至一些像素自始至終沒有??參與運(yùn)算。另一方面這種一味地?cái)U(kuò)大卷積感受野的思想并不能很好地處理不同大小物體??的關(guān)系,雖然減少了卷積運(yùn)算的計(jì)算量,但嚴(yán)重影響了圖像中小目標(biāo)的特征提齲2013??年,谷歌的實(shí)習(xí)生Laurent?Sifre提出了一種新的卷積結(jié)構(gòu)[55],被稱為深度可分離卷積??(depthwise?separable?convolutions)。作者假設(shè)卷積層間的通道相關(guān)性和空間相關(guān)性是可??以退耦合的,因此將它們分開映射,達(dá)到了更好的效果。深度可分離卷積首先利用1x1??的卷積核將輸入的特征圖映射到幾個(gè)維度比原來更小的空間上,每個(gè)通道的特征圖乘以??不同的權(quán)重因子進(jìn)行線性組合;然后使用不同大小的卷積核對這些更小的空間進(jìn)行卷積??運(yùn)算,對空間相關(guān)性和通道相關(guān)性同時(shí)進(jìn)行映射;最終將所有子空間輸出的卷積結(jié)果進(jìn)??10??
【參考文獻(xiàn)】:
期刊論文
[1]深度學(xué)習(xí)目標(biāo)檢測方法綜述[J]. 趙永強(qiáng),饒?jiān)?董世鵬,張君毅. 中國圖象圖形學(xué)報(bào). 2020(04)
[2]MDSSD:multi-scale deconvolutional single shot detector for small objects[J]. Lisha CUI,Rui MA,Pei LV,Xiaoheng JIANG,Zhimin GAO,Bing ZHOU,Mingliang XU. Science China(Information Sciences). 2020(02)
[3]基于深度學(xué)習(xí)的語義分割算法綜述[J]. 趙霞,白雨,倪穎婷,陳萌,郭松,楊明川,陳鳳. 上海航天. 2019(05)
[4]遠(yuǎn)紅外車載圖像實(shí)時(shí)行人檢測與自適應(yīng)實(shí)例分割[J]. 于博,馬書浩,李紅艷,李春庚,安居白. 激光與光電子學(xué)進(jìn)展. 2020(02)
[5]3D Object Detection Incorporating Instance Segmentation and Image Restoration[J]. HUANG Bo,HUANG Man,GAO Yongbin,YU Yuxin,JIANG Xiaoyan,ZHANG Juan. Wuhan University Journal of Natural Sciences. 2019(04)
[6]基于深度學(xué)習(xí)的目標(biāo)檢測框架進(jìn)展研究[J]. 寇大磊,權(quán)冀川,張仲偉. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[7]基于深度學(xué)習(xí)的群豬圖像實(shí)例分割方法[J]. 高云,郭繼亮,黎煊,雷明剛,盧軍,童宇. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(04)
[8]基于內(nèi)容的圖像分割方法綜述[J]. 姜楓,顧慶,郝慧珍,李娜,郭延文,陳道蓄. 軟件學(xué)報(bào). 2017(01)
碩士論文
[1]基于多尺度特征融合與上下文分析的目標(biāo)檢測技術(shù)研究[D]. 許必宵.南京郵電大學(xué) 2019
[2]基于深度學(xué)習(xí)的遙感圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 肖瀟.北京郵電大學(xué) 2019
[3]基于深度學(xué)習(xí)的心室核磁共振圖像分割研究與應(yīng)用[D]. 尹航.蘭州大學(xué) 2019
[4]RGB-D圖像和點(diǎn)云圖像實(shí)例分割方法研究[D]. 王玉婷.合肥工業(yè)大學(xué) 2019
[5]基于深度學(xué)習(xí)的物流道路場景分割系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 管超.電子科技大學(xué) 2019
[6]RGB-D室內(nèi)場景圖像的目標(biāo)提取算法研究[D]. 吳曉秋.南京郵電大學(xué) 2018
[7]基于深度學(xué)習(xí)的室內(nèi)點(diǎn)云場景語義理解研究[D]. 李文強(qiáng).哈爾濱工業(yè)大學(xué) 2018
[8]面向步態(tài)識別的顯著前景分割[D]. 張晶晶.安徽大學(xué) 2018
[9]基于實(shí)例分割的場景圖像文字檢測[D]. 張小爽.浙江大學(xué) 2018
[10]深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D]. 李衛(wèi).武漢理工大學(xué) 2014
本文編號:3418543
【文章來源】:河南大學(xué)河南省
【文章頁數(shù)】:84 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖2-2卷積神經(jīng)網(wǎng)絡(luò)基本框架??
?第2章圖像實(shí)例分割基礎(chǔ)知識???層、池化層、激活函數(shù)以及全連接層組成,形成級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu),如圖2-2所示。其中,??卷積層主要用于特征的提取以及特征向量的生成;池化層和激活函數(shù)在特征圖的基礎(chǔ)上,??增強(qiáng)特征尺度信息、加入非線性因素,使提取的特征具有良好的平移不變性和一定的旋??轉(zhuǎn)不變性;同時(shí),在卷積群組中利用不同的池化手段和獨(dú)特的連接方式,能夠?qū)⒉煌??寸的特征向量互相融合,從而構(gòu)建出更有效的特征提取網(wǎng)絡(luò)。??120??|特征可視化|?:?\??j?_麵_齡:爲(wèi)I?\??特征圖:14M4?.?,?\?84??I?I?\??I?mmammaet?\??輸入■特—?1|^?!?;??|?1—?:?t—i!?^?^?|??卷積?最大池化?卷積?特征重構(gòu)?全連接1全連接2?輸出??圖2-2卷積神經(jīng)網(wǎng)絡(luò)基本框架??2.2.1?CNN特征提取網(wǎng)絡(luò)理論基礎(chǔ)??卷積層(Convolutionallayer)是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的最基本的組成結(jié)構(gòu),用于提取??輸入圖片的特征。卷積層的設(shè)計(jì)來源于模擬人類視覺皮層細(xì)胞中的神經(jīng)元,對感受野的??特征進(jìn)行選擇性的獲取,如圖2-3所示。??特征描述子?^?神經(jīng)元??傳統(tǒng)特征提取?CNN卷積特征提取??圖2-3傳統(tǒng)特征提取與CNN特征提取感受野??在進(jìn)行卷積運(yùn)算時(shí),通常給定一個(gè)大小為的方陣,稱為卷積核(filter),卷積核??的大。ǎ妫椋欤簦澹?size)即像素點(diǎn)在輸入圖像中映射的區(qū)域大小,被稱為感受野。從數(shù)學(xué)的??9??
式?擴(kuò)張卷積(Dilated?Convolutions)?[56],又稱空洞卷積。該方??法提出了一種7x7的空洞卷積,其正則表達(dá)式等效于3個(gè)3x3的卷積疊加。同時(shí),Yu等??人在提出的網(wǎng)絡(luò)結(jié)構(gòu)中減少了池化層的數(shù)量,這一方法不僅大幅度地減少了神經(jīng)網(wǎng)絡(luò)的??參數(shù),同時(shí)又增大了特征提取的感受野,使得圖像識別的精度得到了顯著提升。??^?原始像素值?C0nc3t??3x3conv?3x3conv?3x3conv??(a)傳統(tǒng)卷積運(yùn)算?(b)空洞卷積運(yùn)算?(c)深度可分離卷積??圖2-4卷積運(yùn)算分類??隨著圖像分割技術(shù)的進(jìn)一步研究,空洞卷積逐漸出現(xiàn)小目標(biāo)丟失等諸多問題?斩??卷積的特征提取并不連續(xù),損失了圖像信息本身的連續(xù)性,甚至一些像素自始至終沒有??參與運(yùn)算。另一方面這種一味地?cái)U(kuò)大卷積感受野的思想并不能很好地處理不同大小物體??的關(guān)系,雖然減少了卷積運(yùn)算的計(jì)算量,但嚴(yán)重影響了圖像中小目標(biāo)的特征提齲2013??年,谷歌的實(shí)習(xí)生Laurent?Sifre提出了一種新的卷積結(jié)構(gòu)[55],被稱為深度可分離卷積??(depthwise?separable?convolutions)。作者假設(shè)卷積層間的通道相關(guān)性和空間相關(guān)性是可??以退耦合的,因此將它們分開映射,達(dá)到了更好的效果。深度可分離卷積首先利用1x1??的卷積核將輸入的特征圖映射到幾個(gè)維度比原來更小的空間上,每個(gè)通道的特征圖乘以??不同的權(quán)重因子進(jìn)行線性組合;然后使用不同大小的卷積核對這些更小的空間進(jìn)行卷積??運(yùn)算,對空間相關(guān)性和通道相關(guān)性同時(shí)進(jìn)行映射;最終將所有子空間輸出的卷積結(jié)果進(jìn)??10??
【參考文獻(xiàn)】:
期刊論文
[1]深度學(xué)習(xí)目標(biāo)檢測方法綜述[J]. 趙永強(qiáng),饒?jiān)?董世鵬,張君毅. 中國圖象圖形學(xué)報(bào). 2020(04)
[2]MDSSD:multi-scale deconvolutional single shot detector for small objects[J]. Lisha CUI,Rui MA,Pei LV,Xiaoheng JIANG,Zhimin GAO,Bing ZHOU,Mingliang XU. Science China(Information Sciences). 2020(02)
[3]基于深度學(xué)習(xí)的語義分割算法綜述[J]. 趙霞,白雨,倪穎婷,陳萌,郭松,楊明川,陳鳳. 上海航天. 2019(05)
[4]遠(yuǎn)紅外車載圖像實(shí)時(shí)行人檢測與自適應(yīng)實(shí)例分割[J]. 于博,馬書浩,李紅艷,李春庚,安居白. 激光與光電子學(xué)進(jìn)展. 2020(02)
[5]3D Object Detection Incorporating Instance Segmentation and Image Restoration[J]. HUANG Bo,HUANG Man,GAO Yongbin,YU Yuxin,JIANG Xiaoyan,ZHANG Juan. Wuhan University Journal of Natural Sciences. 2019(04)
[6]基于深度學(xué)習(xí)的目標(biāo)檢測框架進(jìn)展研究[J]. 寇大磊,權(quán)冀川,張仲偉. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[7]基于深度學(xué)習(xí)的群豬圖像實(shí)例分割方法[J]. 高云,郭繼亮,黎煊,雷明剛,盧軍,童宇. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(04)
[8]基于內(nèi)容的圖像分割方法綜述[J]. 姜楓,顧慶,郝慧珍,李娜,郭延文,陳道蓄. 軟件學(xué)報(bào). 2017(01)
碩士論文
[1]基于多尺度特征融合與上下文分析的目標(biāo)檢測技術(shù)研究[D]. 許必宵.南京郵電大學(xué) 2019
[2]基于深度學(xué)習(xí)的遙感圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 肖瀟.北京郵電大學(xué) 2019
[3]基于深度學(xué)習(xí)的心室核磁共振圖像分割研究與應(yīng)用[D]. 尹航.蘭州大學(xué) 2019
[4]RGB-D圖像和點(diǎn)云圖像實(shí)例分割方法研究[D]. 王玉婷.合肥工業(yè)大學(xué) 2019
[5]基于深度學(xué)習(xí)的物流道路場景分割系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 管超.電子科技大學(xué) 2019
[6]RGB-D室內(nèi)場景圖像的目標(biāo)提取算法研究[D]. 吳曉秋.南京郵電大學(xué) 2018
[7]基于深度學(xué)習(xí)的室內(nèi)點(diǎn)云場景語義理解研究[D]. 李文強(qiáng).哈爾濱工業(yè)大學(xué) 2018
[8]面向步態(tài)識別的顯著前景分割[D]. 張晶晶.安徽大學(xué) 2018
[9]基于實(shí)例分割的場景圖像文字檢測[D]. 張小爽.浙江大學(xué) 2018
[10]深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D]. 李衛(wèi).武漢理工大學(xué) 2014
本文編號:3418543
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3418543.html
最近更新
教材專著