語義分割是計(jì)算機(jī)視覺領(lǐng)域一個(gè)非常活躍的研究方向,它在視頻監(jiān)控、場(chǎng)景分析、人機(jī)交互以及行為分析等方面有著巨大的應(yīng)用潛力。目前,語義分割的主流實(shí)現(xiàn)方式是采用卷積神經(jīng)網(wǎng)絡(luò)來搭建模型,并通過使用人工標(biāo)注的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練來得到語義分割模型。而現(xiàn)目前的語義分割模型往往為追求高分割精度而導(dǎo)致模型復(fù)雜且運(yùn)行時(shí)間長,難以用于許多對(duì)運(yùn)行速度要求高的場(chǎng)景。因此,本文就兼具精度與速度的高效語義分割方法進(jìn)行了研究,主要包括:第一,對(duì)FCN、U-Net和DeepLabv3+模型進(jìn)行了研究,比較了三者在公開數(shù)據(jù)及Cityscapes上的表現(xiàn),分析了三者特征融合的方式。從而針對(duì)深度學(xué)習(xí)模型易出現(xiàn)的特征冗余問題,提出了一種改進(jìn)的U-Net語義分割模型,該網(wǎng)絡(luò)相比于原始U-Net融合了更少的特征,且使用的參數(shù)更少,也在數(shù)據(jù)集上獲得了更高的分割精度。第二,通過對(duì)目標(biāo)檢測(cè)模型和圖像識(shí)別模型的任務(wù)特性的分析,本文提出了一種基于目標(biāo)檢測(cè)遷移學(xué)習(xí)的高效語義分割方法。該方法利用YOLOv3目標(biāo)檢測(cè)模型進(jìn)行遷移學(xué)習(xí),針對(duì)訓(xùn)練樣本的非均衡性進(jìn)行損失函數(shù)設(shè)計(jì),使用多類型卷積模塊對(duì)高層特征進(jìn)行提取來獲得更加有效的特征和更加快速的速度。實(shí)驗(yàn)結(jié)果表明,該方法在確保高分割精度的同時(shí),能夠有效地提升分割效率。在公開測(cè)試集Cityscapes上,該方法達(dá)到了0.171s每幀的運(yùn)行速度以及79.1%平均交并的分割精度。且實(shí)驗(yàn)結(jié)果表明相比于從圖像識(shí)別進(jìn)行遷移學(xué)習(xí)的模型,該模型能夠取得更好的分割效果。進(jìn)一步地,為了緩解由樣本有偏性帶來的模型泛化能力差,本文提出了使用風(fēng)格遷移的方法,對(duì)目標(biāo)圖像向訓(xùn)練圖像進(jìn)行風(fēng)格遷移再進(jìn)行分割。實(shí)驗(yàn)結(jié)果表明,該方法相比于使用原始圖像進(jìn)行分割獲得了5%的精度提升。第三,從更加有效地提取與利用特征的角度出發(fā),本文提出了一種基于多層次卷積模塊的快速語義分割方法。該方法將三種不同的卷積核以不同的層次進(jìn)行組合,并將它們所提取的特征進(jìn)行融合,從而實(shí)現(xiàn)了使用較少模型參數(shù)的情況下獲得更加有效的特征。實(shí)驗(yàn)結(jié)果表明,該方法具有較快的運(yùn)行速度且同時(shí)有著較高的分割精度。在公開測(cè)試集Cityscapes上,該方法達(dá)到了0.052s每幀的運(yùn)行速度以及75.2%平均交并比的分割精度。同時(shí),本文將該模型用于人體分割,并提出使用多數(shù)據(jù)集聯(lián)合訓(xùn)練的方式來緩解訓(xùn)練樣本的有偏性從而提升模型的魯棒性。實(shí)驗(yàn)結(jié)果表明,本文的人體分割模型能夠有效地應(yīng)用到各種場(chǎng)景之中。第四,本文對(duì)提出的兩個(gè)語義分割模型在嵌入式平臺(tái)Xavier上進(jìn)行了實(shí)現(xiàn),并進(jìn)行了基于語義分割的人臉風(fēng)格遷移應(yīng)用的實(shí)驗(yàn)測(cè)試與驗(yàn)證。測(cè)試結(jié)果表明,本文提出的基于多層次卷積模塊的語義分割模型能夠在嵌入式平臺(tái)實(shí)時(shí)運(yùn)行。且應(yīng)用實(shí)驗(yàn)結(jié)果顯示,本文的模型在Xavier平臺(tái)能夠以0.172s每幀的速度完成對(duì)640×360×3大小圖像的分割與人臉風(fēng)格遷移。綜上,本文針對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法,從目標(biāo)檢測(cè)遷移學(xué)習(xí)、緩解訓(xùn)練樣本非均衡的損失函數(shù)設(shè)計(jì)、多類型高層特征的提取、多層次卷積模塊的利用以及嵌入式平臺(tái)的實(shí)現(xiàn)等角度進(jìn)行了深入研究,提出了高效的語義分割模型。實(shí)驗(yàn)結(jié)果證明,本文所提出的方法在確保分割精度的同時(shí)能夠有效提高分割效率,具備了實(shí)際應(yīng)用的能力。
【學(xué)位單位】：中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2019
【中圖分類】：TP391.41;TP183
【部分圖文】：

第 1 章 緒論的環(huán)境信息，分割的結(jié)果不僅具有各目標(biāo)在圖像中的位置信息，同時(shí)還有各個(gè)目標(biāo)的類別以及姿態(tài)信息。這些信息能夠有效地輔助其它計(jì)算機(jī)視覺的應(yīng)用任務(wù)，比如自動(dòng)駕駛、人機(jī)交互以及場(chǎng)景變換。隨著監(jiān)控和智能手機(jī)的普及，語義分割的應(yīng)用量也逐步增大。比如監(jiān)控中，可以通過語義分割來智能判別車輛所在區(qū)域是否屬于應(yīng)急車道或者非機(jī)動(dòng)車道，從而減少人工判定的工作量。而在智能手機(jī)中，語義分割則有著非常成熟的應(yīng)用�，F(xiàn)目前手機(jī)拍照功能中的人像優(yōu)化以及背景虛化，都是通過語義分割提取出相關(guān)區(qū)域后再進(jìn)行后處理。

往往是通過自頂向下的方式實(shí)現(xiàn)。語義分割的最終目標(biāo)就是通過自頂向下的方式得到一個(gè)模入圖像中的每個(gè)像素準(zhǔn)確預(yù)測(cè)出一個(gè)具有語義的標(biāo)簽，其流程其中預(yù)測(cè)標(biāo)簽中的每一種顏色對(duì)應(yīng)一個(gè)類別的目標(biāo)。模型輸入圖像

我們會(huì)在卷積的過程中盡量保持輸出的特征寬高大小和輸入特征一致，所以我們往往會(huì)在輸入特征的邊框上補(bǔ) 0，補(bǔ) 0 的方法則按照卷積后寬高大小不變的原則來進(jìn)行。比如圖2.3中，這里使用的卷積核寬高為3 × 3，輸入寬高為7 × 7，那么為了得到同樣寬高為7 × 7的輸出，我們則會(huì)在輸入特征的周邊補(bǔ)上一圈 0，使得輸入特征的寬高變?yōu)? × 9，這樣便能得到寬高為7 × 7的輸出。圖 2.3 二維卷積示意圖Figure 2.3 The sketch of 2 dimensional convolution1 3 1 2 4 2 23 3 4 2 1 1 10 2 0 0 2 4 42 1 0 0 0 2 13 3 3 2 1 1 12 0 1 1 1 4 14 0 0 3
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場(chǎng)中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)研究[J];電工技術(shù);2019年11期

3 陳曉燕;;淺析簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡(jiǎn)單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

4 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國際學(xué)術(shù)動(dòng)態(tài);1996年01期

5 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

6 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

7 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

8 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)博士學(xué)位論文 前10條

1 陳冬冬;基于深度神經(jīng)網(wǎng)絡(luò)的視覺媒體風(fēng)格轉(zhuǎn)換方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

2 韓旭;基于神經(jīng)網(wǎng)絡(luò)的文本特征表示關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

3 楊國花;基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的對(duì)話狀態(tài)追蹤技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

4 楊威;基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所);2019年

5 雷學(xué)文;基于深度神經(jīng)網(wǎng)絡(luò)的風(fēng)功率日前預(yù)測(cè)與電力系統(tǒng)聯(lián)合調(diào)度研究[D];西安理工大學(xué);2018年

6 陳川;憶阻神經(jīng)網(wǎng)絡(luò)的同步控制及在信息安全中的應(yīng)用研究[D];北京郵電大學(xué);2019年

7 劉梅;網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定和同步行為研究[D];新疆大學(xué);2017年

8 靳然;基于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的麥蚜發(fā)生動(dòng)態(tài)預(yù)測(cè)研究[D];山西農(nóng)業(yè)大學(xué);2017年

9 李驍;基于深度卷積神經(jīng)網(wǎng)絡(luò)MSCT對(duì)小腎腫瘤病理分型的預(yù)測(cè)研究[D];中國人民解放軍海軍軍醫(yī)大學(xué);2018年

10 李若霞;基于憶阻的神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)分析及應(yīng)用[D];東南大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 權(quán)峻;太陽能溫室建模及智能控制策略研究[D];天津理工大學(xué);2019年

2 鐘文雅;基于深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺X線圖像的分類方法研究[D];南陽師范學(xué)院;2019年

3 薛花;基于聚類與神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D];天津理工大學(xué);2019年

4 張璐;基于深度學(xué)習(xí)的淋巴結(jié)自動(dòng)分割算法研究[D];浙江大學(xué);2019年

5 郭盼盼;基于GA-BP神經(jīng)網(wǎng)絡(luò)的多日股票價(jià)格預(yù)測(cè)[D];鄭州大學(xué);2019年

6 王旭東;基于光散射的磷礦磨礦粒度分析方法研究[D];武漢工程大學(xué);2018年

7 熊雨點(diǎn);基于深度學(xué)習(xí)的表單識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D];武漢工程大學(xué);2018年

8 聶若瑩;基于AMDAR數(shù)據(jù)的對(duì)流云附近顛簸區(qū)預(yù)測(cè)方法研究[D];中國民用航空飛行學(xué)院;2019年

9 李高玲;基于神經(jīng)網(wǎng)絡(luò)的算法作曲與情感識(shí)別研究[D];鄭州大學(xué);2019年

10 路高飛;基于遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的信用風(fēng)險(xiǎn)研究[D];鄭州大學(xué);2019年

本文編號(hào)：2844764