圖像語(yǔ)義分割與場(chǎng)景理解是計(jì)算機(jī)視覺(jué)的核心問(wèn)題之一,旨在對(duì)圖像的每個(gè)像素根據(jù)已知的類別集合進(jìn)行分類。在自動(dòng)駕駛、自拍肖像畫、增強(qiáng)現(xiàn)實(shí)等諸多應(yīng)用場(chǎng)景下,高效而精確的場(chǎng)景理解算法不可或缺。因此,如何實(shí)現(xiàn)快速魯棒的圖像語(yǔ)義分割算法越來(lái)越受到人們的關(guān)注,這也是計(jì)算機(jī)視覺(jué)研究要實(shí)現(xiàn)完全地理解場(chǎng)景的主要問(wèn)題。在最近幾年中,研究者們已經(jīng)提出了許多不同的算法用以解決該問(wèn)題,其中包括利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法和圖像特征技術(shù),以及最近被廣泛采用的深度學(xué)習(xí)方法。本文基于不同的技術(shù)基礎(chǔ)和應(yīng)用場(chǎng)景提出了三種不同的圖像語(yǔ)義分割算法。具體地:首先,本文提出了一種基于標(biāo)簽傳輸?shù)膱D像語(yǔ)義分割算法。該算法通過(guò)搜索查詢圖像的近鄰已標(biāo)注圖像來(lái)獲得語(yǔ)義分割結(jié)果。本文的主要工作是優(yōu)化近鄰已標(biāo)注圖像的搜索精度和速度,并提出了一種稱為稀疏乘積量化(sparse product quantization)的近似最近鄰搜索算法。通過(guò)結(jié)合軟分配的思想以及乘積量化的策略,本文提出的方法不僅能夠達(dá)到更低的量化誤差下限從而能夠得到更精確的近似結(jié)果,而且還可以減少搜索的計(jì)算代價(jià)。為了展示算法的準(zhǔn)確度和效率,本文不僅在多個(gè)近鄰搜索數(shù)據(jù)集上評(píng)測(cè)了算法的近似搜索性能,并且在語(yǔ)義分割數(shù)據(jù)集上驗(yàn)證了該算法應(yīng)用在基于標(biāo)簽傳輸?shù)膱D像語(yǔ)義分割上的有效性。其次,本文提出了一種基于圖像集的協(xié)同分割算法。為了提高分割算法的魯棒性,本文引入了一個(gè)稱為注意力(attentiveness)的度量值。與其他方法相比,通過(guò)計(jì)算圖像中所有對(duì)象的注意力值,算法可以在含有噪聲圖像集合上有效地進(jìn)行協(xié)同分割。此外,為了實(shí)現(xiàn)協(xié)同分割圖像集包含更加相似的目標(biāo)前景,本文進(jìn)一步地在圖像集上采用了子類聚類。對(duì)于理想的協(xié)同分割圖像集,本文提出了一種結(jié)合局部形狀先驗(yàn)和全局形狀先驗(yàn)的協(xié)同分割算法。通過(guò)求解能量最小化問(wèn)題并利用初始的分割結(jié)果來(lái)迭代更新形狀先驗(yàn),協(xié)同分割的結(jié)果得到進(jìn)一步提升。本文在多個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)并驗(yàn)證了我們提出的算法的魯棒性。最后,本文介紹了一種基于深度學(xué)習(xí)的快速圖像語(yǔ)義分割算法。雖然基于卷積神經(jīng)網(wǎng)絡(luò)的許多方法都取得了顯著的分割效果,但由于大網(wǎng)絡(luò)結(jié)構(gòu)昂貴的計(jì)算開(kāi)銷,這些方法仍然存在著處理速度較慢的問(wèn)題。我們通過(guò)在小網(wǎng)絡(luò)上構(gòu)建算法,并結(jié)合兩個(gè)新提出的模塊來(lái)改進(jìn)分割算法從而避免計(jì)算開(kāi)銷過(guò)大的問(wèn)題。我們提出的第一個(gè)模塊稱為層次帶孔模塊,其由多層次的帶孔卷積層結(jié)構(gòu)組成并能夠直接進(jìn)行多尺度特征處理。第二個(gè)模塊被稱為特征提煉模塊,其作用是精化由于網(wǎng)絡(luò)的池化操作而變粗糙并丟失空間細(xì)節(jié)的特征。該模塊主要通過(guò)利用跳轉(zhuǎn)結(jié)構(gòu)和輔助損失計(jì)算來(lái)實(shí)現(xiàn)。本文最后的實(shí)驗(yàn)結(jié)果表明,我們提出的方法比目前最快的圖像語(yǔ)義分割算法速度快兩倍,并且取得更好的分割效果。
【學(xué)位單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP391.41
【部分圖文】：

：：＇：參．，，：??圖１．１?Ｄａｉｍｌｅｒ數(shù)據(jù)集城市場(chǎng)景示例⑴??趣的區(qū)域，以便對(duì)圖像進(jìn)行后續(xù)的分析和理解。圖１．１展示了早期評(píng)估語(yǔ)義分割算??法的Ｄａｉｍｌｅｒ數(shù)據(jù)集Ｗ的圖片示例，而圖１．２則是當(dāng)前較熱門的Ｃｉｔｙｓｃａｐｅｓ數(shù)據(jù)??集１１。這些圖片主要是一些城市的街道場(chǎng)景，在這些數(shù)據(jù)集上語(yǔ)義分割算法不但??需要識(shí)別出道路、建筑、天空等靜態(tài)的大區(qū)域，還需要?jiǎng)e行人、車輛、交通燈??等動(dòng)態(tài)的物體。??另一方面，隨著智能手機(jī)等移動(dòng)端設(shè)備近些年的快速發(fā)展，移動(dòng)端設(shè)備越來(lái)??越計(jì)算能力越來(lái)越強(qiáng)已經(jīng)運(yùn)行的軟件越來(lái)越智能。而伴隨著圖像語(yǔ)義分割技術(shù)的??曰漸成熟，當(dāng)前也產(chǎn)生了越來(lái)越多的面向普通消費(fèi)用戶的智能移動(dòng)端產(chǎn)品。例如，??智能背景替換即其中一項(xiàng)面向娛樂(lè)的應(yīng)用�，F(xiàn)在許多流行的拍照美化軟件或應(yīng)用??均提供了該項(xiàng)功能，而其背后的技術(shù)就是圖像語(yǔ)義分割。另一個(gè)具有相功能但??是應(yīng)用場(chǎng)景完全不同且非常實(shí)用的例子是智能證件照。智能證件照也是基于人像??分割的功能來(lái)實(shí)現(xiàn)的，然而其應(yīng)用卻將會(huì)給我們的生活帶來(lái)了便利。圖１．３展示??了基于本文提出的語(yǔ)義分割算法得到的一個(gè)初步的證件照的示例。可以看到

：：：＇：參．，，：??圖１．１?Ｄａｉｍｌｅｒ數(shù)據(jù)集城市場(chǎng)景示例⑴??趣的區(qū)域，以便對(duì)圖像進(jìn)行后續(xù)的分析和理解。圖１．１展示了早期評(píng)估語(yǔ)義分割算??法的Ｄａｉｍｌｅｒ數(shù)據(jù)集Ｗ的圖片示例，而圖１．２則是當(dāng)前較熱門的Ｃｉｔｙｓｃａｐｅｓ數(shù)據(jù)??集１１。這些圖片主要是一些城市的街道場(chǎng)景，在這些數(shù)據(jù)集上語(yǔ)義分割算法不但??需要識(shí)別出道路、建筑、天空等靜態(tài)的大區(qū)域，還需要?jiǎng)e行人、車輛、交通燈??等動(dòng)態(tài)的物體。??另一方面，隨著智能手機(jī)等移動(dòng)端設(shè)備近些年的快速發(fā)展，移動(dòng)端設(shè)備越來(lái)??越計(jì)算能力越來(lái)越強(qiáng)已經(jīng)運(yùn)行的軟件越來(lái)越智能。而伴隨著圖像語(yǔ)義分割技術(shù)的??曰漸成熟，當(dāng)前也產(chǎn)生了越來(lái)越多的面向普通消費(fèi)用戶的智能移動(dòng)端產(chǎn)品。例如，??智能背景替換即其中一項(xiàng)面向娛樂(lè)的應(yīng)用。現(xiàn)在許多流行的拍照美化軟件或應(yīng)用??均提供了該項(xiàng)功能，而其背后的技術(shù)就是圖像語(yǔ)義分割。另一個(gè)具有相功能但??是應(yīng)用場(chǎng)景完全不同且非常實(shí)用的例子是智能證件照。智能證件照也是基于人像??分割的功能來(lái)實(shí)現(xiàn)的

?第１章緒論??圖１．２?Ｃｉｔｙｓｃａｐｅｓ數(shù)據(jù)集城市場(chǎng)景示例Ｍ??覺(jué)領(lǐng)域的一個(gè)核心問(wèn)題，其算法的研究開(kāi)發(fā)與成熟也將在未來(lái)改變我們的生活方??式。??１．２國(guó)內(nèi)外的研究現(xiàn)狀與發(fā)展趨勢(shì)??圖像語(yǔ)義分割是計(jì)算機(jī)視覺(jué)的關(guān)鍵問(wèn)題，早期許多方法將該問(wèn)題稱為場(chǎng)景理??解并將其建模成馬爾科夫隨機(jī)場(chǎng)（Ｍａｒｋｏｖ?ｒａｎｄｏｍ?ｆｉｅｌｄ，?ＭＲＦ），然后通過(guò)求解能??量最小化問(wèn)題得到分割的結(jié)果。Ｗａｎｇ等人Ｍ提供了一個(gè)在計(jì)算機(jī)視覺(jué)和圖像??理解問(wèn)題上應(yīng)用ＭＲＦ的全面調(diào)查。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，作為深度學(xué)??習(xí)熱門技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用到求解圖像語(yǔ)義分割的問(wèn)題上，并取得了非常??好的結(jié)果。接下來(lái)我們將首先介紹傳統(tǒng)的語(yǔ)義分割方法，然后再介紹最近基于深??度學(xué)習(xí)的先進(jìn)圖像語(yǔ)義分割方法。??３??
【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張浩;竇奇?zhèn)?欒桂凱;姚紹文;周維;;基于空洞卷積的快速背景自動(dòng)更換[J];計(jì)算機(jī)應(yīng)用;2018年02期

本文編號(hào)：2862209