【摘要】：場(chǎng)景感知與理解是計(jì)算機(jī)視覺、人工智能、智能機(jī)器人的一項(xiàng)長(zhǎng)期目標(biāo)。近年來,隨著深度傳感器的發(fā)展,基于深度攝像頭的室內(nèi)場(chǎng)景感知技術(shù)得到了越來越多的關(guān)注與研究。本文關(guān)注于室內(nèi)場(chǎng)景的構(gòu)建與理解,提出了從RGB-D場(chǎng)景構(gòu)建,RGB-D圖像語(yǔ)義理解到語(yǔ)義場(chǎng)景地圖的構(gòu)建一整套系統(tǒng)。具體如下：第一,我們采用RGB-D圖像進(jìn)行場(chǎng)景拼接,構(gòu)建全局場(chǎng)景地圖。利用幀間對(duì)齊技術(shù)進(jìn)行圖像拼接,并用環(huán)檢測(cè)和位姿圖優(yōu)化的方法消除幀間累積誤差,從而保證可以進(jìn)行大尺度的場(chǎng)景構(gòu)建,在全局場(chǎng)景表示方面,我們提出了點(diǎn)云與Mesh兩種表示方法。第二,為了達(dá)到語(yǔ)義理解的目的,我們對(duì)RGB-D圖像進(jìn)行語(yǔ)義分割,其目的是將圖像中的每個(gè)像素點(diǎn)都分類成類別。我們將每個(gè)像素點(diǎn)與兩種類別相關(guān)聯(lián)：物體類別與結(jié)構(gòu)類別。結(jié)構(gòu)類別保證我們可以宏觀結(jié)構(gòu)上.理解圖像(如家具、墻、小物體的分布),而物體類別可以使我們了解到圖像中物體的具體分布。通過條件隨機(jī)場(chǎng)模型(CRF)的聯(lián)合推理實(shí)現(xiàn)圖像的語(yǔ)義分割。第三,通過將RGB-D場(chǎng)景重建技術(shù)和語(yǔ)義分割技術(shù)相結(jié)合,就可以構(gòu)建全局場(chǎng)景的語(yǔ)義地圖,但是RGB-D圖像序列的語(yǔ)義分割結(jié)果不具有時(shí)序一致性,我們通過計(jì)算幀間超像素的對(duì)應(yīng)關(guān)系捕獲時(shí)序性信息,將其建模為高階勢(shì)能,利用高階CRF模型進(jìn)行推理,從而加強(qiáng)時(shí)序性約束,得到時(shí)序一致的語(yǔ)義地圖。第四,人工標(biāo)注圖像進(jìn)行訓(xùn)練往往要耗費(fèi)大量人工與時(shí)間,本文提出減少人工標(biāo)注工作量的方法。先從圖像序列中選出極少的圖像進(jìn)行人工標(biāo)注,再利用標(biāo)注傳播的方法自動(dòng)標(biāo)注剩余圖像和場(chǎng)景,從而解決訓(xùn)練圖像需要大量人工標(biāo)注的問題。本文的主要貢獻(xiàn)與創(chuàng)新之處在于：第一,本文通過多種方法保證了RGB-D重建系統(tǒng)的魯棒性、實(shí)時(shí)性、尺度性和自主性。魯棒性方面,本文將基于特征點(diǎn)對(duì)齊和基于ICP對(duì)齊的技術(shù)進(jìn)行了結(jié)合,從而減少失敗的情況。實(shí)時(shí)性方面,本文對(duì)重建過程中的幾乎所有算法實(shí)現(xiàn)了GPU加速,包括角點(diǎn)、ORB特征點(diǎn)計(jì)算、特征點(diǎn)匹配、RANSAC算法、ICP算法、稀疏化算法、Marching cubes算法等等。在尺度性上,本文采用環(huán)檢測(cè)與全局位姿圖優(yōu)化的方法進(jìn)行誤差消除,保證全局一致性。自主性方法,本文使用可佳機(jī)器人平臺(tái),利用其導(dǎo)航系統(tǒng)實(shí)現(xiàn)服務(wù)機(jī)器人自主構(gòu)建室內(nèi)場(chǎng)景3D地圖的功能。第二,本文利用多種上下文關(guān)系進(jìn)行RGB-D圖像的語(yǔ)義分割。通過CRF圖模型,本文實(shí)現(xiàn)了圖像場(chǎng)景類別、超像素的物體類別和結(jié)構(gòu)類別的聯(lián)合推理。同時(shí)建立了多種成對(duì)點(diǎn)勢(shì)能關(guān)系,包括場(chǎng)景與物體關(guān)系、物體與物體關(guān)系、物體與結(jié)構(gòu)關(guān)系、空間位置關(guān)系等。通過圖模型的聯(lián)合推理,保證了分類結(jié)果在空間上的一致性。第三,本文通過對(duì)RGB-D圖像序列計(jì)算時(shí)序信息,擴(kuò)展CRF模型的高階勢(shì)能,利用高階勢(shì)能加強(qiáng)時(shí)序約束來保證最終語(yǔ)義地圖的時(shí)序一致性,提高了語(yǔ)義地圖準(zhǔn)確度。第四,本文利用RGB-D圖像序列之間的3D位姿關(guān)系,通過找出最小的可以覆蓋整個(gè)場(chǎng)景的標(biāo)注幀,利用標(biāo)注傳播的技術(shù)進(jìn)行圖像的自動(dòng)標(biāo)注,大大減少了人工標(biāo)注訓(xùn)練數(shù)據(jù)的工作量。實(shí)驗(yàn)表明對(duì)于1831幀的圖像序列,只需人工標(biāo)注22幀的圖像就可以實(shí)現(xiàn)93%的標(biāo)注傳播準(zhǔn)確度。
[Abstract]:......
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張軍;有關(guān)數(shù)據(jù)結(jié)構(gòu)類別的查尋及相關(guān)故障排除幾例[J];湖北郵電經(jīng)濟(jì)技術(shù)參考;1994年04期

相關(guān)重要報(bào)紙文章 前2條

1 通訊員 川組;長(zhǎng)寧推行縣委全委會(huì)委員結(jié)構(gòu)制改革[N];中國(guó)人事報(bào);2007年

2 王洪波;四川試點(diǎn)黨委委員結(jié)構(gòu)制[N];組織人事報(bào);2008年

相關(guān)博士學(xué)位論文 前1條

1 趙哲;面向室內(nèi)場(chǎng)景的3D場(chǎng)景重建與語(yǔ)義理解[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前1條

1 崔閃閃;安陽(yáng)方言中的“子”尾詞研究[D];河南大學(xué);2014年

，

本文編號(hào)：2460135