在深度學(xué)習(xí)快速發(fā)展的背景下,語義地圖成為了SLAM（Simultaneous Localization and Mapping）領(lǐng)域研究的熱點,并得到大量研究人員的關(guān)注。語義地圖通過基于神經(jīng)網(wǎng)絡(luò)的語義分割、物體檢測、實例分割等技術(shù)應(yīng)用于SLAM建圖方法中來實現(xiàn)對周圍環(huán)境及物體的理解。該方與主流的視覺SLAM方法的不同之處在于其不是通過對基于底層像素層級的特征點來估計相機(jī)的運(yùn)動姿勢及環(huán)境建圖,而是通過利用環(huán)境物體中的語義信息來輔助建圖。這種方式相對于傳統(tǒng)的SLAM建圖方法而言更符合人類視覺系統(tǒng)的原理。此外,隨著產(chǎn)品級深度采集設(shè)備的普及,為在可見光環(huán)境條件下的物體檢測及物體語義分割算法提供了物理上的技術(shù)支持,為構(gòu)建環(huán)境語義地圖及物體識別的算法提供了性能優(yōu)勢。本文針對如何構(gòu)建穩(wěn)定有效的環(huán)境語義地圖這一研究課題,從理解環(huán)境語義信息,識別環(huán)境物體信息,構(gòu)建魯棒的動態(tài)語義地圖三個層面的問題進(jìn)行分析,分別對環(huán)境語義信息識別、拓?fù)涔?jié)點識別,小樣本物體識別、動態(tài)環(huán)境下語義地圖構(gòu)建,環(huán)境物體數(shù)據(jù)庫構(gòu)建等多個方面進(jìn)行研究。本文的主要貢獻(xiàn)點包括:1、我們提出了一種構(gòu)建拓?fù)洵h(huán)境語義地圖的方法。該方法通過卷積神經(jīng)... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁數(shù)】：115 頁

【學(xué)位級別】：博士

【部分圖文】：

[9]語義定位效果

ECCV 2018中的工作VSO[10]與之類似,目前無論是基于特征的ORB-SLAM還是直接法的LSD-SLAM[1]或者DSO-SLAM[11]都不能連續(xù)跟蹤一個點持續(xù)很長距離。因為它們的特征點對視角和光照變化并不魯棒。該論文的主要思想就是通過判斷與目標(biāo)類別語義區(qū)域的遠(yuǎn)近來量化重投影誤差從而建立圖像間的語義信息約束,語義信息不會受到視角,尺度,光照的影響。就像不同的角度、距離、光線甚至桌子上有不同物體時,我們都知道是同一張桌子。2、通過語義信息去除動態(tài)區(qū)域輔助SLAM建圖

在思路二中,通過語義信息來推斷出動態(tài)區(qū)域,從而減少對SLAM建圖過程中的干擾。傳統(tǒng)SLAM方法幾乎都是假設(shè)當(dāng)前場景是靜態(tài)的,當(dāng)面對含有運(yùn)動物體的場景時,運(yùn)動物體上的特征點將對相機(jī)位姿估計的可靠性產(chǎn)生巨大影響。要解決這類問題主要方法是去掉環(huán)境中對建圖造成影響的動態(tài)特征點�，F(xiàn)有的主流方法是通過語義分割算法找到并去掉這些動態(tài)特征點。其語義分割算法的意義主要有兩方面,一是依據(jù)物體輪廓,把圖像區(qū)域中的許多特征點聚類,根據(jù)這些特征點前后幀之間的深度變化來判斷其運(yùn)動信息。如果檢測到有大量關(guān)聯(lián)特征點的深度信息發(fā)生較大變化時則可以認(rèn)為是該物體正在運(yùn)動。例如:[12]主要提出了一種結(jié)合語義信息和運(yùn)動特征點檢測來濾除每一幀中的動態(tài)物體的方法。其貢獻(xiàn)點主要在于1、基于ORB-SLAM2提出了一個更適于處理動態(tài)場景的SLAM系統(tǒng),并在TUM RGBD數(shù)據(jù)集和真實場景中進(jìn)行了效果驗證;2、建立了一個用Octo-Tree表示的稠密語義地圖。實驗表明,在高運(yùn)動的場景中,該方法與ORB-SLAM2相比提升明顯。另一類方法如[13],該文章主要將現(xiàn)有視覺SLAM系統(tǒng)與語義分割神經(jīng)網(wǎng)絡(luò)算法結(jié)合,通過語義分割的結(jié)果來識別動態(tài)特征點屬性標(biāo)簽,利用較為暴力地方式,直接排除某些區(qū)域的特征點。例如,當(dāng)特征點在人、天空、車輛的輪廓內(nèi)則認(rèn)為是動態(tài)特征點,如果是墻面,地面等則認(rèn)為是靜態(tài)特征點。


本文編號：2915572