室外環(huán)境的場景理解是移動(dòng)機(jī)器人領(lǐng)域的基礎(chǔ)性問題,它為機(jī)器人的決策層提供參考依據(jù)。移動(dòng)機(jī)器人室外場景理解既要解決室外場景描述問題,也要解決室外場景中的多類別景物識別問題。室外場景的描述依賴于移動(dòng)機(jī)器人利用自身配備的激光、視覺、慣性導(dǎo)航等設(shè)備所獲取的多源感知數(shù)據(jù)的有效融合。在場景樣本數(shù)據(jù)分布形式的影響下,室外場景中多類別景物識別的能力取決于機(jī)器人模式識別與機(jī)器學(xué)習(xí)算法的性能。針對移動(dòng)機(jī)器人多源感知數(shù)據(jù)融合問題,本文研究中采用激光測距、視覺、慣性導(dǎo)航三種傳感器的數(shù)據(jù)級融合算法,將圖像的顏色信息(RGB三通道)、激光測距的深度信息(Depth)和強(qiáng)度信息(Intensity)進(jìn)行融合,并利用生成的RGB-DI點(diǎn)云數(shù)據(jù)進(jìn)行三維場景描述�？紤]機(jī)器人運(yùn)行速度變化以及場景中動(dòng)態(tài)景物等因素會(huì)造成RGB-DI點(diǎn)云分布的不均衡性,本文提出了基于點(diǎn)云平面擬合和基于點(diǎn)云投影變換這兩種點(diǎn)云到圖像的轉(zhuǎn)換算法。這兩種算法設(shè)計(jì)了不同的RGB-DI點(diǎn)云變換的目標(biāo)函數(shù),目的是尋找一個(gè)以最優(yōu)視角的平面來表示RGB-DI點(diǎn)云,并通過蒙特卡洛優(yōu)化算法求解可最優(yōu)表示變換平面的法向量,從而使得點(diǎn)云在該平面上分布均衡,進(jìn)而生成與RGB-DI點(diǎn)云對應(yīng)的RGB-DI圖像。針對室外場景中多類別景物識別問題,考慮到RGB-DI點(diǎn)云與RGB-DI圖像是一一映射關(guān)系,因此將基于RGB-DI點(diǎn)云的多景物識別問題轉(zhuǎn)化成了基于RGB-DI圖像的多景物識別問題。本文基于深度學(xué)習(xí)理論提出了兩種適用于RGB-DI圖像的多類別景物識別模型,即FCN模型和基于CNN的全連接CRF模型。FCN模型通過使用反卷積層來完成特征圖的上采樣過程,并將中間的卷積層與最后的反卷積層相融合進(jìn)而解決了模型訓(xùn)練時(shí)反向傳播的殘差消失問題。對于基于CNN的全連接CRF模型,CNN提取了具有強(qiáng)表示性的RGB-DI圖像深層特征,而全連接CRF模型增加了相鄰像素屬性的約束項(xiàng),從而使RGB-DI圖像語義識別結(jié)果更具有位置相關(guān)性。最后,將RGB-DI圖像的識別結(jié)果反映射于RGB-DI點(diǎn)云場景中從而實(shí)現(xiàn)了三維場景理解。對于長時(shí)間工作在室外環(huán)境中的移動(dòng)機(jī)器人,長期場景理解是一個(gè)挑戰(zhàn)性的研究問題。由于季節(jié)交替、光照變化、天氣差異、場景變換等因素會(huì)對機(jī)器人的景物識別模型產(chǎn)生顯著影響,因此隨著運(yùn)行時(shí)間的不斷推移,識別模型的累計(jì)誤差會(huì)不斷增大,這將會(huì)顯著降低景物識別模型的泛化性。為了提升場景理解的魯棒性,研究中設(shè)計(jì)的景物識別系統(tǒng)框架需要建立在不同季節(jié)、天氣等因素條件下的多樣化大樣本場景數(shù)據(jù)基礎(chǔ)上。目前可獲得的機(jī)器人長航時(shí)數(shù)據(jù)庫通常只包含視覺數(shù)據(jù),因此本項(xiàng)研究工作也只是基于視覺場景樣本來開展的。針對機(jī)器人視覺場景理解的實(shí)時(shí)性問題,本文提出了基于超像素CRF模型的圖像快速語義分割方法。該方法以超像素為處理單元,大幅度降低了 CRF模型預(yù)測的時(shí)間。針對機(jī)器人在長期運(yùn)行中景物識別模型的低泛化性問題,本文提出了棧式稀疏自編碼特征學(xué)習(xí)模型,該模型從大樣本圖像數(shù)據(jù)中提取每張圖像的高維特征,應(yīng)用Membership Kmeans高維聚類算法完成大樣本圖像數(shù)據(jù)的多子集劃分,然后在每一個(gè)子樣本數(shù)據(jù)集中訓(xùn)練一個(gè)超像素CRF模型,最后依據(jù)SoftMax子集選擇器來完成多個(gè)超像素CRF模型的切換,進(jìn)而解決了移動(dòng)機(jī)器人的長期自主性問題。為了驗(yàn)證基于RGB-DI點(diǎn)云語義分割算法的有效性,本研究采用了牛津大學(xué)和大連理工大學(xué)的數(shù)據(jù)集為基礎(chǔ)進(jìn)行實(shí)驗(yàn)分析。通過分別與基于FPFH和點(diǎn)云顏色矩特征描述的隨機(jī)森林這兩種點(diǎn)云語義分割算法的實(shí)驗(yàn)對比,所得結(jié)果表明本文所提出的基于CNN的全連接CRF模型可有效提升針對室外場景的點(diǎn)云語義分割準(zhǔn)確率。此外為了驗(yàn)證移動(dòng)機(jī)器人長期運(yùn)行時(shí)基于圖像的實(shí)時(shí)語義分割算法的有效性,以卡內(nèi)基梅隆大學(xué)和大連理工大學(xué)的數(shù)據(jù)集為基礎(chǔ)。這兩個(gè)數(shù)據(jù)集是不同場景等多種因素影響下的大樣本視覺數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,棧式稀疏自編碼模型可以提取圖像數(shù)據(jù)中具有強(qiáng)代表性的高維特征,并依據(jù) Calinski-Harabasz 和 Davies-Bouldin 聚類評價(jià)準(zhǔn)則對 Membership Kmeans 高維聚類算法進(jìn)行了大樣本數(shù)據(jù)子集劃分的統(tǒng)計(jì)評估,進(jìn)而根據(jù)該評估結(jié)果獲得了在兩種聚類評價(jià)下的最優(yōu)子樣本集劃分結(jié)果。根據(jù)每個(gè)子樣本集的數(shù)據(jù)分布,可有針對性的訓(xùn)練出超像素CRF圖像語義分割模型,從而提升該模型對多樣化場景的識別魯棒性。本文所提算法對數(shù)據(jù)庫中圖像的語義分割時(shí)間不超過180毫秒,可滿足目前實(shí)驗(yàn)室所使用的移動(dòng)機(jī)器人平臺(tái)對場景理解實(shí)時(shí)性的需求。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP242
【部分圖文】：

性導(dǎo)航系統(tǒng)的實(shí)時(shí)數(shù)據(jù)輸出，使移動(dòng)機(jī)器人局部坐標(biāo)系轉(zhuǎn)化成全局坐標(biāo)系。經(jīng)過上述兩逡逑部分的數(shù)據(jù)融合后，我們可以獲取到具有顏色、深度以及激光強(qiáng)度值的多信息室外大范逡逑圍場景ＲＧＢ－ＤＩ點(diǎn)云。本文的移動(dòng)機(jī)器人實(shí)驗(yàn)平臺(tái)如圖２．１所示，該實(shí)驗(yàn)平臺(tái)是由大連逡逑理工大學(xué)智能研宄室自主研發(fā)。本文研宄用到的主要傳感器，如側(cè)向激光、單目攝像機(jī)、逡逑慣性導(dǎo)航系統(tǒng)以及工業(yè)計(jì)算機(jī)已經(jīng)標(biāo)記在紅色框中。逡逑２．２．１二維激光與攝像機(jī)的數(shù)據(jù)級融合逡逑４邋軸邐Ｎｎ逡逑ｒ邋ｙ邐Ｚｃ＾＾ｘｃ逡逑Ｖ邐Ｆｃ逡逑＾邋Ｙｃ逡逑圖２．邋２攝像機(jī)模型的原理圖逡逑Ｆｉｇ．邋２．２邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ｃａｍｅｒａ邋ｍｏｄｅｌ．逡逑由于激光傳感器與攝像機(jī)在移動(dòng)機(jī)器人上的擺放位置相對固定，因此我們可以將兩逡逑個(gè)傳感器的坐標(biāo)系標(biāo)定在一個(gè)坐標(biāo)系下。圖２．２展示了攝像機(jī)的針孔模型示意圖。激光逡逑與攝像機(jī)標(biāo)定的實(shí)質(zhì)是要找出一個(gè)旋轉(zhuǎn)矩陣％＊３和一個(gè)平移向量七ｆ，使得逡逑在實(shí)際中激光點(diǎn)坐標(biāo)乃＝（Ｘ，，：＾Ｚ，ｆ投影到攝像機(jī)坐標(biāo)點(diǎn)巧＝？，尤，。具體的變換逡逑公式如（２．１）所示。逡逑Ｐｃ＝ＷＰ，＋ｋ邐（２．１）逡逑－１７邋－逡逑

移動(dòng)機(jī)器人坐標(biāo)系的投影變換矩陣，（Ｒ２，Ｔ２）表示移動(dòng)機(jī)器人坐標(biāo)的投影變換矩陣，（Ｒ３，Ｔ３）表示慣性導(dǎo)航系統(tǒng)的實(shí)時(shí)變換矩陣。Ｂ）表示顏色點(diǎn)云，（ｘ，ｙ，ｚ，Ｄｐ）和（ｘ，ｙ，ｚ，Ｉｎ）分另［Ｊ表不含有深度值點(diǎn)本文采用顯示點(diǎn)云的軟件是ＣｌｏｕｄＣｏｍｐａｒｅ。最后我們獲得了多傳感－ＤＩ點(diǎn)云。逡逑－ＤＩ圖像生成逡逑動(dòng)機(jī)器人運(yùn)動(dòng)速度的變化以及室外場景中動(dòng)態(tài)目標(biāo)的影響，這使得實(shí)ＲＧＢ－ＤＩ點(diǎn)云分布不均衡，即點(diǎn)云中相鄰點(diǎn)的距離大小不同，這將直特征提取方法受限從而不利于后續(xù)的點(diǎn)云語義分割。因此，為了減少影響，本文提出了應(yīng)用投影算法，將ＲＧＢ－ＤＩ點(diǎn)云轉(zhuǎn)化成ＲＧＢ－ＤＩ是由ＲＧＢ－ＤＩ點(diǎn)云中坐標(biāo)經(jīng)過投影變換后生成的圖像，由于該投影點(diǎn)云坐標(biāo)而不影響點(diǎn)云中每個(gè)點(diǎn)的屬性，因此坐標(biāo)投影后的圖像每一云中每個(gè)點(diǎn)的屬性保持相同。這樣既減少了點(diǎn)云分布結(jié)構(gòu)的影響又確完整。逡逑

本小節(jié)采用了蒙特卡洛數(shù)值優(yōu)化算法［８（）］求解目標(biāo)函數(shù)。該目標(biāo)函數(shù)是以最大逡逑值優(yōu)化為基礎(chǔ)的，因此需要在以服從均勻分布條件下隨機(jī)給出的Ｎ組可行解（久６＾中搜逡逑索使目標(biāo)函數(shù)值達(dá)到最大時(shí)所對應(yīng)的最優(yōu)解。圖２．６展示蒙特卡洛算法的求解過程。逡逑＿W＿W逡逑ｍｍｍｍ逡逑■■■＿逡逑■W＿＿逡逑圖２．邋６優(yōu)化算法生成ＲＧＢ－Ｄ丨子圖逡逑Ｆｉｇ．邋２．６邋Ｔｈｅ邋ＲＧＢ－ＤＩ邋ｓｕｂｆｉｇｕｒｅｓ邋ｇｅｎｅｒａｔｅｄ邋ｂｙ邋ｏｐｔｉｍｉｚａｔｉｏｎ邋ａｌｇｏｒｉｔｈｍ．逡逑－２３邋－逡逑

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 王可;賈松敏;徐濤;李秀智;;基于混合位姿估計(jì)模型的移動(dòng)機(jī)器人三維地圖創(chuàng)建方法[J];控制與決策;2015年08期

2 錢生;陳宗海;林名強(qiáng);張陳斌;;基于條件隨機(jī)場和圖像分割的顯著性檢測[J];自動(dòng)化學(xué)報(bào);2015年04期

3 閆自庚;蔣建國;郭丹;;基于SURF特征和Delaunay三角網(wǎng)格的圖像匹配[J];自動(dòng)化學(xué)報(bào);2014年06期

4 楊棟;周秀玲;郭平;;基于貝葉斯通用背景模型的圖像標(biāo)注[J];自動(dòng)化學(xué)報(bào);2013年10期

5 孫作雷;茅旭初;;基于激光束匹配和圖模型的移動(dòng)機(jī)器人相對運(yùn)動(dòng)估計(jì)誤差分析[J];自動(dòng)化學(xué)報(bào);2011年02期

本文編號：2829556