傳統(tǒng)的視覺SLAM依據(jù)點(diǎn)、線、面等幾何特征可以進(jìn)行有效的位姿估計并建立環(huán)境地圖,但是這種地圖并不包含環(huán)境中高層次的語義信息。為了使得機(jī)器人更好地理解周圍環(huán)境、更合理地完成自主導(dǎo)航以及執(zhí)行更高級的人機(jī)交互任務(wù),本文構(gòu)建了具有尺度感知的單目視覺語義SLAM系統(tǒng)。首先,從針孔相機(jī)模型、雙目相機(jī)模型、特征匹配、對極幾何約束、三角測量以及PnP位姿求解等幾個方面介紹了視覺SLAM前端相關(guān)的理論基礎(chǔ)。然后對卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以及正則化方法進(jìn)行了全面地介紹,為后續(xù)實現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的單目視覺語義SLAM系統(tǒng)提供理論指導(dǎo)。其次,為解決單目視覺SLAM的尺度不確定問題,提出了將傳統(tǒng)的單目視覺SLAM與基于卷積神經(jīng)網(wǎng)絡(luò)的單目圖像深度估計算法相結(jié)合,構(gòu)建具有尺度感知的單目視覺SLAM系統(tǒng),從而顯著提高位姿估計精度以及在純旋轉(zhuǎn)運(yùn)動中單目視覺SLAM的魯棒性。最后,在解決了單目視覺SLAM尺度不確定問題的基礎(chǔ)上,構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的單目視覺語義SLAM系統(tǒng)。在ROS環(huán)境下對基于卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割算法進(jìn)行封裝實現(xiàn),并對單目ORB-SLAM所建稀疏地圖進(jìn)行稠密化,最后將語義分割之后的圖像...

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2.1針孔相機(jī)成像模型

國防科技大學(xué)研究生院碩士學(xué)位論文第11頁第二章單目視覺SLAM和卷積神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)基于卷積神經(jīng)網(wǎng)絡(luò)的單目視覺語義SLAM系統(tǒng)主要由基于特征點(diǎn)的視覺SLAM以及卷積神經(jīng)網(wǎng)絡(luò)組成。其中視覺SLAM主要用于獲取相機(jī)的位姿并建立環(huán)境的稠密地圖，卷積神經(jīng)網(wǎng)絡(luò)主要用于輸入圖像的深度估計以及....

圖2.2雙目相機(jī)幾何模型

國防科技大學(xué)研究生院碩士學(xué)位論文第13頁圖2.2雙目相機(jī)幾何模型如圖2.2所示，P為空間中的點(diǎn)，它在左眼相機(jī)和右眼相機(jī)中各投影一個像，記作LP和RP。由于兩個相機(jī)所處的空間位置不同，理想情況下，兩個投影點(diǎn)只在x軸上有偏差。令兩個成像點(diǎn)的坐標(biāo)分別為LU和RU，根據(jù)幾何知識，LRPP....

圖2.3對極幾何約束圖2.3中，1O,2O表示相機(jī)的中心，特征點(diǎn)1p,2p為空間點(diǎn)P分別在圖像

國防科技大學(xué)研究生院碩士學(xué)位論文第14頁具有方向信息的問題。ORB特征通過采用速度極快的二進(jìn)制描述子BRIEF[25]，解決了FAST角點(diǎn)不具備方向性的問題，加快了特征提取的速度。2)特征匹配特征匹配是視覺SLAM的關(guān)鍵環(huán)節(jié)，用以解決SLAM中的數(shù)據(jù)關(guān)聯(lián)問題，為后續(xù)的姿態(tài)估計奠定....

圖2.4三角化獲得特征點(diǎn)深度與對極幾何約束類似，考慮圖像1I和2I，以左圖為參考，右圖的變換矩陣為T，

國防科技大學(xué)研究生院碩士學(xué)位論文第15頁然后，等式(2.12)兩側(cè)同時左乘2Tx：2221TTxtxxtRx(2.13)2tx與t和2x都垂直，再與2x做內(nèi)積則為0。因此，可將上式改寫為：210TxtRx(2.14)重新代入1p,2p，有：1210TTpKtRKp(2.15)式(....

本文編號：3949370