近年來(lái)隨著科學(xué)技術(shù)快速發(fā)展,智能機(jī)器人的研究受到人們?cè)絹?lái)越多的關(guān)注。在智能機(jī)器人研究中,SLAM（Simultaneous Localization and Mapping）是需要解決的基礎(chǔ)性問(wèn)題�，F(xiàn)在大多數(shù)視覺(jué)SLAM系統(tǒng)通過(guò)檢測(cè)和匹配視覺(jué)特征點(diǎn)來(lái)進(jìn)行定位和建圖,這使得機(jī)器人SLAM系統(tǒng)只能利用環(huán)境中的幾何信息,而無(wú)法利用環(huán)境中豐富的語(yǔ)義信息。RGBD相機(jī)因?yàn)榭梢灾苯荧@取到物體的距離信息,基于RGBD傳感器的機(jī)器人視覺(jué)研究引起了眾多學(xué)者的關(guān)注。一般利用RGBD數(shù)據(jù)可以重建出環(huán)境的三維點(diǎn)云地圖,點(diǎn)云地圖中一般含有較為豐富的空間幾何信息。然而點(diǎn)云數(shù)據(jù)通常是不規(guī)則的空間離散點(diǎn),從中獲取語(yǔ)義信息較為困難。因此,如何讓機(jī)器人獲取周?chē)h(huán)境語(yǔ)義信息,讓機(jī)器人擁有感知能力,已經(jīng)成為視覺(jué)SLAM的研究熱點(diǎn)。本文基于ORB-SLAM2系統(tǒng)在RGBD圖像序列構(gòu)建稠密點(diǎn)云地圖,在建圖過(guò)程中使用深度卷積神經(jīng)網(wǎng)絡(luò)提取環(huán)境語(yǔ)義信息,然后使用基于圖論的切割算法將點(diǎn)云地圖進(jìn)行切割,最后將語(yǔ)義信息投影到點(diǎn)云集簇,實(shí)現(xiàn)了3D稠密語(yǔ)義地圖構(gòu)建。本文在流行的公共數(shù)據(jù)集上驗(yàn)證了3D稠密語(yǔ)義地圖構(gòu)建算法的有效性。本文主要工作和貢... 

【文章來(lái)源】：國(guó)防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

結(jié)合2D圖像和3D點(diǎn)云的語(yǔ)義地圖構(gòu)建

國(guó)防科技大學(xué)研究生院碩士學(xué)位論文第12頁(yè)第二章基于視覺(jué)SLAM的語(yǔ)義地圖構(gòu)建框架本章介紹了基于視覺(jué)SLAM的語(yǔ)義地圖構(gòu)建所用的相關(guān)技術(shù)，并提出了語(yǔ)義地圖構(gòu)建總體結(jié)構(gòu)設(shè)計(jì)。首先梳理了ORB-SLAM的研究流程，然后列舉了卷積神經(jīng)網(wǎng)絡(luò)基本原理和核心模塊，最后介紹了YOLO目標(biāo)檢測(cè)算法的演變流程和YOLOv3算法的具體實(shí)現(xiàn)細(xì)節(jié)。2.1基于RGBD數(shù)據(jù)的視覺(jué)SLAM框架RGBD相機(jī)又稱(chēng)深度相機(jī)，可同時(shí)獲取RGB圖和深度圖。它利用紅外結(jié)構(gòu)光或Time-of-Flight原理來(lái)直接得到圖像中各像素離相機(jī)的距離，相比于雙目相機(jī)能節(jié)省大量的計(jì)算。但RGBD相機(jī)大多用在室內(nèi)場(chǎng)景，也存在一些諸如測(cè)量范圍窄、噪聲大、視野小和易受日光影響等缺陷，不太適用于室外SLAM。RGBDSLAM屬于視覺(jué)SLAM的一種，基本框架（除去傳感器數(shù)據(jù)讀取階段）也和視覺(jué)SLAM框架保持一致，也有前端、后端、回環(huán)檢測(cè)、建圖四個(gè)基本模塊。圖2.1SLAM模塊2.1.1傳感器數(shù)據(jù)讀取在視覺(jué)SLAM中一般是相機(jī)圖像數(shù)據(jù)的采集、讀取和預(yù)處理。如果在無(wú)人車(chē)或者機(jī)器人中，還有碼盤(pán)、慣性傳感器等信息的讀取和同步。一般而言，SLAM的研究流程從數(shù)據(jù)讀取完成后開(kāi)始，所以傳感器信息讀取階段并不屬于SLAM流程，它為正式的SLAM流程做了數(shù)據(jù)準(zhǔn)備。2.1.2前端前端是指視覺(jué)里程計(jì)(VisualOdometry,VO)，是通過(guò)估算兩張圖片之間的關(guān)系，來(lái)計(jì)算相機(jī)發(fā)生的運(yùn)動(dòng)。視覺(jué)里程計(jì)的主要方式分為特征點(diǎn)法和直接法，目前基于特征點(diǎn)的方法占據(jù)了主流。特征點(diǎn)法能夠在噪聲較大、相機(jī)運(yùn)動(dòng)較快時(shí)工作，但建圖較為稀疏；直接法不需要提特征，能夠建立稠密地圖，但也存在著計(jì)算量

國(guó)防科技大學(xué)研究生院碩士學(xué)位論文第13頁(yè)大、魯棒性不好等缺陷。求解相機(jī)位姿變化需要兩個(gè)前提：特征點(diǎn)的檢測(cè)和特征點(diǎn)的匹配。就特征點(diǎn)的檢測(cè)算法來(lái)說(shuō)，目前使用的特征有很多種，比較知名的有SIFT[59]、SURF[60]、FAST[61]和ORB[62]等。下圖就是就是使用ORB特征進(jìn)行特征點(diǎn)檢測(cè)和匹配的結(jié)果。圖2.2ORB特征點(diǎn)匹配在匹配好特征點(diǎn)后就可以得到兩個(gè)一一對(duì)應(yīng)的像素點(diǎn)集。接下來(lái)就可以根據(jù)兩組匹配好的點(diǎn)集，計(jì)算相機(jī)的運(yùn)動(dòng)。最常用的相機(jī)姿態(tài)方式有估計(jì)對(duì)極幾何[63]、PnP[64]和ICP[65]三種。前端是SLAM的關(guān)鍵問(wèn)題，它估計(jì)了關(guān)鍵幀之間的相機(jī)運(yùn)動(dòng)。只要把多個(gè)相鄰時(shí)刻的相機(jī)運(yùn)動(dòng)串聯(lián)起來(lái)，就可以得到機(jī)器人的運(yùn)動(dòng)軌跡，從而解決了SLAM的定位問(wèn)題。但是，由于前端對(duì)相機(jī)運(yùn)動(dòng)的每一次估計(jì)都會(huì)產(chǎn)生誤差，同時(shí)先前時(shí)刻的誤差會(huì)傳遞到下一時(shí)刻，導(dǎo)致經(jīng)過(guò)了一段時(shí)間后，估計(jì)的軌跡由于“累計(jì)漂移”將不再準(zhǔn)確，如下圖所示。這就導(dǎo)致SLAM系統(tǒng)無(wú)法建立一致的地圖。為了解決“漂移”的問(wèn)題，需要后端優(yōu)化和回環(huán)檢測(cè)這兩種技術(shù)。真實(shí)軌跡預(yù)估軌跡圖2.3軌跡漂移

【參考文獻(xiàn)】：
期刊論文
[1]一種融合全局及顯著性區(qū)域特征的室內(nèi)場(chǎng)景識(shí)別方法[J]. 牛杰,卜雄洙,錢(qián)堃,李眾.  機(jī)器人. 2015(01)
[2]迎接第三次工業(yè)革命的關(guān)鍵在于發(fā)展模式的革命——我國(guó)光伏產(chǎn)業(yè)和機(jī)器人產(chǎn)業(yè)的案例研究與反思[J]. 賈根良.  經(jīng)濟(jì)理論與經(jīng)濟(jì)管理. 2013(05)
[3]未知環(huán)境下移動(dòng)機(jī)器人同步地圖創(chuàng)建與定位研究進(jìn)展[J]. 王耀南,余洪山.  控制理論與應(yīng)用. 2008(01)



本文編號(hào)：3608783