復(fù)雜環(huán)境中聯(lián)合CNN與IMU的單目視覺SLAM方法研究
發(fā)布時間:2020-12-23 22:40
單目視覺SLAM系統(tǒng)是通過相機(jī)采集圖像信息進(jìn)行定位與地圖構(gòu)建的計(jì)算機(jī)視覺系統(tǒng),SLAM技術(shù)廣泛應(yīng)用于三維重建、視覺避障與路徑規(guī)劃等場景,對提高無人自主系統(tǒng)的自主化、智能化等具有重要意義。SLAM技術(shù)是計(jì)算機(jī)視覺領(lǐng)域中的一個研究熱點(diǎn),發(fā)展十分迅速。但是現(xiàn)有的視覺SLAM系統(tǒng)主要以特征點(diǎn)法為基礎(chǔ),在實(shí)際應(yīng)用中往往存在大量的復(fù)雜場景,比如光照變化、紋理缺失、快速旋轉(zhuǎn)和運(yùn)動目標(biāo)等。在這些復(fù)雜環(huán)境中,傳統(tǒng)的單目視覺SLAM算法無法充分感知環(huán)境信息,同時還存在運(yùn)動退化的現(xiàn)象,在算法的精度和魯棒性方法都有著較大的提升空間。因此,本文針對現(xiàn)有SLAM算法中存在的一些問題進(jìn)行了深入研究。本文的主要貢獻(xiàn)如下:(1)針對單目視覺SLAM系統(tǒng)的初始化過程復(fù)雜,條件嚴(yán)格,以及單目視覺系統(tǒng)的尺度不確定問題。近年來,隨著深度學(xué)習(xí)理論的發(fā)展和GPU等硬件計(jì)算能力的提升,本文引入了基于CNN的深度預(yù)測網(wǎng)絡(luò)。通過深度預(yù)測網(wǎng)絡(luò)獲取初始圖像幀中關(guān)鍵像素點(diǎn)的深度值,給系統(tǒng)估計(jì)出一個尺度,一定程度上緩解了單目視覺SLAM系統(tǒng)的尺度不確定性問題,同時還降低單目視覺SLAM系統(tǒng)的初始化門檻,即不需要平移就能夠進(jìn)行初始化,同時在快速旋...
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所)吉林省
【文章頁數(shù)】:116 頁
【學(xué)位級別】:博士
【部分圖文】:
FAST特征[97]
復(fù)雜環(huán)境中聯(lián)合CNN與IMU的單目視覺SLAM方法研究34正常圖像桶形失真枕形失真圖3.2徑向畸變Figure3.2Theradialdistortion由于透鏡自身形狀的原因造成的徑向畸變分為桶形失真與枕形失真,穿過圖像中心并且與光軸有交點(diǎn)的直線能夠保持形狀不變,其余穿過透鏡的直線都會表現(xiàn)出向內(nèi)側(cè)彎曲或向外側(cè)彎曲的畸變特征。圖像放大率隨著與光軸之間的距離增加而桶形失真減小,圖像放大率與光軸之間的距離減小而枕形失真增大。圖3.3畸變模型的徑向分量Figure3.3Radialcomponentofthedistortionmodel對于徑向畸變,桶形失真與枕形失真都會隨著與圖像中心的距離增加而失真情況越嚴(yán)重,構(gòu)建徑向畸變模型如公式(3.8):246123246123(1)(1)ddxxkrkrkryykrkrkr(3.8)其中,r為該點(diǎn)距離坐標(biāo)系原點(diǎn)的距離,[x,y]T為成像平面的點(diǎn)坐標(biāo),[xd,yd]T為徑向畸變后點(diǎn)的坐標(biāo)。針對上述糾正徑向畸變的模型,可以看出在圖像中心區(qū)域主要是模型中的參數(shù)k1起作用,所產(chǎn)生的畸變較小,在圖像邊緣區(qū)域主要是參數(shù)k2起作用所產(chǎn)生的畸變較大。一般用參數(shù)k1和k2就能糾正大部分徑向畸變,畸變參數(shù)k3主要參與像魚眼相機(jī)這類徑向畸變很大的圖像幀糾正。
第3章相機(jī)模型與標(biāo)定35切向畸變是由于相機(jī)在機(jī)械組裝過程中透鏡被粘貼到鏡頭模組上進(jìn)行安裝時出現(xiàn)偏差,造成透鏡與相機(jī)傳感器平面或圖像平面的位置沒有處于嚴(yán)格地平行狀態(tài),鏡頭部分的光學(xué)中心不能嚴(yán)格的保持共線,相應(yīng)地會產(chǎn)生偏心誤差。圖像的切向畸變是指圖像點(diǎn)的坐標(biāo)位置在切向上出現(xiàn)偏移,比如一個矩形被投影到成像平面時可能被扭曲成梯形,如圖3.4所示:垂直平面相機(jī)傳感器圖3.4切向畸變來源示意圖Figure3.4Schematicdiagramoftangentialdistortioncause針對切向畸變,通過畸變參數(shù)p1和p2建立切向畸變模型為公式(3.9):221222122(2)(2)2ddxxpxyprxyyprypxy(3.9)圖3.5畸變模型的切向分量Figure3.5Tangentialcomponentofthedistortionmodel如圖3.5所示某個透鏡的切向畸變示意圖,圖像的去畸變處理結(jié)合了徑向畸
【參考文獻(xiàn)】:
期刊論文
[1]基于單目視覺的同時定位與地圖構(gòu)建方法綜述[J]. 劉浩敏,章國鋒,鮑虎軍. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2016(06)
[2]增強(qiáng)現(xiàn)實(shí)技術(shù)的研究進(jìn)展及應(yīng)用[J]. 柳祖國,李世其,李作清. 系統(tǒng)仿真學(xué)報(bào). 2003(02)
本文編號:2934460
【文章來源】:中國科學(xué)院大學(xué)(中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所)吉林省
【文章頁數(shù)】:116 頁
【學(xué)位級別】:博士
【部分圖文】:
FAST特征[97]
復(fù)雜環(huán)境中聯(lián)合CNN與IMU的單目視覺SLAM方法研究34正常圖像桶形失真枕形失真圖3.2徑向畸變Figure3.2Theradialdistortion由于透鏡自身形狀的原因造成的徑向畸變分為桶形失真與枕形失真,穿過圖像中心并且與光軸有交點(diǎn)的直線能夠保持形狀不變,其余穿過透鏡的直線都會表現(xiàn)出向內(nèi)側(cè)彎曲或向外側(cè)彎曲的畸變特征。圖像放大率隨著與光軸之間的距離增加而桶形失真減小,圖像放大率與光軸之間的距離減小而枕形失真增大。圖3.3畸變模型的徑向分量Figure3.3Radialcomponentofthedistortionmodel對于徑向畸變,桶形失真與枕形失真都會隨著與圖像中心的距離增加而失真情況越嚴(yán)重,構(gòu)建徑向畸變模型如公式(3.8):246123246123(1)(1)ddxxkrkrkryykrkrkr(3.8)其中,r為該點(diǎn)距離坐標(biāo)系原點(diǎn)的距離,[x,y]T為成像平面的點(diǎn)坐標(biāo),[xd,yd]T為徑向畸變后點(diǎn)的坐標(biāo)。針對上述糾正徑向畸變的模型,可以看出在圖像中心區(qū)域主要是模型中的參數(shù)k1起作用,所產(chǎn)生的畸變較小,在圖像邊緣區(qū)域主要是參數(shù)k2起作用所產(chǎn)生的畸變較大。一般用參數(shù)k1和k2就能糾正大部分徑向畸變,畸變參數(shù)k3主要參與像魚眼相機(jī)這類徑向畸變很大的圖像幀糾正。
第3章相機(jī)模型與標(biāo)定35切向畸變是由于相機(jī)在機(jī)械組裝過程中透鏡被粘貼到鏡頭模組上進(jìn)行安裝時出現(xiàn)偏差,造成透鏡與相機(jī)傳感器平面或圖像平面的位置沒有處于嚴(yán)格地平行狀態(tài),鏡頭部分的光學(xué)中心不能嚴(yán)格的保持共線,相應(yīng)地會產(chǎn)生偏心誤差。圖像的切向畸變是指圖像點(diǎn)的坐標(biāo)位置在切向上出現(xiàn)偏移,比如一個矩形被投影到成像平面時可能被扭曲成梯形,如圖3.4所示:垂直平面相機(jī)傳感器圖3.4切向畸變來源示意圖Figure3.4Schematicdiagramoftangentialdistortioncause針對切向畸變,通過畸變參數(shù)p1和p2建立切向畸變模型為公式(3.9):221222122(2)(2)2ddxxpxyprxyyprypxy(3.9)圖3.5畸變模型的切向分量Figure3.5Tangentialcomponentofthedistortionmodel如圖3.5所示某個透鏡的切向畸變示意圖,圖像的去畸變處理結(jié)合了徑向畸
【參考文獻(xiàn)】:
期刊論文
[1]基于單目視覺的同時定位與地圖構(gòu)建方法綜述[J]. 劉浩敏,章國鋒,鮑虎軍. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2016(06)
[2]增強(qiáng)現(xiàn)實(shí)技術(shù)的研究進(jìn)展及應(yīng)用[J]. 柳祖國,李世其,李作清. 系統(tǒng)仿真學(xué)報(bào). 2003(02)
本文編號:2934460
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/2934460.html
最近更新
教材專著