視覺慣性里程計（VIO）被廣泛應用于無人機、無人駕駛、VR/AR等領域中,用于解決移動端在未知環(huán)境中實時定位的問題,具有重要的研究價值。為了提升位姿估計的準確性和魯棒性,本文提出了基于點、線特征的采用緊耦合優(yōu)化方法的視覺慣性里程計。線特征廣泛存在于人造環(huán)境中,在VIO中添加對環(huán)境中線特征的觀測,在紋理缺失的環(huán)境中線特征可以為VIO提供足夠多的幀間視覺信息約束。本文的主要研究內容和研究方法包括:1.在點特征跟蹤模塊中通過最小化幀間圖像灰度誤差的方法估計幀間的單應變換矩陣和幀間的仿射亮度變化參數,然后用單應矩陣預測特征點在當前圖像幀的位置,最后用KLT光流法跟蹤特征點準確位置,本文的這種跟蹤方法可以得到更高的跟蹤成功率。在線征跟蹤中本文采用先跟蹤直線采樣點的方法,再對直線進行篩選。2.本文中采用了一種新的IMU預積分方法,對IMU的預積分狀態(tài)先用中值積分方法積分再推導出離散形式的誤差狀態(tài)方程,通過誤差狀態(tài)方程求得IMU預積分的均值和誤差狀態(tài)的協(xié)方差,從本文的最終位姿估計結果中證實了這個預積分方法的可靠性。3.在VIO的滑動窗口優(yōu)化器中,本文采用非線性優(yōu)化的方法最小化視覺點特征觀測殘差、視覺... 

【文章來源】： 何宇喆 哈爾濱工業(yè)大學

【文章頁數】：91 頁

【學位級別】：碩士

【部分圖文】：

百度無人駕駛出租車與大疆無人機實時準確的定位功能通常是無人設備自主運行的必備功能，是無人設備完成

哈爾濱工業(yè)大學工學碩士學位論文第2章圖像視覺特征的跟蹤2.1引言相機圖像測量的處理是VIO系統(tǒng)的重要組成部分，圖像處理模塊中主要是對圖像的元素進行跟蹤，通常選擇跟蹤圖像中的點特征和線特征，點特征的跟蹤方法通常為特征點法、直接法和半直接法。特征點法需要先提取圖像中的點特征，例如ORB[39]，SIFT[40]，SURF[41]特征點，然后計算特征的描述子，通過對比描述子進行幀間特征的匹配，在后端中優(yōu)化點的重投影位置誤差來估計位姿。直接法通常選擇跟蹤圖像中具有較大像素梯度的點，跟蹤方法通常計算點所在的像素塊間的亮度誤差來確定是否匹配，同樣采用優(yōu)化點的灰度誤差來估計位姿。半直接法通常選擇跟蹤圖像中的角點，通過最小化圖像塊灰度誤差來確定新的圖像幀中對應角點的位置，在后端中優(yōu)化點的重投影位置誤差來估計位姿。通常特征點法具有對光照不敏感的優(yōu)點，但是運行速度較慢。直接法跟蹤運行的速度較快，但是對光照敏感，由于相機的曝光時間變化引起的圖像亮度變化容易導致系統(tǒng)跟蹤失敗，為了應對光照變化，DSO中采用光度標定的方法來提高跟蹤穩(wěn)定性。半直接法的代表作SVO具有極高的運行速度，因此本文中特征點跟蹤方法主要借鑒了半直接法SVO的思想，先粗略預測特征點在新一幀圖像的位置，再用LK[42]光流法跟蹤到特征點的準確位置，因此本文中特征點跟蹤方法獲得了較高的跟蹤成功率和跟蹤速度。在跟蹤線特征方法中常用計算線特征的LBD[35]描述子進行匹配，但是這種方法需要的計算量較大，因此本文中利用在跟蹤點特征時估計的變換矩陣先粗略估算出線特征在當前圖像幀中的位置，再調優(yōu)線特征的準確位置。整個圖像視覺特征的跟蹤流程如圖2-1所示：圖2-1圖像視覺特征的跟蹤流程-8-

哈爾濱工業(yè)大學工學碩士學位論文2.2圖像特征點的提取和跟蹤2.2.1圖像特征點的提取圖像特征點常用的有FAST[43]角點，Harris角點和Shi-Tomasi角點，其中Harris[44]角點和Shi-Tomasi[45]角點需要用在用一個窗口在圖像上滑動，并不斷計算滑動窗口內圖像塊的Hessian矩陣及其特征值，因此提取Harris角點和Shi-Tomasi角點的速度較慢，特別是在圖像金字塔內提取，會在提取特征點上花費較長時間。而提取FAST角點時，僅需要計算像素點和以它為中心的半徑為3上的圓周上16個像素點的灰度差值，因此提取FAST角點速度較快，所以本文先提取FAST角點作為特征點的候選點集。FAST角點的提取方法為，選擇圖像平面一個像素p，其灰度值為Ip，再設定一個閾值T，以該像素為中心，在半徑為3的圓周上選擇16個像素點，若這16個點中有連續(xù)N個特征點的灰度值大于Ip+T或者小于IpT，則這個像素點為FAST角點，對圖像所以像素重復執(zhí)行上面的操作。通常取N=9能夠有較好的提取效果。FAST角點提取算法在一些情況下即使Shi-Tomasi響應值很大，但是仍然不能提取出角點，例如類似棋盤格灰度模式的角點，所以本文借鑒了LIBVISO2[46]中的角點提取算法，采用圖2-2所示的5×5大小的卷積核與圖像做卷積運算，選取卷積結果的絕對值作為這個像素點的評分，然后在3×3大小的區(qū)域內用非極大值抑制篩選出候選角點進行后續(xù)處理。圖2-25×5大小卷積核通過圖2-3兩種角點提取的算法可以看出，用卷積的方法可以準確，穩(wěn)定的提取出棋盤格的角點。由于棋盤格的黑白交界處，圖像易受到鋸齒狀噪聲的干擾，FAST角點提取算法在棋盤格角點附近提取出了由于噪聲形成的角點，這些角點在特征點跟蹤中是很不穩(wěn)定的，影響位姿的最終求解精度。通常特征點是具有尺度的，因此本文中先利用原始圖像建立尺度?


本文編號：3035356