本文關鍵詞： 增強現(xiàn)實 同時定位與建圖 稠密匹配 八叉樹森林 回歸森林 攝像機重定位 閉環(huán)檢測 圖優(yōu)化 人機交互 CUDAGPU并行　出處：《浙江大學》2017年博士論文　論文類型：學位論文

【摘要】：隨著信息技術的發(fā)展,增強現(xiàn)實(AugmentedReality,AR)技術近年來成為計算機視覺、計算機圖形學領域的研究熱點。增強現(xiàn)實是指在現(xiàn)實場景圖像中疊加虛擬信息或物體,使得虛擬物體與現(xiàn)實場景融合,以增強人們對現(xiàn)實環(huán)境的感知與交互體驗。目前,增強現(xiàn)實技術存在三個方面的技術難點:如何實現(xiàn)穩(wěn)定精確的虛擬物體三維注冊;如何提高虛擬物體與現(xiàn)實場景的融合真實度;如何進行自然的人機交互。同時定位與建圖(SimultaneousLocalizationandMapping,SLAM)技術是三維注冊技術中一種較為自然的方法,相比于在機器人領域的應用,增強現(xiàn)實應用中攝像機運動更快、自由度更大,環(huán)境紋理及幾何結構更復雜,一些傳統(tǒng)的SLAM算法會出現(xiàn)較為嚴重的追蹤漂移、追蹤丟失、誤差累積等問題,更穩(wěn)定的三維注冊需求對SLAM算法的魯棒性和精度都提出了更高的要求。此外,在現(xiàn)有的增強現(xiàn)實系統(tǒng)中,虛擬物體的注冊位置會隨系統(tǒng)的初始位姿變化或者依賴于人工標識,而如果希望自然地在已知場景中的絕對固定位置放置虛擬物體,就依賴于離線重定位技術,但現(xiàn)有的重定位算法都是在線實現(xiàn)的,且在精度和穩(wěn)定性上都無法滿足要求。最后,目前大多數(shù)的增強現(xiàn)實系統(tǒng)都僅僅是將虛擬物體與現(xiàn)實場景進行簡單的疊加,缺少虛實物體的互遮擋,導致合成圖像的視覺錯亂,同時缺乏用戶與虛擬物體間的人機交互。近年來,低成本RGB-D攝像機普及給增強現(xiàn)實技術的發(fā)展帶來了新的契機。由于其提供了場景深度圖,無論是在SLAM技術中的尺度漂移、地圖構建,還是在虛實物體的融合以及人機交互方面都更具優(yōu)勢。本文圍繞前面分析的幾個技術難點,研究了基于RGB-D攝像機的增強現(xiàn)實系統(tǒng)中的關鍵技術,提出了 一種新的基于Frame-to-Model的SLAM系統(tǒng)框架,稱之為FTM-SLAM,并在此基礎上實現(xiàn)了 一套用戶能夠直接用手觸控的增強現(xiàn)實人機交互系統(tǒng)。主要創(chuàng)新點和貢獻總結如下:1.在FTM-SLAM框架中的視覺里程計部分,為了提高三維注冊技術在快速運動條件下的魯棒性以及不同環(huán)境下的自適應性,本文提出了一種RGB-D圖像稠密匹配方法。該方法不需要提取特征點,而是將RGB-D圖像與場景局部模型進行稠密匹配,直接構建耦合了稠密的ICP(IterativeClosestPoint)殘差與彩色殘差的能量方程。同時,針對局部模型的稀疏性特點,設計了面向GPU并行算法的八叉樹森林結構,在減少存儲資源消耗的同時提高了算法速度。2.在FTM-SLAM框架中的后端優(yōu)化部分,針對攝像機長時間運動的誤差累積問題,本文提出了一種基于Frame-to-Model的后端全局優(yōu)化方法�；贠RB(Oriented FAST andRotatedBRIEF)二值特征構建的視覺詞袋樹和模型配準約束,提出了基于局部模型的多級一致性檢驗方法實現(xiàn)了快速準確的閉環(huán)檢測。為了進行全局軌跡優(yōu)化,本文構建了一種模型-位姿圖(Graph),圖中不僅包含攝像機位姿節(jié)點,還將局部模型的位姿加入圖中,這樣在優(yōu)化時能夠同時保持模型與攝像機以及不同工作區(qū)之間的局部幾何約束。3.本文提出了一種基于回歸森林的攝像機重定位算法,能夠同時對已知場景中單幀RGB-D圖像和單幀RGB圖像進行攝像機6自由度精確位姿估計。與傳統(tǒng)的基于圖像或者稀疏特征點的方法不同,該算法無需提取特征點,而是通過回歸的方法來解決攝像機重定位問題。算法能夠同時適應稠密和稀疏計算,從而適應不同的場景環(huán)境。本文提出的具有旋轉不變性的二值特征響應函數(shù),對于與訓練集中圖像有較大旋轉差異的待測幀具有較好的魯棒性,提出的各向異性的高斯模型能夠更好的擬合樣本的空間分布。
[Abstract]:With the development of information technology , augmented reality ( AR ) technology has become a hot topic in computer vision and computer graphics . In order to optimize the global trajectory , a model - pose graph ( Graph ) is designed . In order to optimize the global trajectory , a model - pose graph ( Graph ) is proposed . In order to optimize the global trajectory , a model - to - model based global optimization method is proposed .

【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 李勇,劉雨,唐波,肖奇?zhèn)?一種基于時空切片提取攝像機運動的方法[J];電視技術;2004年11期

2 孫鳳梅,胡占義;攝像機簡化模型對三維重構的影響——分析與實驗[J];計算機輔助設計與圖形學學報;2005年10期

3 樹子;;運動攝像“4+1”DV攝像高手之路[J];數(shù)字通信;2006年04期

4 徐淑平;;視像中的攝像機運動檢測[J];計算機技術與發(fā)展;2007年07期

5 高俊鑫;華煒;章國鋒;秦學英;;帶約束的攝像機定標方法[J];中國圖象圖形學報;2010年03期

6 耿玉亮;須德;;一種魯棒的攝像機運動分類算法[J];電子學報;2006年07期

7 孫鳳梅;王衛(wèi)寧;;關于攝像機正交運動下約束方程獨立性的一點討論[J];自動化學報;2007年10期

8 黎俊;彭啟民;呂文先;范植華;;基于尺度不變局部特征的攝像機運動檢測[J];系統(tǒng)仿真學報;2009年16期

9 孫卓金;胡士強;;雙攝像機協(xié)同人臉鷹眼檢測與定位方法[J];計算機應用;2011年12期

10 張思民;瞿帆;孫航;;基于攝像機運動控制的運動目標檢測與跟蹤算法研究[J];福建電腦;2013年09期

相關會議論文 前10條

1 孫宇臣;葛寶臻;牟冰;孫明睿;張以謨;;采用線性方法對攝像機的分區(qū)標定[A];大珩先生九十華誕文集暨中國光學學會2004年學術大會論文集[C];2004年

2 劉越;王涌天;閆達遠;;增強現(xiàn)實系統(tǒng)顯示技術研究[A];第三屆全國數(shù)字成像技術及相關材料發(fā)展與應用學術研討會論文摘要集[C];2004年

3 張旭光;閻鎮(zhèn);;面向遙科學實驗的增強現(xiàn)實應用研究[A];第二十三屆全國空間探測學術交流會論文摘要集[C];2010年

4 王倩;高長城;徐大衛(wèi);;基于虛實像結合的增強現(xiàn)實研究[A];圖像圖形技術研究與應用2009——第四屆圖像圖形技術與應用學術會議論文集[C];2009年

5 李丹;黃有群;;增強現(xiàn)實交互技術的研究[A];2007北京地區(qū)高校研究生學術交流會通信與信息技術會議論文集（上冊）[C];2008年

6 葛瑩;;基于視頻影像的地理數(shù)據(jù)增強現(xiàn)實可視化研究[A];中國地理學會百年慶典學術論文摘要集[C];2009年

7 葛學東;;增強現(xiàn)實一致光照技術研究[A];第十三屆全國圖象圖形學學術會議論文集[C];2006年

8 周志穎;鄭思遠;昌明;;增強現(xiàn)實內容管理云平臺在數(shù)字科技館中的應用[A];第十六屆中國科協(xié)年會——分16以科學發(fā)展的新視野，，努力創(chuàng)新科技教育內容論壇論文集[C];2014年

9 王堅;;虛擬現(xiàn)實和增強現(xiàn)實的人機交互技術[A];計算機技術在工程建設中的應用——第十二屆全國工程建設計算機應用學術會議演講輯錄[C];2004年

10 張娟;陳春曉;;基于分層重建的攝像機完全自標定[A];2011下一代自動測試系統(tǒng)學術研討會論文集[C];2011年

相關重要報紙文章 前10條

1 本報記者 逄丹;“增強現(xiàn)實”用虛擬美化現(xiàn)實[N];通信產(chǎn)業(yè)報;2010年

2 中國移動研究院業(yè)務研究所 陳志剛;“增強現(xiàn)實”適宜后向收費[N];通信產(chǎn)業(yè)報;2010年

3 本報記者 鄒大斌;增強現(xiàn)實:互聯(lián)網(wǎng)應用的新熱點[N];計算機世界;2011年

4 ;移動增強現(xiàn)實：是炒作還是下一件大事?[N];網(wǎng)絡世界;2010年

5 ;AR：更深刻的現(xiàn)實[N];中國高新技術產(chǎn)業(yè)導報;2002年

6 重慶 哎呀;教你使用家用攝像機[N];電腦報;2002年

7 本報記者 劉霞;2020年的可能和不可能[N];科技日報;2011年

8 關景火 蔡濤 李德華;幾種典型的表演動畫系統(tǒng)[N];計算機世界;2002年

9 特約作者 蘇馳;真亦假時假亦真[N];電腦報;2010年

10 華凌;NASA為商業(yè)飛行員開發(fā)增強現(xiàn)實設備[N];科技日報;2012年

相關博士學位論文 前10條

1 李佳寧;基于RGB-D攝像機的增強現(xiàn)實系統(tǒng)關鍵技術研究[D];浙江大學;2017年

2 董文會;多攝像機監(jiān)控網(wǎng)絡中的目標連續(xù)跟蹤方法研究[D];山東大學;2015年

3 陳和恩;基于單目攝像機的增強現(xiàn)實場景感知技術研究[D];廣東工業(yè)大學;2016年

4 譚飛剛;無視野重疊區(qū)域的跨攝像機行人跟蹤關鍵技術研究[D];華南理工大學;2016年

5 孫曉燕;多攝像機接力目標跟蹤關鍵算法研究[D];山東大學;2014年

6 林一;基于上下文感知的移動增強現(xiàn)實瀏覽器構建及優(yōu)化方法研究[D];北京理工大學;2015年

7 趙越;實時增強現(xiàn)實中運動目標及場景的跟蹤注冊關鍵問題研究[D];東北大學;2015年

8 陸平;移動增強現(xiàn)實中的圖像處理關鍵技術研究及應用[D];東南大學;2015年

9 魏小東;面向教育應用的增強現(xiàn)實系統(tǒng)關鍵問題研究[D];北京理工大學;2015年

10 趙守偉;增強現(xiàn)實輔助維修關鍵技術研究[D];河北工業(yè)大學;2016年

相關碩士學位論文 前10條

1 潘至尊;多攝像機連續(xù)目標跟蹤系統(tǒng)的應用研究[D];聊城大學;2015年

2 余慧;多攝像機下的智能視頻監(jiān)控及其在電纜防盜中的應用研究[D];西南科技大學;2015年

3 吳盈;基于智能輔助視域盲區(qū)目標識別與匹配[D];寧波大學;2015年

4 馬鉑倫;電影特效鏡頭的制作[D];北京工業(yè)大學;2015年

5 文雪;基于信息融合的多攝像機跟蹤的算法研究[D];黑龍江大學;2015年

6 石皓;用于全景與PTZ主從攝像機的標定方法研究[D];國防科學技術大學;2013年

7 張瀅;多攝像機運動目標檢測與分析研究[D];合肥工業(yè)大學;2014年

8 貢超;無重疊視域多攝像機目標匹配算法研究[D];合肥工業(yè)大學;2014年

9 任麗娜;圓錐鏡面折反射攝像機的標定與自標定[D];云南大學;2016年

10 任榮;非重疊域多攝像機目標檢測與跟蹤算法研究[D];中國礦業(yè)大學;2016年

本文編號：1540208