本文關(guān)鍵詞： 增強(qiáng)現(xiàn)實(shí) 同時(shí)定位與建圖 稠密匹配 八叉樹(shù)森林 回歸森林 攝像機(jī)重定位 閉環(huán)檢測(cè) 圖優(yōu)化 人機(jī)交互 CUDAGPU并行　出處：《浙江大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：隨著信息技術(shù)的發(fā)展,增強(qiáng)現(xiàn)實(shí)(AugmentedReality,AR)技術(shù)近年來(lái)成為計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究熱點(diǎn)。增強(qiáng)現(xiàn)實(shí)是指在現(xiàn)實(shí)場(chǎng)景圖像中疊加虛擬信息或物體,使得虛擬物體與現(xiàn)實(shí)場(chǎng)景融合,以增強(qiáng)人們對(duì)現(xiàn)實(shí)環(huán)境的感知與交互體驗(yàn)。目前,增強(qiáng)現(xiàn)實(shí)技術(shù)存在三個(gè)方面的技術(shù)難點(diǎn):如何實(shí)現(xiàn)穩(wěn)定精確的虛擬物體三維注冊(cè);如何提高虛擬物體與現(xiàn)實(shí)場(chǎng)景的融合真實(shí)度;如何進(jìn)行自然的人機(jī)交互。同時(shí)定位與建圖(SimultaneousLocalizationandMapping,SLAM)技術(shù)是三維注冊(cè)技術(shù)中一種較為自然的方法,相比于在機(jī)器人領(lǐng)域的應(yīng)用,增強(qiáng)現(xiàn)實(shí)應(yīng)用中攝像機(jī)運(yùn)動(dòng)更快、自由度更大,環(huán)境紋理及幾何結(jié)構(gòu)更復(fù)雜,一些傳統(tǒng)的SLAM算法會(huì)出現(xiàn)較為嚴(yán)重的追蹤漂移、追蹤丟失、誤差累積等問(wèn)題,更穩(wěn)定的三維注冊(cè)需求對(duì)SLAM算法的魯棒性和精度都提出了更高的要求。此外,在現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中,虛擬物體的注冊(cè)位置會(huì)隨系統(tǒng)的初始位姿變化或者依賴于人工標(biāo)識(shí),而如果希望自然地在已知場(chǎng)景中的絕對(duì)固定位置放置虛擬物體,就依賴于離線重定位技術(shù),但現(xiàn)有的重定位算法都是在線實(shí)現(xiàn)的,且在精度和穩(wěn)定性上都無(wú)法滿足要求。最后,目前大多數(shù)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)都僅僅是將虛擬物體與現(xiàn)實(shí)場(chǎng)景進(jìn)行簡(jiǎn)單的疊加,缺少虛實(shí)物體的互遮擋,導(dǎo)致合成圖像的視覺(jué)錯(cuò)亂,同時(shí)缺乏用戶與虛擬物體間的人機(jī)交互。近年來(lái),低成本RGB-D攝像機(jī)普及給增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展帶來(lái)了新的契機(jī)。由于其提供了場(chǎng)景深度圖,無(wú)論是在SLAM技術(shù)中的尺度漂移、地圖構(gòu)建,還是在虛實(shí)物體的融合以及人機(jī)交互方面都更具優(yōu)勢(shì)。本文圍繞前面分析的幾個(gè)技術(shù)難點(diǎn),研究了基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的關(guān)鍵技術(shù),提出了 一種新的基于Frame-to-Model的SLAM系統(tǒng)框架,稱之為FTM-SLAM,并在此基礎(chǔ)上實(shí)現(xiàn)了 一套用戶能夠直接用手觸控的增強(qiáng)現(xiàn)實(shí)人機(jī)交互系統(tǒng)。主要?jiǎng)?chuàng)新點(diǎn)和貢獻(xiàn)總結(jié)如下:1.在FTM-SLAM框架中的視覺(jué)里程計(jì)部分,為了提高三維注冊(cè)技術(shù)在快速運(yùn)動(dòng)條件下的魯棒性以及不同環(huán)境下的自適應(yīng)性,本文提出了一種RGB-D圖像稠密匹配方法。該方法不需要提取特征點(diǎn),而是將RGB-D圖像與場(chǎng)景局部模型進(jìn)行稠密匹配,直接構(gòu)建耦合了稠密的ICP(IterativeClosestPoint)殘差與彩色殘差的能量方程。同時(shí),針對(duì)局部模型的稀疏性特點(diǎn),設(shè)計(jì)了面向GPU并行算法的八叉樹(shù)森林結(jié)構(gòu),在減少存儲(chǔ)資源消耗的同時(shí)提高了算法速度。2.在FTM-SLAM框架中的后端優(yōu)化部分,針對(duì)攝像機(jī)長(zhǎng)時(shí)間運(yùn)動(dòng)的誤差累積問(wèn)題,本文提出了一種基于Frame-to-Model的后端全局優(yōu)化方法。基于ORB(Oriented FAST andRotatedBRIEF)二值特征構(gòu)建的視覺(jué)詞袋樹(shù)和模型配準(zhǔn)約束,提出了基于局部模型的多級(jí)一致性檢驗(yàn)方法實(shí)現(xiàn)了快速準(zhǔn)確的閉環(huán)檢測(cè)。為了進(jìn)行全局軌跡優(yōu)化,本文構(gòu)建了一種模型-位姿圖(Graph),圖中不僅包含攝像機(jī)位姿節(jié)點(diǎn),還將局部模型的位姿加入圖中,這樣在優(yōu)化時(shí)能夠同時(shí)保持模型與攝像機(jī)以及不同工作區(qū)之間的局部幾何約束。3.本文提出了一種基于回歸森林的攝像機(jī)重定位算法,能夠同時(shí)對(duì)已知場(chǎng)景中單幀RGB-D圖像和單幀RGB圖像進(jìn)行攝像機(jī)6自由度精確位姿估計(jì)。與傳統(tǒng)的基于圖像或者稀疏特征點(diǎn)的方法不同,該算法無(wú)需提取特征點(diǎn),而是通過(guò)回歸的方法來(lái)解決攝像機(jī)重定位問(wèn)題。算法能夠同時(shí)適應(yīng)稠密和稀疏計(jì)算,從而適應(yīng)不同的場(chǎng)景環(huán)境。本文提出的具有旋轉(zhuǎn)不變性的二值特征響應(yīng)函數(shù),對(duì)于與訓(xùn)練集中圖像有較大旋轉(zhuǎn)差異的待測(cè)幀具有較好的魯棒性,提出的各向異性的高斯模型能夠更好的擬合樣本的空間分布。
[Abstract]:With the development of information technology , augmented reality ( AR ) technology has become a hot topic in computer vision and computer graphics . In order to optimize the global trajectory , a model - pose graph ( Graph ) is designed . In order to optimize the global trajectory , a model - pose graph ( Graph ) is proposed . In order to optimize the global trajectory , a model - to - model based global optimization method is proposed .

【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李勇,劉雨,唐波,肖奇?zhèn)?一種基于時(shí)空切片提取攝像機(jī)運(yùn)動(dòng)的方法[J];電視技術(shù);2004年11期

2 孫鳳梅,胡占義;攝像機(jī)簡(jiǎn)化模型對(duì)三維重構(gòu)的影響——分析與實(shí)驗(yàn)[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2005年10期

3 樹(shù)子;;運(yùn)動(dòng)攝像“4+1”DV攝像高手之路[J];數(shù)字通信;2006年04期

4 徐淑平;;視像中的攝像機(jī)運(yùn)動(dòng)檢測(cè)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2007年07期

5 高俊鑫;華煒;章國(guó)鋒;秦學(xué)英;;帶約束的攝像機(jī)定標(biāo)方法[J];中國(guó)圖象圖形學(xué)報(bào);2010年03期

6 耿玉亮;須德;;一種魯棒的攝像機(jī)運(yùn)動(dòng)分類算法[J];電子學(xué)報(bào);2006年07期

7 孫鳳梅;王衛(wèi)寧;;關(guān)于攝像機(jī)正交運(yùn)動(dòng)下約束方程獨(dú)立性的一點(diǎn)討論[J];自動(dòng)化學(xué)報(bào);2007年10期

8 黎俊;彭啟民;呂文先;范植華;;基于尺度不變局部特征的攝像機(jī)運(yùn)動(dòng)檢測(cè)[J];系統(tǒng)仿真學(xué)報(bào);2009年16期

9 孫卓金;胡士強(qiáng);;雙攝像機(jī)協(xié)同人臉鷹眼檢測(cè)與定位方法[J];計(jì)算機(jī)應(yīng)用;2011年12期

10 張思民;瞿帆;孫航;;基于攝像機(jī)運(yùn)動(dòng)控制的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[J];福建電腦;2013年09期

相關(guān)會(huì)議論文 前10條

1 孫宇臣;葛寶臻;牟冰;孫明睿;張以謨;;采用線性方法對(duì)攝像機(jī)的分區(qū)標(biāo)定[A];大珩先生九十華誕文集暨中國(guó)光學(xué)學(xué)會(huì)2004年學(xué)術(shù)大會(huì)論文集[C];2004年

2 劉越;王涌天;閆達(dá)遠(yuǎn);;增強(qiáng)現(xiàn)實(shí)系統(tǒng)顯示技術(shù)研究[A];第三屆全國(guó)數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會(huì)論文摘要集[C];2004年

3 張旭光;閻鎮(zhèn);;面向遙科學(xué)實(shí)驗(yàn)的增強(qiáng)現(xiàn)實(shí)應(yīng)用研究[A];第二十三屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2010年

4 王倩;高長(zhǎng)城;徐大衛(wèi);;基于虛實(shí)像結(jié)合的增強(qiáng)現(xiàn)實(shí)研究[A];圖像圖形技術(shù)研究與應(yīng)用2009——第四屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

5 李丹;黃有群;;增強(qiáng)現(xiàn)實(shí)交互技術(shù)的研究[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)會(huì)議論文集（上冊(cè)）[C];2008年

6 葛瑩;;基于視頻影像的地理數(shù)據(jù)增強(qiáng)現(xiàn)實(shí)可視化研究[A];中國(guó)地理學(xué)會(huì)百年慶典學(xué)術(shù)論文摘要集[C];2009年

7 葛學(xué)東;;增強(qiáng)現(xiàn)實(shí)一致光照技術(shù)研究[A];第十三屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2006年

8 周志穎;鄭思遠(yuǎn);昌明;;增強(qiáng)現(xiàn)實(shí)內(nèi)容管理云平臺(tái)在數(shù)字科技館中的應(yīng)用[A];第十六屆中國(guó)科協(xié)年會(huì)——分16以科學(xué)發(fā)展的新視野，，努力創(chuàng)新科技教育內(nèi)容論壇論文集[C];2014年

9 王堅(jiān);;虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的人機(jī)交互技術(shù)[A];計(jì)算機(jī)技術(shù)在工程建設(shè)中的應(yīng)用——第十二屆全國(guó)工程建設(shè)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議演講輯錄[C];2004年

10 張娟;陳春曉;;基于分層重建的攝像機(jī)完全自標(biāo)定[A];2011下一代自動(dòng)測(cè)試系統(tǒng)學(xué)術(shù)研討會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 逄丹;“增強(qiáng)現(xiàn)實(shí)”用虛擬美化現(xiàn)實(shí)[N];通信產(chǎn)業(yè)報(bào);2010年

2 中國(guó)移動(dòng)研究院業(yè)務(wù)研究所 陳志剛;“增強(qiáng)現(xiàn)實(shí)”適宜后向收費(fèi)[N];通信產(chǎn)業(yè)報(bào);2010年

3 本報(bào)記者 鄒大斌;增強(qiáng)現(xiàn)實(shí):互聯(lián)網(wǎng)應(yīng)用的新熱點(diǎn)[N];計(jì)算機(jī)世界;2011年

4 ;移動(dòng)增強(qiáng)現(xiàn)實(shí)：是炒作還是下一件大事?[N];網(wǎng)絡(luò)世界;2010年

5 ;AR：更深刻的現(xiàn)實(shí)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2002年

6 重慶 哎呀;教你使用家用攝像機(jī)[N];電腦報(bào);2002年

7 本報(bào)記者 劉霞;2020年的可能和不可能[N];科技日?qǐng)?bào);2011年

8 關(guān)景火 蔡濤 李德華;幾種典型的表演動(dòng)畫(huà)系統(tǒng)[N];計(jì)算機(jī)世界;2002年

9 特約作者 蘇馳;真亦假時(shí)假亦真[N];電腦報(bào);2010年

10 華凌;NASA為商業(yè)飛行員開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)設(shè)備[N];科技日?qǐng)?bào);2012年

相關(guān)博士學(xué)位論文 前10條

1 李佳寧;基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

2 董文會(huì);多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中的目標(biāo)連續(xù)跟蹤方法研究[D];山東大學(xué);2015年

3 陳和恩;基于單目攝像機(jī)的增強(qiáng)現(xiàn)實(shí)場(chǎng)景感知技術(shù)研究[D];廣東工業(yè)大學(xué);2016年

4 譚飛剛;無(wú)視野重疊區(qū)域的跨攝像機(jī)行人跟蹤關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2016年

5 孫曉燕;多攝像機(jī)接力目標(biāo)跟蹤關(guān)鍵算法研究[D];山東大學(xué);2014年

6 林一;基于上下文感知的移動(dòng)增強(qiáng)現(xiàn)實(shí)瀏覽器構(gòu)建及優(yōu)化方法研究[D];北京理工大學(xué);2015年

7 趙越;實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)中運(yùn)動(dòng)目標(biāo)及場(chǎng)景的跟蹤注冊(cè)關(guān)鍵問(wèn)題研究[D];東北大學(xué);2015年

8 陸平;移動(dòng)增強(qiáng)現(xiàn)實(shí)中的圖像處理關(guān)鍵技術(shù)研究及應(yīng)用[D];東南大學(xué);2015年

9 魏小東;面向教育應(yīng)用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵問(wèn)題研究[D];北京理工大學(xué);2015年

10 趙守偉;增強(qiáng)現(xiàn)實(shí)輔助維修關(guān)鍵技術(shù)研究[D];河北工業(yè)大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 潘至尊;多攝像機(jī)連續(xù)目標(biāo)跟蹤系統(tǒng)的應(yīng)用研究[D];聊城大學(xué);2015年

2 余慧;多攝像機(jī)下的智能視頻監(jiān)控及其在電纜防盜中的應(yīng)用研究[D];西南科技大學(xué);2015年

3 吳盈;基于智能輔助視域盲區(qū)目標(biāo)識(shí)別與匹配[D];寧波大學(xué);2015年

4 馬鉑倫;電影特效鏡頭的制作[D];北京工業(yè)大學(xué);2015年

5 文雪;基于信息融合的多攝像機(jī)跟蹤的算法研究[D];黑龍江大學(xué);2015年

6 石皓;用于全景與PTZ主從攝像機(jī)的標(biāo)定方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

7 張瀅;多攝像機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)與分析研究[D];合肥工業(yè)大學(xué);2014年

8 貢超;無(wú)重疊視域多攝像機(jī)目標(biāo)匹配算法研究[D];合肥工業(yè)大學(xué);2014年

9 任麗娜;圓錐鏡面折反射攝像機(jī)的標(biāo)定與自標(biāo)定[D];云南大學(xué);2016年

10 任榮;非重疊域多攝像機(jī)目標(biāo)檢測(cè)與跟蹤算法研究[D];中國(guó)礦業(yè)大學(xué);2016年

本文編號(hào)：1540208