本文選題：增強(qiáng)現(xiàn)實(shí) + 場(chǎng)景重構(gòu)��； 參考：《廣東工業(yè)大學(xué)》2016年博士論文

【摘要】：增強(qiáng)現(xiàn)實(shí)通過(guò)分析場(chǎng)景特征,可以將計(jì)算機(jī)生成的幾何信息以視覺(jué)融合的方式疊加至真實(shí)環(huán)境中,加強(qiáng)人對(duì)世界的認(rèn)知。作為一種全新的人機(jī)交互方式,增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展備受關(guān)注。虛實(shí)融合是增強(qiáng)現(xiàn)實(shí)的核心問(wèn)題,其關(guān)鍵在于：如何利用2D視覺(jué)信息恢復(fù)真實(shí)的3D場(chǎng)景,如何估算視覺(jué)傳感器在空間的位置和姿態(tài),如何對(duì)場(chǎng)景中出現(xiàn)的物體進(jìn)行感知和處理。盡管計(jì)算機(jī)視覺(jué)已經(jīng)取得長(zhǎng)足進(jìn)步,但在實(shí)際應(yīng)用中仍然面臨著移動(dòng)攝像機(jī)的姿態(tài)在三維場(chǎng)景中求解困難、應(yīng)用場(chǎng)景中一直存在的噪聲干擾及遮擋、復(fù)雜背景中的物體識(shí)別和姿態(tài)求解困難等不利因素。因此設(shè)計(jì)穩(wěn)定可靠、高效的場(chǎng)景構(gòu)建和場(chǎng)景識(shí)別算法在當(dāng)前仍然是一項(xiàng)很有挑戰(zhàn)性的工作�；谏鲜鲅芯勘尘�,本文將以構(gòu)建增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)為目標(biāo),研究如何從單目攝像機(jī)拍攝的視頻序列中恢復(fù)出場(chǎng)景三維幾何和攝像機(jī)運(yùn)動(dòng)信息,獲取場(chǎng)景中物體的姿態(tài)并應(yīng)用于裝配指導(dǎo)系統(tǒng)中。本文希望能有效解決在移動(dòng)增強(qiáng)現(xiàn)實(shí)環(huán)境中,虛實(shí)融合面臨的配準(zhǔn)準(zhǔn)確性、實(shí)時(shí)性和魯棒性等問(wèn)題,促進(jìn)場(chǎng)景感知在增強(qiáng)現(xiàn)實(shí)中的發(fā)展。本文主要工作總結(jié)如下：針對(duì)三維重構(gòu)效率低,后期識(shí)別和感知困難的問(wèn)題,提出了一個(gè)基于視頻序列的場(chǎng)景重構(gòu)算法,從圖像序列中恢復(fù)場(chǎng)景的3D稀疏表面結(jié)構(gòu)。算法采用局部集束優(yōu)化方法,不僅可以提高運(yùn)算效率,還保證了重構(gòu)結(jié)果的精確度和魯棒性。針對(duì)視覺(jué)重建噪聲多的特點(diǎn),本文用統(tǒng)計(jì)離群值濾波法對(duì)場(chǎng)景的重構(gòu)點(diǎn)云進(jìn)行濾波,可以在不需要增加很多計(jì)算代價(jià)的條件下有效地過(guò)濾大量噪聲,在減少空間點(diǎn)數(shù)量的同時(shí)還能夠保持和增強(qiáng)點(diǎn)云的表面特征。為了獲取虛實(shí)融合的正確呈現(xiàn)效果,需要計(jì)算移動(dòng)攝像機(jī)在空間的位姿,為此提出了一個(gè)高效的基于稀疏光流的攝像機(jī)跟蹤算法。特別針對(duì)移動(dòng)攝像機(jī)的姿態(tài)在立體場(chǎng)景中求解不穩(wěn)定、效率低等問(wèn)題,提出了一種基于關(guān)鍵幀簇的跟蹤方法,由稀疏光流對(duì)相鄰關(guān)鍵幀的對(duì)應(yīng)特征點(diǎn)的位置進(jìn)行預(yù)測(cè)和跟蹤,建立關(guān)鍵幀之間對(duì)應(yīng)特征點(diǎn)的匹配約束關(guān)系,利用與這些特征點(diǎn)對(duì)應(yīng)的3D點(diǎn)位置,對(duì)攝像機(jī)位姿進(jìn)行定位及更新,從而提高攝像機(jī)姿態(tài)的求解效率和精度,有效避免配準(zhǔn)漂移問(wèn)題。為了識(shí)別與理解裝配環(huán)境中出現(xiàn)的真實(shí)物體對(duì)象,提出了一種基于配準(zhǔn)的3D感知方法。通過(guò)驅(qū)動(dòng)虛擬模型點(diǎn)云,使之與真實(shí)場(chǎng)景的點(diǎn)云匹配,利用點(diǎn)云的相似度對(duì)場(chǎng)景中出現(xiàn)的真實(shí)物體進(jìn)行感知。為了降低場(chǎng)景點(diǎn)云中噪聲對(duì)配準(zhǔn)結(jié)果的影響,提出一個(gè)基于密度自適應(yīng)的匹配算法,自適應(yīng)調(diào)整不同來(lái)源的點(diǎn)云密度,再提取共面四點(diǎn)描述特征對(duì)場(chǎng)景點(diǎn)云和模型點(diǎn)云進(jìn)行相似度匹配,利用共面四點(diǎn)特征的仿射不變性實(shí)現(xiàn)對(duì)真實(shí)物體的識(shí)別。該方法可以減少點(diǎn)云的數(shù)據(jù)量,降低運(yùn)算復(fù)雜度,還能提高匹配精確度。實(shí)驗(yàn)結(jié)果表明,這種方法能準(zhǔn)確在裝配環(huán)境點(diǎn)云中識(shí)別出零部件并能計(jì)算出它們的姿態(tài),可用于噪聲條件下增強(qiáng)現(xiàn)實(shí)交互應(yīng)用。構(gòu)建了一個(gè)基于單目攝像機(jī)的增強(qiáng)現(xiàn)實(shí)裝配實(shí)驗(yàn)平臺(tái)。該平臺(tái)以交互操作任務(wù)為目標(biāo),可以在裝配過(guò)程中向操作者提供所需的文字、二維圖像以及三維模型,幫助用戶(hù)理解裝配任務(wù),獲得裝配經(jīng)驗(yàn)；還可以根據(jù)裝配內(nèi)容生成裝配序列和工藝規(guī)劃文件。平臺(tái)綜合運(yùn)用了場(chǎng)景重構(gòu)、攝像機(jī)跟蹤以及三維感知方法。實(shí)驗(yàn)驗(yàn)證了本文算法的實(shí)時(shí)性、魯棒性以及精確性,很好地解決了增強(qiáng)現(xiàn)實(shí)應(yīng)用中所面臨的零部件姿態(tài)求解問(wèn)題,3D虛實(shí)融合問(wèn)題。
[Abstract]:Based on the research background , this paper presents a new method of scene reconstruction based on video sequence , which can improve the accuracy and robustness of scene perception . The experimental results show that the method can accurately identify components in the assembly environment point cloud and can calculate their attitude and can be used to enhance the practical interactive application under the noise condition .
The assembly sequence and process planning documents can also be generated according to the assembly content . The platform synthetically applies the scene reconstruction , camera tracking and three - dimensional sensing method . Experiments verify the real - time , robustness and accuracy of the algorithm , and solve the problem of solving the problem of solving the problem of solving the problem of solving the 3D virtual reality .

【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP391.9

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫鳳梅,胡占義;攝像機(jī)簡(jiǎn)化模型對(duì)三維重構(gòu)的影響——分析與實(shí)驗(yàn)[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2005年10期

2 樹(shù)子;;運(yùn)動(dòng)攝像“4+1”DV攝像高手之路[J];數(shù)字通信;2006年04期

3 徐淑平;;視像中的攝像機(jī)運(yùn)動(dòng)檢測(cè)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2007年07期

4 高俊鑫;華煒;章國(guó)鋒;秦學(xué)英;;帶約束的攝像機(jī)定標(biāo)方法[J];中國(guó)圖象圖形學(xué)報(bào);2010年03期

5 耿玉亮;須德;;一種魯棒的攝像機(jī)運(yùn)動(dòng)分類(lèi)算法[J];電子學(xué)報(bào);2006年07期

6 孫鳳梅;王衛(wèi)寧;;關(guān)于攝像機(jī)正交運(yùn)動(dòng)下約束方程獨(dú)立性的一點(diǎn)討論[J];自動(dòng)化學(xué)報(bào);2007年10期

7 黎俊;彭啟民;呂文先;范植華;;基于尺度不變局部特征的攝像機(jī)運(yùn)動(dòng)檢測(cè)[J];系統(tǒng)仿真學(xué)報(bào);2009年16期

8 孫卓金;胡士強(qiáng);;雙攝像機(jī)協(xié)同人臉鷹眼檢測(cè)與定位方法[J];計(jì)算機(jī)應(yīng)用;2011年12期

9 張思民;瞿帆;孫航;;基于攝像機(jī)運(yùn)動(dòng)控制的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[J];福建電腦;2013年09期

10 李鈾;宋利;王嘉;;基于圖像拼接的雙攝像機(jī)系統(tǒng)自動(dòng)標(biāo)定方法[J];電視技術(shù);2010年04期

相關(guān)會(huì)議論文 前2條

1 孫宇臣;葛寶臻;牟冰;孫明睿;張以謨;;采用線性方法對(duì)攝像機(jī)的分區(qū)標(biāo)定[A];大珩先生九十華誕文集暨中國(guó)光學(xué)學(xué)會(huì)2004年學(xué)術(shù)大會(huì)論文集[C];2004年

2 張娟;陳春曉;;基于分層重建的攝像機(jī)完全自標(biāo)定[A];2011下一代自動(dòng)測(cè)試系統(tǒng)學(xué)術(shù)研討會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前2條

1 重慶 哎呀;教你使用家用攝像機(jī)[N];電腦報(bào);2002年

2 關(guān)景火 蔡濤 李德華;幾種典型的表演動(dòng)畫(huà)系統(tǒng)[N];計(jì)算機(jī)世界;2002年

相關(guān)博士學(xué)位論文 前10條

1 董文會(huì);多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中的目標(biāo)連續(xù)跟蹤方法研究[D];山東大學(xué);2015年

2 陳和恩;基于單目攝像機(jī)的增強(qiáng)現(xiàn)實(shí)場(chǎng)景感知技術(shù)研究[D];廣東工業(yè)大學(xué);2016年

3 孫曉燕;多攝像機(jī)接力目標(biāo)跟蹤關(guān)鍵算法研究[D];山東大學(xué);2014年

4 張柳新;多攝像機(jī)三維重建技術(shù)與應(yīng)用[D];北京理工大學(xué);2010年

5 譚樹(shù)人;全方位攝像機(jī)與主動(dòng)攝像機(jī)協(xié)作跟蹤技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

6 曾成斌;多攝像機(jī)協(xié)同的行人檢測(cè)技術(shù)研究[D];北京郵電大學(xué);2011年

7 楊磊;單目運(yùn)動(dòng)攝像機(jī)進(jìn)行稠密場(chǎng)景重建的方法研究[D];中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所);2015年

8 耿玉亮;基于內(nèi)容的視頻結(jié)構(gòu)化技術(shù)的研究[D];北京交通大學(xué);2006年

9 楊廣林;主動(dòng)視頻監(jiān)控中若干問(wèn)題的研究[D];燕山大學(xué);2006年

10 梁棟;基于多視圖的參數(shù)估計(jì)與形狀重構(gòu)[D];安徽大學(xué);2002年

相關(guān)碩士學(xué)位論文 前10條

1 潘至尊;多攝像機(jī)連續(xù)目標(biāo)跟蹤系統(tǒng)的應(yīng)用研究[D];聊城大學(xué);2015年

2 余慧;多攝像機(jī)下的智能視頻監(jiān)控及其在電纜防盜中的應(yīng)用研究[D];西南科技大學(xué);2015年

3 吳盈;基于智能輔助視域盲區(qū)目標(biāo)識(shí)別與匹配[D];寧波大學(xué);2015年

4 馬鉑倫;電影特效鏡頭的制作[D];北京工業(yè)大學(xué);2015年

5 文雪;基于信息融合的多攝像機(jī)跟蹤的算法研究[D];黑龍江大學(xué);2015年

6 石皓;用于全景與PTZ主從攝像機(jī)的標(biāo)定方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

7 張瀅;多攝像機(jī)運(yùn)動(dòng)目標(biāo)檢測(cè)與分析研究[D];合肥工業(yè)大學(xué);2014年

8 貢超;無(wú)重疊視域多攝像機(jī)目標(biāo)匹配算法研究[D];合肥工業(yè)大學(xué);2014年

9 張丹;基于Agent和最優(yōu)搜索理論的多攝像機(jī)協(xié)同跟蹤[D];北京交通大學(xué);2016年

10 吳磊杰;攝像機(jī)運(yùn)動(dòng)檢測(cè)技術(shù)研究[D];華北電力大學(xué)（北京）;2009年

，

本文編號(hào)：1809680