發(fā)布時(shí)間：2018-10-05 19:54

【摘要】：三維重建是計(jì)算機(jī)視覺(jué)的重要研究方向,可以廣泛應(yīng)用于三維導(dǎo)航、在線購(gòu)物、3D打印、計(jì)算攝影、視頻游戲以及文化遺產(chǎn)保護(hù)。隨著計(jì)算機(jī)的計(jì)算能力的不斷增強(qiáng)和人們對(duì)于實(shí)時(shí)交互體驗(yàn)的追求,實(shí)時(shí)三維重建正在成為新的研究熱點(diǎn)。基于單目攝像頭的實(shí)時(shí)三維重建不僅需要對(duì)相機(jī)的姿態(tài)進(jìn)行實(shí)時(shí)的估計(jì),而且還要對(duì)圖像的深度圖進(jìn)行實(shí)時(shí)估計(jì)和融合。為此,我們首先要準(zhǔn)確地估計(jì)出相機(jī)的姿態(tài),然后根據(jù)局部信息快速生成準(zhǔn)確的深度圖,最后采用適合實(shí)時(shí)交互的高效融合方法來(lái)進(jìn)行融合處理。為了實(shí)現(xiàn)上述目標(biāo),本文研發(fā)了一個(gè)基于單目攝像頭的實(shí)時(shí)三維重建系統(tǒng)。該系統(tǒng)可以直接從單目攝像頭采集的實(shí)時(shí)視頻數(shù)據(jù)實(shí)時(shí)地生成場(chǎng)景的三維模型。系統(tǒng)流程主要包括三個(gè)部分:首先是利用同時(shí)定位與地圖構(gòu)建(SLAM)系統(tǒng),對(duì)視頻序列進(jìn)行相機(jī)姿態(tài)的估計(jì),并抽取關(guān)鍵幀進(jìn)行關(guān)鍵幀的姿態(tài)優(yōu)化,然后以關(guān)鍵幀作為參考幀進(jìn)行快速的深度恢復(fù)。本系統(tǒng)的深度恢復(fù)采用了平面掃描算法和基于概率的深度推斷方法,并針對(duì)深度恢復(fù)的結(jié)果進(jìn)行局部?jī)?yōu)化,最后將關(guān)鍵幀的深度信息進(jìn)行融合和場(chǎng)景三維重建。為了滿足實(shí)時(shí)的應(yīng)用要求,我們對(duì)深度恢復(fù)進(jìn)行了 GPU并行加速,并使用時(shí)空一致性約束和連通分量分析等多種方法來(lái)對(duì)恢復(fù)的深度進(jìn)行后續(xù)優(yōu)化處理,剔除深度恢復(fù)質(zhì)量不好的區(qū)域,從而保證生成的三維模型的質(zhì)量。該系統(tǒng)提供了良好的用戶界面和交互操作,可以實(shí)時(shí)可視化當(dāng)前重建的三維點(diǎn)云或網(wǎng)格表面,以指導(dǎo)用戶完成對(duì)目標(biāo)物體或場(chǎng)景的完整三維掃描,并可以將重建的三維模型保存到本地。實(shí)際拍攝的三維重建效果證明了該系統(tǒng)的有效性,能夠滿足實(shí)際應(yīng)用需求。
[Abstract]:3D reconstruction is an important research field in computer vision. It can be widely used in 3D navigation, online shopping, 3D printing, computer photography, video games and cultural heritage protection. With the increasing computing power of computer and the pursuit of real-time interactive experience, real-time 3D reconstruction is becoming a new research hotspot. The real-time 3D reconstruction based on a single camera requires not only the real-time estimation of the camera's attitude, but also the real-time estimation and fusion of the depth map of the image. Therefore, we first estimate the camera attitude accurately, then quickly generate accurate depth map according to local information. Finally, we adopt an efficient fusion method suitable for real-time interaction to perform fusion processing. In order to achieve the above goal, a real-time 3D reconstruction system based on single-camera is developed in this paper. The system can generate 3D model of scene directly from real-time video data collected by monocular camera. The system flow mainly includes three parts: firstly, the (SLAM) system is constructed by simultaneous location and map, the camera attitude is estimated for video sequence, and the key frame is extracted to optimize the attitude of key frame. Then the key frame is used as the reference frame for fast depth recovery. The depth recovery of the system adopts plane scanning algorithm and probability-based depth inference method. The depth information of key frames is fused and scene 3D reconstruction is carried out based on the local optimization of depth recovery results. In order to meet the requirements of real-time application, we accelerate the depth recovery with GPU parallel, and use spatio-temporal consistency constraints and connected component analysis to process the depth of restoration. The quality of the generated 3D model is ensured by eliminating the areas with poor quality of depth recovery. The system provides a good user interface and interactive operation. It can visualize the current reconstructed 3D point cloud or mesh surface in real time to guide the user to complete the complete 3D scanning of the target object or scene. The reconstructed 3D model can be saved locally. The results of 3D reconstruction show that the system is effective and can meet the needs of practical applications.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李萬(wàn)祥 ,牛衛(wèi)中;三維重建[J];甘肅科技;2002年Z1期

2 汪國(guó)昭,陳凌鈞;血管三維重建的問(wèn)題[J];工程數(shù)學(xué)學(xué)報(bào);2002年S1期

3 章勤,李光明,黃琨;一種基于雙眼系統(tǒng)的物體表面三維重建方法[J];計(jì)算機(jī)工程;2003年15期

4 劉巧紅,李利軍;脊柱外科三維重建系統(tǒng)設(shè)計(jì)[J];計(jì)算機(jī)工程;2005年09期

5 張文博;;鯽魚(yú)肝組織細(xì)胞核電鏡圖像三維重建的研究[J];安徽農(nóng)業(yè)科學(xué);2009年31期

6 何桂珍;程效軍;許誠(chéng)權(quán);;基于單幅影像的三維重建及精度分析[J];河南科學(xué);2010年07期

7 張繼華;;MSCT三維重建及多平面重建在頸胸腰椎病變?cè)\斷中的臨床應(yīng)用[J];楚雄師范學(xué)院學(xué)報(bào);2010年12期

8 蘭守忍;劉輝;張宏慶;吳俊;;基于X線片的脊柱三維重建及分析[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年05期

9 張于北;王倩妮;;VGStudio MAX2.0軟件在CT圖像三維重建中的應(yīng)用[J];計(jì)測(cè)技術(shù);2011年05期

10 韓成虎;韓成龍;丘文峰;;CT圖像三維重建系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2013年02期

相關(guān)會(huì)議論文 前10條

1 王穎穎;張偉成;;數(shù)字減影血管造影的三維重建技術(shù)[A];第三屆全國(guó)數(shù)字成像技術(shù)及相關(guān)材料發(fā)展與應(yīng)用學(xué)術(shù)研討會(huì)論文摘要集[C];2004年

2 彭貞;汪時(shí)機(jī);;巖土體CT圖像三維重建方法研究[A];自主創(chuàng)新與持續(xù)增長(zhǎng)第十一屆中國(guó)科協(xié)年會(huì)論文集（2）[C];2009年

3 陳昊;焦紅杰;康曉鵬;原建榮;周平;胡熙;梅舒婷;;螺旋CT三維重建在發(fā)育性髖關(guān)節(jié)脫位的術(shù)前應(yīng)用[A];第六屆西部骨科論壇暨貴州省骨科年會(huì)論文匯編[C];2010年

4 曹治;;多層螺旋CT二維和三維重建在骨折中的臨床應(yīng)用[A];全國(guó)醫(yī)學(xué)影像技術(shù)學(xué)術(shù)會(huì)議（CMIT-2004）論文匯編[C];2004年

5 李佳;羅月童;龍鵬程;黃善清;閆鋒;孔維華;吳宜燦;FDS團(tuán)隊(duì);;三維放射治療計(jì)劃系統(tǒng)中快速三維重建方法的研究與應(yīng)用[A];第二屆全國(guó)核技術(shù)及應(yīng)用研究學(xué)術(shù)研討會(huì)大會(huì)論文摘要集[C];2009年

6 楊玉模;梁瑋;;多視角體三維重建中的分層可視性[A];第十五屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

7 胡霞;朱虹;;基于生物圖像的三維重建技術(shù)研究[A];2007年中國(guó)農(nóng)業(yè)工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集[C];2007年

8 張愛(ài)東;李炬;陳發(fā);孫靈霞;;基于面操作的工業(yè)CT圖像的三維重建[A];2004年CT和三維成像學(xué)術(shù)年會(huì)論文集[C];2004年

9 胡罷生;譚歡慶;曲華麗;邱士軍;張雪林;昌仁民;;多層螺旋CT掃描三維重建后逐層顯示解剖結(jié)構(gòu)及臨床意義[A];中華醫(yī)學(xué)會(huì)第十三屆全國(guó)放射學(xué)大會(huì)論文匯編（下冊(cè)）[C];2006年

10 劉帥;陳軍;;一種基于物體橫向切片的可量測(cè)三維重建方法[A];中國(guó)測(cè)繪學(xué)會(huì)第九次全國(guó)會(huì)員代表大會(huì)暨學(xué)會(huì)成立50周年紀(jì)念大會(huì)論文集[C];2009年

相關(guān)重要報(bào)紙文章 前3條

1 張質(zhì)堅(jiān)　劉海君;航測(cè)局申報(bào)“國(guó)家863計(jì)劃”專項(xiàng)課題喜獲成功[N];中煤地質(zhì)報(bào);2011年

2 深圳商報(bào)記者 肖晗;“博士后創(chuàng)新講堂”場(chǎng)場(chǎng)精彩[N];深圳商報(bào);2007年

3 本報(bào)記者 王星;還原洞窟佛像[N];文匯報(bào);2012年

相關(guān)博士學(xué)位論文 前10條

1 盧俊;基于無(wú)序多視影像的三維重建關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2015年

2 孫大為;高功率激光焊接等離子體三維重建及能量傳輸研究[D];上海交通大學(xué);2015年

3 杜娟;基于高頻超聲的人牙釉質(zhì)三維重建[D];華南理工大學(xué);2016年

4 熊波;高血壓腎交感神經(jīng)的病理三維重建及組織學(xué)和功能學(xué)重塑研究[D];重慶醫(yī)科大學(xué);2017年

5 孫向軍;場(chǎng)景三維重建的若干關(guān)鍵技術(shù)研究[D];南京理工大學(xué);2004年

6 王劍;果樹(shù)枝干三維重建關(guān)鍵技術(shù)研究[D];中國(guó)農(nóng)業(yè)科學(xué)院;2009年

7 劉道明;利用“中國(guó)虛擬人”的三維重建構(gòu)建外科三維診療平臺(tái)[D];中國(guó)人民解放軍第一軍醫(yī)大學(xué);2003年

8 高劍;三維重建應(yīng)用系統(tǒng)研究[D];山東大學(xué);2009年

9 劉勇;基于非定標(biāo)圖象的三維重建方法研究[D];西安電子科技大學(xué);2001年

10 楊宇;水下多通道真彩色三維重建與顏色還原方法研究[D];中國(guó)海洋大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王曄;基于MRI序列的鯊魚(yú)影像三維重建系統(tǒng)的軟件設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2015年

2 倪海明;基于多重分形頻譜理論的野生東北虎頭骨三維重建研究[D];東北林業(yè)大學(xué);2015年

3 方程駿;基于雙目視覺(jué)的自由曲面三維重建研究[D];江南大學(xué);2015年

4 張建;基于雙目視覺(jué)的三維重建研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

5 王偉;基于TerraSAR-X影像的城市建筑物的三維重建[D];長(zhǎng)安大學(xué);2015年

6 李琛;基于Kinect的三維重建與形態(tài)識(shí)別[D];長(zhǎng)安大學(xué);2015年

7 錢(qián)文秀;基于PAL相機(jī)的三維重建[D];長(zhǎng)安大學(xué);2015年

8 陳崢嶸;基于RGBD傳感器的室內(nèi)三維重建[D];南京理工大學(xué);2015年

9 應(yīng)兆平;采用光學(xué)和圖像方法的三維重建[D];南京理工大學(xué);2015年

10 馬福建;蝙蝠翅膀的三維重建研究[D];山東大學(xué);2015年

，

本文編號(hào)：2254669