【摘要】：場景的三維語義表面重建是通過相機拍攝的視頻圖像序列來重建場景的三維語義表面信息,其在增強現(xiàn)實、無人駕駛以及室內(nèi)機器人等領(lǐng)域具有較高的研究價值。隨著深度學習的不斷發(fā)展,將基于深度學習的語義分割應(yīng)用到場景語義表面重建領(lǐng)域也逐漸成為可能。本文設(shè)計了基于RGB-D相機的三維語義表面重建系統(tǒng),重點開展了相機位姿的實時跟蹤和優(yōu)化、單幀RGB-D圖像的語義分割以及場景的三維語義表面重建技術(shù)三個方面的研究。主要的創(chuàng)新點和貢獻如下:為了保證特征點在圖像中均勻分布,本文研究了自適應(yīng)的ORB特征點提取算法,保證了前后幀圖像的重疊區(qū)域有足夠的特征點來估計相機的位姿。本文設(shè)計了有效的關(guān)鍵幀策略,該策略既保證了相機位姿跟蹤的魯棒性,又避免了關(guān)鍵幀的冗余。為了提高系統(tǒng)對于室內(nèi)環(huán)境中相機各種運動情況下的相機位姿跟蹤的魯棒性,本文研究了基于光流跟蹤的特征點匹配方法。該方法對于相機快速旋轉(zhuǎn)運動、往返運動的跟蹤具有很好的魯棒性。為了提高卷積神經(jīng)網(wǎng)絡(luò)語義分割的精度,首先,本文提出了具有恒等捷徑連接的空間金字塔網(wǎng)絡(luò)模塊用于提取圖像的多尺度信息,金字塔并行網(wǎng)絡(luò)的不同尺度通過設(shè)置卷積核中“孔”的不同大小來實現(xiàn),并通過恒等連接結(jié)構(gòu)設(shè)計成殘差網(wǎng)絡(luò)模塊來加速網(wǎng)絡(luò)的訓練,金字塔模塊顯著改進了網(wǎng)絡(luò)語義分割的精度。其次,本文設(shè)計了RGB-D特征信息多級融合網(wǎng)絡(luò)模塊用于綜合彩色圖像的紋理信息和深度圖像的結(jié)構(gòu)信息,該網(wǎng)絡(luò)模塊通過多級特征圖融合網(wǎng)絡(luò),充分綜合了彩色圖像和深度圖像淺層特征和深層特征的信息,進一步提高了語義分割的精度�；赥SDF空間網(wǎng)格模型對大尺度場景進行三維語義表面重建,并根據(jù)語義信息的特點,本文研究了三維語義體積元的表示方法、融合方法和語義表面生成方法。為了實現(xiàn)大尺度場景的表面重建,系統(tǒng)不斷地將TSDF空間網(wǎng)格模型沿著相機軌跡進行位移。同時,本文還提出了將三維語義投射圖與單幀語義分割圖進行融合的算法。該算法不但提高了單幀語義分割的精度,而且提高了前后幀圖像間語義分割結(jié)果的連貫性和穩(wěn)定性。最后,本文搭建了語義SLAM系統(tǒng)實驗平臺。研究并設(shè)計了軟件系統(tǒng)的實時性優(yōu)化方法,提高了系統(tǒng)整體的實時性。在TUM RGB-D數(shù)據(jù)集上驗證了本文設(shè)計的語義SLAM系統(tǒng)對于相機位姿跟蹤的魯棒性。在NYUv2數(shù)據(jù)集上驗證了融合語義圖對于單幀圖像語義分割結(jié)果的改進。在大尺度數(shù)據(jù)集上驗證了系統(tǒng)對較大尺度場景的三維語義表面重建的性能。
【學位授予單位】：中國科學院大學(中國科學院上海技術(shù)物理研究所)
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP391.41;TP18
【圖文】：

基于 RGB-D 視頻序列的大尺度場景三維語義表面重建技術(shù)研究A. 增強現(xiàn)實增強現(xiàn)實是指實時地在真實場景中融合虛擬物體或者信息，來增強人們對真實場景的認知和交互，可廣泛地應(yīng)用到科學研究、教育、娛樂、建筑、工程、影視等領(lǐng)域，圖 1.1 為增強現(xiàn)實的一些典型應(yīng)用。目前國內(nèi)外公司紛紛布局該領(lǐng)域且已有多家公司發(fā)布了增強現(xiàn)實產(chǎn)品，比如微軟公司的 AR 眼鏡“Hololens”，谷歌公司的 AR 平板“Tango”，影創(chuàng)科技公司的 AR 智能眼鏡“AIR”，亮風臺公司的AR 眼鏡“HiAR Glasses”等。

基于 RGB-D 視頻序列的大尺度場景三維語義表面重建技術(shù)研究點和相機位姿不斷地進行更新。與此同時，Pupilli 和 Calway[2]研究了將粒子濾波應(yīng)用于視覺 SLAM 系統(tǒng)。為了使得觀測方程具有高線性度，Civera 等人[3]提出了逆深度的表示方法，即將濾波器狀態(tài)變量的三維點的深度替換為深度的倒數(shù)。

【相似文獻】

相關(guān)期刊論文 前10條

1 夏利民,谷士文;基于形變模型和有限元的3D表面重建[J];長沙鐵道學院學報;2000年02期

2 謝術(shù)富;;一種醫(yī)學圖像的3-D表面重建方法[J];計算機工程與應(yīng)用;2006年06期

3 Orringer J.S.,Johnson T.M. ,牛新武;CO2_激光表面重建術(shù)對光損害皮膚的表皮p53免疫染色的影響[J];世界核心醫(yī)學期刊文摘(皮膚病學分冊);2005年01期

4 紀鳳欣,歐宗瑛,秦緒佳,張勇,侯建華;基于投影的斷層間多連通物體輪廓表面重建[J];大連理工大學學報;2001年05期

5 鄧博文;趙正果;姚興苗;;基于多屬性的地質(zhì)目標體表面重建方法研究[J];現(xiàn)代計算機(專業(yè)版);2015年26期

6 周曉杰;夏述高;蘇志勛;;基于樣條的波浪表面重建(英文)[J];大連理工大學學報;2007年04期

7 汪蕙，田雪芹，羅立民;一種基于雙調(diào)和方程的表面重建方法[J];東南大學學報;1994年05期

8 陳菁,吳國萍,肖小河,李時光;中藥材三維組織結(jié)構(gòu)的表面重建技術(shù)[J];重慶大學學報(自然科學版);2000年03期

9 李曉陽;祝海江;胡偉;李偉;譚維賢;;下視SAR數(shù)據(jù)3維表面重建[J];中國圖象圖形學報;2016年04期

10 方林;郭萬亮;盛茂;韓嘯;張麗萍;;64排螺旋CT腦表面重建在嬰幼兒腦外間隙增寬中的應(yīng)用[J];醫(yī)學影像學雜志;2015年04期

相關(guān)會議論文 前6條

1 程志全;王彥臻;李寶;徐凱;黨崗;金士堯;;移動最小二乘表面綜述[A];中國計算機圖形學進展2008--第七屆中國計算機圖形學大會論文集[C];2008年

2 張洋;岳東杰;朱邦彥;;基于B樣條曲面擬合的文物表面重建方法研究[A];江蘇省測繪學會2011年學術(shù)年會論文集[C];2011年

3 謝路生;胡天林;王磊;黃元慶;;基于Shape from Silhouette的三維重構(gòu)方法[A];2008中國儀器儀表與測控技術(shù)進展大會論文集（Ⅲ）[C];2008年

4 湯敏;王惠南;;基于IDL語言的醫(yī)學圖像可視化初步研究[A];第十二屆全國圖象圖形學學術(shù)會議論文集[C];2005年

5 呂晟珉;楊勛年;汪國昭;;海量數(shù)據(jù)的曲面分片重建算法[A];第一屆全國幾何設(shè)計與計算學術(shù)會議論文集[C];2002年

6 許延清;李舟波;;分形復雜表面重建技術(shù)在儲層預(yù)測中的應(yīng)用[A];1994年中國地球物理學會第十屆學術(shù)年會論文集[C];1994年

相關(guān)重要報紙文章 前4條

1 余志平;探索新技術(shù) 構(gòu)建新模式[N];中國醫(yī)藥報;2005年

2 本報記者 李鵬;我國研制出木頭“CT”[N];北京科技報;2009年

3 李七渝 張紹祥;關(guān)鍵技術(shù)：步步為營[N];計算機世界;2003年

4 ;螺旋CT[N];農(nóng)村醫(yī)藥報（漢）;2006年

相關(guān)博士學位論文 前10條

1 代具亭;基于RGB-D視頻序列的大尺度場景三維語義表面重建技術(shù)研究[D];中國科學院大學(中國科學院上海技術(shù)物理研究所);2018年

2 成思源;基于可變形模型的輪廓提取與表面重建[D];重慶大學;2003年

3 王永波;基于點云的空間對象表面重建及其多分辨率表達方法研究[D];南京師范大學;2008年

4 周筠;面向生物醫(yī)學仿真的表面重建和四面體化技術(shù)研究[D];中南大學;2012年

5 曲傳詠;多場耦合載荷作用下的骨重建行為模擬[D];天津大學;2007年

6 程岳;基于光度立體的高質(zhì)量表面重建研究[D];浙江大學;2013年

7 田慶國;三維數(shù)據(jù)場表面重建及在人體動畫和人體測量學中的應(yīng)用[D];天津大學;2007年

8 李陽;基于深度攝像機的三維場景表面重建關(guān)鍵技術(shù)研究[D];浙江大學;2015年

9 王璐;點云模型表面重建及實時繪制方法研究[D];山東大學;2009年

10 紀鳳欣;基于斷層圖象的幾何重建理論與技術(shù)研究[D];大連理工大學;2002年

相關(guān)碩士學位論文 前10條

1 顧睿;面向航空葉片檢測的點云匹配及表面重建[D];華中科技大學;2017年

2 李健;基于三維立體定標的物體表面重建技術(shù)[D];中國科學院大學(中國科學院長春光學精密機械與物理研究所);2018年

3 李小勇;物體表面重建方法的研究與實現(xiàn)[D];中南大學;2008年

4 朱蔚;基于激光掃描數(shù)據(jù)的物體表面重建及輪廓顯示[D];哈爾濱工程大學;2005年

5 李丹;基于遠程的線激光掃描3D表面重建技術(shù)研究[D];西北農(nóng)林科技大學;2013年

6 王江;基于自由臂三維超聲成像的脊椎二維輪廓線表面重建[D];云南大學;2016年

7 王帥;多視角三維建模算法的關(guān)鍵技術(shù)研究[D];杭州電子科技大學;2016年

8 劉青;基于表面重建的實時軟組織切割與變形算法實現(xiàn)[D];上海交通大學;2010年

9 陸斌;用于增強現(xiàn)實的實時深度圖像三維人體表面重建[D];天津大學;2014年

10 田維麗;基于多隱層BP神經(jīng)網(wǎng)絡(luò)的表面重建算法及并行化研究[D];寧夏大學;2017年

本文編號：2721542