室內(nèi)三維重建的主要任務(wù)是通過利用多個(gè)視圖或者單個(gè)視圖的信息,恢復(fù)室內(nèi)場景的真實(shí)原貌,重建的三維場景可用在室內(nèi)導(dǎo)航、場景理解、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。目前大部分三維重建的研究都只聚焦于普通的RGB透視圖像,而未涉及360度RGB全景圖像。此外,現(xiàn)有的方法在處理雜亂、多遮擋場景時(shí)往往效果不佳。針對上述問題,本文基于單張RGB全景圖像,對室內(nèi)場景的三維重建展開了研究。由于室內(nèi)場景的三維重建研究涉及多個(gè)子問題,本文主要關(guān)注室內(nèi)布局重建和室內(nèi)深度估計(jì)這兩個(gè)基本子問題。在室內(nèi)布局重建的研究中,本文基于Layout Net和Horizon Net網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn),提出了兩種布局重建方案。第一種方案基于Layout Net架構(gòu),利用編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)提取全景圖的特征,得到粗略的布局估計(jì)結(jié)果,并在后處理階段使用梯度優(yōu)化算法對布局估計(jì)結(jié)果進(jìn)行優(yōu)化。第二種方案基于Horizon Net架構(gòu),利用深度殘差網(wǎng)絡(luò)提取全景圖的特征,使用LSTM模塊改善布局估計(jì)的結(jié)果,并在訓(xùn)練階段加入全景拉伸這一數(shù)據(jù)增強(qiáng)機(jī)制,在一定程度上減小了雜亂多遮擋場景下的布局重建誤差。實(shí)驗(yàn)結(jié)果表明,本文的第一種方案在布局預(yù)測精度和重建效果上... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景
    1.2 課題研究的目的和意義
    1.3 國內(nèi)外研究和發(fā)展現(xiàn)狀
        1.3.1 室內(nèi)場景的布局重建
        1.3.2 室內(nèi)場景的深度估計(jì)
    1.4 本文的主要研究內(nèi)容
第2章 基于單張全景圖的室內(nèi)布局重建
    2.1 引言
    2.2 基于Layout Net的布局重建方案
        2.2.1 整體框架
        2.2.2 輸入模塊
        2.2.3 特征提取模塊
        2.2.4 梯度優(yōu)化算法
    2.3 基于Horizon Net的布局重建方案
        2.3.1 整體框架
        2.3.2 特征提取模塊
        2.3.3 LSTM模塊
        2.3.4 全景拉伸機(jī)制
    2.4 實(shí)驗(yàn)結(jié)果與分析
        2.4.1 公共數(shù)據(jù)集及評價(jià)指標(biāo)
        2.4.2 性能評估
        2.4.3 對比實(shí)驗(yàn)
        2.4.4 消融實(shí)驗(yàn)
        2.4.5 誤差分析
    2.5 本章小結(jié)
第3章 面向布局重建的全景數(shù)據(jù)集制作
    3.1 引言
    3.2 數(shù)據(jù)采集
        3.2.1 真實(shí)場景的數(shù)據(jù)采集
        3.2.2 基于Matterport數(shù)據(jù)集的全景圖合成
    3.3 全景圖標(biāo)注
        3.3.1 預(yù)處理
        3.3.2 布局標(biāo)注
    3.4 真實(shí)布局信息獲取
        3.4.1 角點(diǎn)位置
        3.4.2 邊緣圖和角點(diǎn)圖
    3.5 數(shù)據(jù)集劃分
    3.6 實(shí)驗(yàn)結(jié)果與分析
        3.6.1 真實(shí)數(shù)據(jù)集
        3.6.2 合成數(shù)據(jù)集
    3.7 本章小結(jié)
第4章 基于單張全景圖的室內(nèi)深度估計(jì)
    4.1 引言
    4.2 基于間接法的全景深度估計(jì)
        4.2.1 全景圖像分割
        4.2.2 單目深度估計(jì)
        4.2.3 深度圖合成
    4.3 基于直接法的全景深度估計(jì)
        4.3.1 整體框架
        4.3.2 預(yù)處理模塊
        4.3.3 編碼器模塊
        4.3.4 解碼器和預(yù)測輸出模塊
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 間接法
        4.4.2 直接法
    4.5 本章小結(jié)
結(jié)論
參考文獻(xiàn)
致謝



本文編號：3202190