場景深度補全旨在通過算法補全深度圖中空洞區(qū)域以得到稠密且精確的深度圖,是計算機視覺中的一個重要課題。所獲取的深度圖信息在機器人、自動駕駛和增強現(xiàn)實等領(lǐng)域中起到關(guān)鍵性作用。神經(jīng)網(wǎng)絡強大的特征表達能力和端到端的訓練方法極大地助力了深度補全的發(fā)展,本文圍繞基于卷積神經(jīng)網(wǎng)絡的深度補全,分別從稀疏深度圖特征提取、聯(lián)合深度補全和語義分割以及聯(lián)合網(wǎng)絡的優(yōu)化三個方面展開研究,主要工作和貢獻如下:(1)基于置信度傳播搭建了深度補全小型網(wǎng)絡,由置信度傳播模塊、場景理解模塊、深度優(yōu)化模塊和融合調(diào)精模塊組成。置信度傳播模塊顯式地考慮數(shù)據(jù)的稀疏性,解決Li DAR采集的深度圖高度稀疏且不規(guī)則間隔的問題;融合調(diào)精模塊融合來自深度圖的深度信息和來自彩色圖像的場景信息,實現(xiàn)由粗到精的深度補全,解決采集的深度圖缺乏場景信息的問題。(2)通過探究深度補全和語義分割兩項任務的內(nèi)在聯(lián)系,提出了一種基于語義信息的深度補全方法。搭建了基于編解碼結(jié)構(gòu)的聯(lián)合網(wǎng)絡模型,顯式地提升了網(wǎng)絡提取場景結(jié)構(gòu)信息的能力。提出了一種跨域邊緣一致性損失函數(shù),利用真實語義分割圖指導深度圖的補全,解決補全得到的深度圖在目標邊緣區(qū)域模糊的問題。(3)通過對...

【文章頁數(shù)】：85 頁

【學位級別】：碩士

【文章目錄】：
致謝
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 單目深度估計方法
        1.2.2 室內(nèi)場景下的深度補全方法
        1.2.3 無指導的深度補全方法
        1.2.4 有彩色圖像指導的深度補全方法
        1.2.5 聯(lián)合語義分割的深度恢復方法
    1.3 數(shù)據(jù)集與評價指標
        1.3.1 數(shù)據(jù)集
        1.3.2 評價指標
    1.4 本文的主要研究內(nèi)容與貢獻
    1.5 本文的結(jié)構(gòu)安排
2 基于置信度傳播的深度補全方法
    2.1 引言
    2.2 歸一化卷積層和層疊沙漏網(wǎng)絡概述
        2.2.1 歸一化卷積層
        2.2.2 層疊沙漏網(wǎng)絡
    2.3 框架設(shè)計與算法實現(xiàn)
        2.3.1 置信度傳播模塊
        2.3.2 融合調(diào)精模塊
    2.4 實驗結(jié)果與分析
        2.4.1 損失函數(shù)
        2.4.2 數(shù)據(jù)集設(shè)置和實驗設(shè)置
        2.4.3 置信度傳播方法實驗
        2.4.4 與其他算法的對比
    2.5 本章小結(jié)
3 基于語義信息的深度補全方法
    3.1 引言
    3.2 框架設(shè)計與算法實現(xiàn)
        3.2.1 編碼模塊
        3.2.2 解碼模塊
        3.2.3 聯(lián)合損失函數(shù)
    3.3 實驗結(jié)果與分析
        3.3.1 數(shù)據(jù)集設(shè)置
        3.3.2 有效性驗證實驗
        3.3.3 與其他算法的對比
    3.4 本章小結(jié)
4 基于特征增強的深度補全方法
    4.1 引言
    4.2 注意力機制和像素自適應卷積層概述
        4.2.1 注意力機制
        4.2.2 像素自適應卷積層
    4.3 改進版框架設(shè)計與算法實現(xiàn)
        4.3.1 特征去干擾模塊
        4.3.2 交互解碼模塊
    4.4 實驗結(jié)果與分析
        4.4.1 有效性驗證實驗
        4.4.2 與其他算法的對比
    4.5 本章小結(jié)
5 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 未來工作展望
參考文獻
攻讀碩士期間主要科研成果



本文編號：3823304