【摘要】：場景感知與理解是計算機視覺、人工智能、智能機器人的一項長期目標。近年來,隨著深度傳感器的發(fā)展,基于深度攝像頭的室內場景感知技術得到了越來越多的關注與研究。本文關注于室內場景的構建與理解,提出了從RGB-D場景構建,RGB-D圖像語義理解到語義場景地圖的構建一整套系統(tǒng)。具體如下：第一,我們采用RGB-D圖像進行場景拼接,構建全局場景地圖。利用幀間對齊技術進行圖像拼接,并用環(huán)檢測和位姿圖優(yōu)化的方法消除幀間累積誤差,從而保證可以進行大尺度的場景構建,在全局場景表示方面,我們提出了點云與Mesh兩種表示方法。第二,為了達到語義理解的目的,我們對RGB-D圖像進行語義分割,其目的是將圖像中的每個像素點都分類成類別。我們將每個像素點與兩種類別相關聯(lián)：物體類別與結構類別。結構類別保證我們可以宏觀結構上.理解圖像(如家具、墻、小物體的分布),而物體類別可以使我們了解到圖像中物體的具體分布。通過條件隨機場模型(CRF)的聯(lián)合推理實現(xiàn)圖像的語義分割。第三,通過將RGB-D場景重建技術和語義分割技術相結合,就可以構建全局場景的語義地圖,但是RGB-D圖像序列的語義分割結果不具有時序一致性,我們通過計算幀間超像素的對應關系捕獲時序性信息,將其建模為高階勢能,利用高階CRF模型進行推理,從而加強時序性約束,得到時序一致的語義地圖。第四,人工標注圖像進行訓練往往要耗費大量人工與時間,本文提出減少人工標注工作量的方法。先從圖像序列中選出極少的圖像進行人工標注,再利用標注傳播的方法自動標注剩余圖像和場景,從而解決訓練圖像需要大量人工標注的問題。本文的主要貢獻與創(chuàng)新之處在于：第一,本文通過多種方法保證了RGB-D重建系統(tǒng)的魯棒性、實時性、尺度性和自主性。魯棒性方面,本文將基于特征點對齊和基于ICP對齊的技術進行了結合,從而減少失敗的情況。實時性方面,本文對重建過程中的幾乎所有算法實現(xiàn)了GPU加速,包括角點、ORB特征點計算、特征點匹配、RANSAC算法、ICP算法、稀疏化算法、Marching cubes算法等等。在尺度性上,本文采用環(huán)檢測與全局位姿圖優(yōu)化的方法進行誤差消除,保證全局一致性。自主性方法,本文使用可佳機器人平臺,利用其導航系統(tǒng)實現(xiàn)服務機器人自主構建室內場景3D地圖的功能。第二,本文利用多種上下文關系進行RGB-D圖像的語義分割。通過CRF圖模型,本文實現(xiàn)了圖像場景類別、超像素的物體類別和結構類別的聯(lián)合推理。同時建立了多種成對點勢能關系,包括場景與物體關系、物體與物體關系、物體與結構關系、空間位置關系等。通過圖模型的聯(lián)合推理,保證了分類結果在空間上的一致性。第三,本文通過對RGB-D圖像序列計算時序信息,擴展CRF模型的高階勢能,利用高階勢能加強時序約束來保證最終語義地圖的時序一致性,提高了語義地圖準確度。第四,本文利用RGB-D圖像序列之間的3D位姿關系,通過找出最小的可以覆蓋整個場景的標注幀,利用標注傳播的技術進行圖像的自動標注,大大減少了人工標注訓練數(shù)據的工作量。實驗表明對于1831幀的圖像序列,只需人工標注22幀的圖像就可以實現(xiàn)93%的標注傳播準確度。
[Abstract]:......
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前1條

1 張軍;有關數(shù)據結構類別的查尋及相關故障排除幾例[J];湖北郵電經濟技術參考;1994年04期

相關重要報紙文章 前2條

1 通訊員 川組;長寧推行縣委全委會委員結構制改革[N];中國人事報;2007年

2 王洪波;四川試點黨委委員結構制[N];組織人事報;2008年

相關博士學位論文 前1條

1 趙哲;面向室內場景的3D場景重建與語義理解[D];中國科學技術大學;2016年

相關碩士學位論文 前1條

1 崔閃閃;安陽方言中的“子”尾詞研究[D];河南大學;2014年

，

本文編號：2460135