室內(nèi)場景的語義理解對于機器人等智能設(shè)備的發(fā)展具有重要的研究價值,而由于室內(nèi)場景含有大量的復(fù)雜結(jié)構(gòu)以及多種多樣的人工制品,使語義理解的難度增加,并且傳統(tǒng)基于二維圖像進行語義理解的方法嚴(yán)重受相機參數(shù)及光照不可控的強烈影響,語義理解的層次較低。成功解決室內(nèi)場景的語義理解難題,獲得場景內(nèi)的語義類別數(shù)以及每個類別對應(yīng)的實例數(shù),將使計算機視覺中的地圖導(dǎo)航、環(huán)境感知、人機交互和三維數(shù)字化建模等任務(wù)獲得新的突破。隨著深度數(shù)據(jù)獲取的方便,本文主要針對室內(nèi)場景的語義理解難題,利用深度學(xué)習(xí)技術(shù),結(jié)合二維彩色信息與三維深度信息對室內(nèi)場景進行語義理解,提出室內(nèi)場景的語義理解框架,由二維語義分割、語義場景重建、三維實例分割三個步驟組成,得到場景內(nèi)部的語義類別及對應(yīng)實例。為了獲得室內(nèi)場景的語義類別數(shù),使RGB信息與深度信息的優(yōu)點互補結(jié)合,本文提出基于U-Net的雙數(shù)據(jù)流語義分割網(wǎng)絡(luò),從二維出發(fā)進行語義分割,通過對各項評價指標(biāo)的分析以及與多種通道的數(shù)據(jù)類型、不同網(wǎng)絡(luò)模型的對比,驗證了基于U-Net網(wǎng)絡(luò)的RGB數(shù)據(jù)流與Depth數(shù)據(jù)流先分離后融合的訓(xùn)練方式在室內(nèi)場景語義分割中的有效性。為了給實例分割提供完整且數(shù)據(jù)量少的... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

DeepContext處理流程

SSCNet結(jié)果

點云作為輸入，若應(yīng)用于三維全景場景的理解，所需模板的復(fù)雜度將指數(shù)級擴大。普林斯頓大學(xué)的 Shuran Song 等人提出端到端的語義場景修復(fù)網(wǎng)絡(luò) SSCNet（semantic scene completion network）[14]，利用語義類別信息進行預(yù)測，使得輸出預(yù)測超出了輸入深度圖所隱含的投影表面，從而為場景提供占比信息，完成三維點云的修補（如圖 1-2 所示），但是輸入為單幀小視角的二維深度圖，且主要的目標(biāo)是根據(jù)類別信息進行場景的修復(fù)，達不到真正的語義理解。微軟研究院的 Or Litany等人，提出 ASIST 方法（Automatic Semantically Invariant Scene Transformation）[15]，通過對森林分類器進行學(xué)習(xí)，完成對場景的分割，之后根據(jù)最小化多個目標(biāo)函數(shù)的方式，將分割后的點云進行語義分析，達到類別識別、模型替換的目的，如圖1-3 所示，但是由于能量函數(shù)設(shè)計的特殊性，導(dǎo)致擴展性小。圖 1-1 DeepContext 處理流程[13]

【參考文獻】：
期刊論文
[1]深度卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺中的應(yīng)用研究綜述[J]. 盧宏濤,張秦川.  數(shù)據(jù)采集與處理. 2016(01)
[2]基于標(biāo)志點的三維點云自動拼接技術(shù)[J]. 楊帆,權(quán)巍,白寶興,薛耀紅.  計算機工程與設(shè)計. 2014(09)
[3]深度學(xué)習(xí)的昨天、今天和明天[J]. 余凱,賈磊,陳雨強,徐偉.  計算機研究與發(fā)展. 2013(09)
[4]K-Means聚類算法的研究[J]. 周愛武,于亞飛.  計算機技術(shù)與發(fā)展. 2011(02)
[5]車載激光點云數(shù)據(jù)的柵格化處理[J]. 楊長強,葉澤田,盧秀山,吳俁.  測繪科學(xué). 2009(05)
[6]多尺度雙邊濾波及其在圖像分割中的應(yīng)用[J]. 肖傳民,亓琳,史澤林.  信息與控制. 2009(02)
[7]聚類算法研究[J]. 孫吉貴,劉杰,趙連宇.  軟件學(xué)報. 2008(01)
[8]在Pro/E中基于點云數(shù)據(jù)建立CAD模型的幾種方法[J]. 張樹森,鄭成志,姚繼權(quán),肖勝兵,程俊廷.  工具技術(shù). 2005(10)
[9]基于支持向量機的圖像語義分類(英文)[J]. 萬華林,Morshed U.Chowdhury.  軟件學(xué)報. 2003(11)
[10]反求工程CAD建模技術(shù)研究[J]. 柯映林,肖堯先,李江雄.  計算機輔助設(shè)計與圖形學(xué)學(xué)報. 2001(06)

博士論文
[1]面向室內(nèi)場景的3D場景重建與語義理解[D]. 趙哲.中國科學(xué)技術(shù)大學(xué) 2016
[2]面向服務(wù)機器人的室內(nèi)語義地圖構(gòu)建的研究[D]. 王鋒.中國科學(xué)技術(shù)大學(xué) 2014

碩士論文
[1]基于RGB-D圖像的室內(nèi)場景語義分割方法[D]. 馮希龍.南京郵電大學(xué) 2015
[2]三維點云場景語義分割建模研究[D]. 陸桂亮.南京大學(xué) 2014
[3]基于迭代馬爾科夫網(wǎng)絡(luò)的室內(nèi)三維點云語義標(biāo)注研究[D]. 林思遠.廈門大學(xué) 2014
[4]基于區(qū)域統(tǒng)計特性的場景分類方法研究[D]. 苗京京.電子科技大學(xué) 2012
[5]基于密度的聚類算法研究[D]. 楊建紅.長春工業(yè)大學(xué) 2010
[6]基于kd-tree的點云數(shù)據(jù)空間管理理論與方法[D]. 劉艷豐.中南大學(xué) 2009



本文編號：3283932