提出一種利用深度學(xué)習(xí)提高動(dòng)態(tài)環(huán)境下視覺(jué)語(yǔ)義即時(shí)定位與地圖構(gòu)建（SLAM）的方法.首先用實(shí)例分割網(wǎng)絡(luò)對(duì)關(guān)鍵幀進(jìn)行實(shí)例分割,建立先驗(yàn)語(yǔ)義信息;然后計(jì)算特征點(diǎn)光流場(chǎng)對(duì)物體進(jìn)一步區(qū)分,識(shí)別出場(chǎng)景真正運(yùn)動(dòng)物體并將屬于動(dòng)態(tài)物體的特征點(diǎn)去除;最后進(jìn)行語(yǔ)義關(guān)聯(lián),建立無(wú)動(dòng)態(tài)物體干擾的語(yǔ)義地圖.將本文方法在室內(nèi)環(huán)境公開(kāi)數(shù)據(jù)集中測(cè)試,結(jié)果表明該方法可有效消除動(dòng)態(tài)物體對(duì)建圖的影響,提高建圖精度. 

【文章來(lái)源】：華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020,48(01)北大核心EICSCD

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

算法流程Mask-RCNN[9]是在Faster-RCNN基礎(chǔ)上擴(kuò)展了

第1期房立金，等：基于深度學(xué)習(xí)的動(dòng)態(tài)場(chǎng)景語(yǔ)義SLAM·125·圖3序列估計(jì)值與真實(shí)值之間的誤差曲線4.2三維點(diǎn)云地圖語(yǔ)義匹配實(shí)驗(yàn)在點(diǎn)云實(shí)驗(yàn)過(guò)程中，通過(guò)Mask-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)的語(yǔ)義信息結(jié)合光流場(chǎng)可去除動(dòng)態(tài)特征點(diǎn)，進(jìn)而計(jì)算出動(dòng)態(tài)環(huán)境下相機(jī)軌跡．通過(guò)相機(jī)軌跡與深度圖可計(jì)算出相機(jī)運(yùn)動(dòng)過(guò)程中的三維點(diǎn)云地圖，如圖4所示．若不考慮動(dòng)態(tài)場(chǎng)景中人物變化，則產(chǎn)生圖4(a)效果，這不利于機(jī)器人導(dǎo)航任務(wù)．圖4(e)為深度圖像經(jīng)過(guò)區(qū)域生長(zhǎng)之后物體邊緣示意圖．相比于神經(jīng)網(wǎng)絡(luò)的直接輸出邊緣信息(圖4(c))，圖4(e)所采用的圖4三維點(diǎn)云地圖方法更加貼合深度圖像．從圖4(f)可以看出：彩色圖像的語(yǔ)義信息與深度圖像邊緣互相融合投影到三維點(diǎn)云空間中，不再存在邊緣不對(duì)齊的現(xiàn)象．經(jīng)過(guò)動(dòng)態(tài)物體刪除之后的語(yǔ)義地圖如圖4(b)所示，場(chǎng)景中移動(dòng)的人被去除，右側(cè)座椅因在序列前段并未移動(dòng)，保留了部分信息．相比于圖4(a)，圖4(b)更具有可讀性，可用于機(jī)器人的室內(nèi)導(dǎo)航等任務(wù)．在實(shí)時(shí)性方面，本實(shí)驗(yàn)采用INTERi7CPU，內(nèi)存8GiB，NVIDIA2080TIGPU，顯存16GiB進(jìn)行實(shí)驗(yàn)．光流計(jì)算是建立在特征提取的基礎(chǔ)上進(jìn)行的，因?yàn)閮H跟蹤特征點(diǎn)光流信息，克服了直接法中的對(duì)所有像素進(jìn)行計(jì)算的缺點(diǎn)，所以第一線程速度可達(dá)30幀/s．受限于GPU計(jì)算能力，深度學(xué)習(xí)網(wǎng)絡(luò)Mask-RCNN在本實(shí)驗(yàn)計(jì)算機(jī)上速度為5～6幀/s，所以受第二線程影響，總計(jì)算速度為5幀/s左右，基本達(dá)到實(shí)時(shí)要求．5結(jié)語(yǔ)通過(guò)實(shí)例分割網(wǎng)絡(luò)Mask-RCNN對(duì)視覺(jué)SLAM中的關(guān)鍵幀，賦予圖像語(yǔ)義信息，再由光流計(jì)算背景運(yùn)動(dòng)閾值，并分辨出實(shí)例中運(yùn)動(dòng)物體．相比于僅


本文編號(hào)：3388500