隨著生活水平的提高,人們對(duì)于服務(wù)機(jī)器人更加智能化的需求也越來(lái)越高,然而現(xiàn)如今服務(wù)機(jī)器人的智能化還遠(yuǎn)不能滿足人們的期待。同時(shí)定位與建圖技術(shù)（SLAM）是服務(wù)機(jī)器人在室內(nèi)環(huán)境運(yùn)行的基礎(chǔ),目前已經(jīng)取得了很大進(jìn)展,但服務(wù)機(jī)器人對(duì)環(huán)境感知和理解的能力遠(yuǎn)遠(yuǎn)無(wú)法滿足其長(zhǎng)期穩(wěn)定運(yùn)行和對(duì)環(huán)境進(jìn)行安全監(jiān)測(cè)的需求,比如對(duì)環(huán)境中溫度的感知、物體的理解以及動(dòng)態(tài)環(huán)境下的建圖等。因此,本文將RGB-D相機(jī)與熱紅外相機(jī)相結(jié)合,用于智能服務(wù)機(jī)器人在動(dòng)態(tài)環(huán)境下的熱場(chǎng)地圖構(gòu)建與目標(biāo)檢測(cè)技術(shù)的研究,以提高機(jī)器人對(duì)環(huán)境的理解能力,具體內(nèi)容如下:針對(duì)動(dòng)態(tài)場(chǎng)景下的行人進(jìn)行檢測(cè)分割,以去除動(dòng)態(tài)特征點(diǎn),減小其對(duì)動(dòng)態(tài)場(chǎng)景建圖的影響。本文基于熱紅外相機(jī)與Kinect傳感器,對(duì)比基于卷積神經(jīng)網(wǎng)絡(luò)端到端的行人分割算法,提出基于卷積神經(jīng)網(wǎng)絡(luò)與溫度信息融合二維檢測(cè)與三維空間映射結(jié)合的行人分割算法,對(duì)RGB圖像和熱紅外相機(jī)獲得的圖像分別進(jìn)行行人的二維包圍框檢測(cè),然后結(jié)合溫度信息初步分割行人,接著將初步分割結(jié)果映射到三維空間,采用點(diǎn)云濾波等算法,去除離群點(diǎn),最終實(shí)現(xiàn)了行人的精確分割。結(jié)合提出的行人分割算法,以O(shè)RB-SLAM2算法為基礎(chǔ),對(duì)室內(nèi)動(dòng)態(tài)環(huán)... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

全連接

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-2-我定位。已知地圖后機(jī)器人能夠?qū)崿F(xiàn)自主導(dǎo)航，但對(duì)于服務(wù)機(jī)器人來(lái)說(shuō)，還要識(shí)別房間內(nèi)物體，以便實(shí)現(xiàn)更多服務(wù)功能。本課題在三維地圖構(gòu)建的基礎(chǔ)上，要提高其在動(dòng)態(tài)場(chǎng)景下建圖的穩(wěn)定性和魯棒性，同時(shí)將溫度信息和物體級(jí)語(yǔ)義信息加入到地圖中，這樣機(jī)器人才會(huì)真正理解周?chē)h(huán)境。為此首先需要調(diào)研三個(gè)方面的國(guó)內(nèi)外研究現(xiàn)狀：（1）語(yǔ)義分割；（2）三維熱場(chǎng)地圖構(gòu)建；（3）三維物體識(shí)別。1.3.1語(yǔ)義分割從2012年以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)極大地提高了圖像分類(lèi)的精度，同樣在語(yǔ)義分割方面也有很廣泛的應(yīng)用。2015年，Long[3]提出了全卷積神經(jīng)網(wǎng)絡(luò)，將分類(lèi)網(wǎng)改寫(xiě)為用于分割的像素點(diǎn)分類(lèi)網(wǎng)，將最后一層的全連接層改寫(xiě)為卷積層，并使用反卷積完成上采樣的過(guò)程，第一次實(shí)現(xiàn)了端到端的語(yǔ)義分割，如圖1-1所示。同年的SegNet[4]，引入了用于語(yǔ)義分割的編譯碼網(wǎng)絡(luò)結(jié)構(gòu)的概念。該網(wǎng)絡(luò)的編碼器是一種預(yù)先訓(xùn)練好的VGG16架構(gòu)，解碼器用于逐級(jí)對(duì)編碼器的輸出進(jìn)行上采樣，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1-2所示。SegNet實(shí)現(xiàn)當(dāng)年最高的精度，同時(shí)獲得了相對(duì)較快的速度。(a)全連接層轉(zhuǎn)化為卷積層(b)使用反卷積完成上采樣圖1-1全連接卷積神經(jīng)網(wǎng)絡(luò)[3]圖1-2SegNet語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)[4]在多模態(tài)信息融合的語(yǔ)義分割方面，Gupta等人[5]在前人工作基礎(chǔ)上，對(duì)RGB-D數(shù)據(jù)進(jìn)行更加深層次的挖掘，對(duì)數(shù)據(jù)進(jìn)行分割以及語(yǔ)義標(biāo)簽的標(biāo)識(shí)。作者利用MCG模型對(duì)檢測(cè)區(qū)域產(chǎn)生候選區(qū)域，然后改造已有的卷積神經(jīng)網(wǎng)絡(luò)，使其能夠適用于RGB-D數(shù)據(jù)，希望從深度數(shù)據(jù)中提取出類(lèi)似與灰度圖像一樣豐富的信息，其算法思路如圖1-3所示。

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-3-圖1-3彩色圖和深度圖融合的語(yǔ)義分割和物體檢測(cè)[5]2016年出現(xiàn)的FuseNet[6]是一種基于RGB-D圖像的語(yǔ)義分割網(wǎng)絡(luò)，如圖1-4所示，在網(wǎng)絡(luò)的前端分別提取RGB圖像和深度圖像的特征，采用稀疏融合的方式將深度網(wǎng)絡(luò)的部分特征融合到RGB網(wǎng)絡(luò)中。作者選擇從淺層開(kāi)始對(duì)特征進(jìn)行融合并且通過(guò)實(shí)驗(yàn)證明淺層的特征融合對(duì)性能有很大的提升。同年，WangJinghua[7]等人提出，簡(jiǎn)單地將深度圖作為第四通道，只能學(xué)到彩色圖與深度圖淺層的相關(guān)性，同時(shí)會(huì)引入深度圖中的噪聲。而對(duì)RGB圖像和深度圖訓(xùn)練兩個(gè)獨(dú)立的網(wǎng)絡(luò)模型，然后通過(guò)決策分?jǐn)?shù)融合將它們簡(jiǎn)單地組合在一起，忽視了兩種模態(tài)的內(nèi)在相關(guān)性。因此該文章采用特征轉(zhuǎn)換網(wǎng)絡(luò)，如圖1-5所示，包含共同特征模塊和特定特征模塊，來(lái)描述兩種圖像的相同特征與不同特征。這種網(wǎng)絡(luò)模塊將兩種圖像的優(yōu)點(diǎn)融合在一起，并互相彌補(bǔ)，增強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)表達(dá)能力和魯棒性。圖1-4FuseNet語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)[6]圖1-5通過(guò)公共特征和模態(tài)特定特征融合的語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)[7]


本文編號(hào)：2925634