環(huán)境感知是自主移動(dòng)機(jī)器人研究的關(guān)鍵技術(shù)。隨著機(jī)器人智能化需求的不斷提高,環(huán)境感知也在語(yǔ)義信息上開(kāi)展了多方面的研究,包括物體識(shí)別、環(huán)境屬性解析以及端對(duì)端的控制語(yǔ)義等。近年來(lái),深度學(xué)習(xí)的發(fā)展進(jìn)一步推動(dòng)了感知性能的提升,語(yǔ)義感知不論在算法準(zhǔn)確度上還是建模方法上都取得了豐碩的研究成果。然而,現(xiàn)有的成果大多基于封閉的實(shí)驗(yàn)條件�？紤]到機(jī)器人實(shí)際運(yùn)行場(chǎng)景的開(kāi)放性和復(fù)雜性,環(huán)境感知仍面臨著感知維度提升、分類(lèi)類(lèi)別繁多以及先驗(yàn)數(shù)據(jù)樣本有限等多方面的挑戰(zhàn),阻礙了移動(dòng)機(jī)器人技術(shù)的廣泛應(yīng)用。本文在這一背景下,針對(duì)移動(dòng)機(jī)器人環(huán)境識(shí)別和語(yǔ)義理解兩方面開(kāi)展具體研究,取得了以下四個(gè)創(chuàng)新性研究成果:（1）針對(duì)三維物體檢測(cè)運(yùn)算量大、搜索空間復(fù)雜度高的問(wèn)題,提出了基于RGBD傳感器的多模態(tài)信息融合一階段三維物體檢測(cè)模型。該模型通過(guò)在二維平面上分層融合RGB圖像和深度圖像中互補(bǔ)的外觀特征和幾何特征來(lái)對(duì)三維空間進(jìn)行建模,實(shí)現(xiàn)了不同模態(tài)信息的高度融合。繼而在不同感受野的特征層上進(jìn)行包圍框回歸來(lái)解決圖像投影的尺度問(wèn)題。通過(guò)二維備選框搜索、三維匹配的方式,顯著提高了運(yùn)算效率,在SUNRGBD和NYUv2 RGBD數(shù)據(jù)集上實(shí)現(xiàn)了端對(duì)端的... 

【文章來(lái)源】：浙江大學(xué)浙江省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：130 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖２．１?２Ｄ－ＳＳＤ網(wǎng)絡(luò)結(jié)構(gòu)圖??

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??圖２．２?ＶＧＧ１６網(wǎng)絡(luò)結(jié)構(gòu)圖??２．２．２多尺度分層回歸??二維圖像感知由于小孔成像原理而缺少物體的真實(shí)尺度信息。當(dāng)相機(jī)距離物體較近時(shí)，??物體在圖像平面的成像面積較大，反之則較校因而基于圖像平面的物體檢測(cè)，需要學(xué)習(xí)??和提取同一物體不同視覺(jué)大小下的特征，并給出一致的預(yù)測(cè)結(jié)果。在ＳＳＤ中，考慮到了每??一層的特征來(lái)自于相同序列的卷積運(yùn)算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即對(duì)應(yīng)著??原始圖像上相同大小的區(qū)域，而不同的特征層則對(duì)應(yīng)著不同大小的圖像區(qū)域。因而可以通??過(guò)在多個(gè)特征層上的遍歷預(yù)測(cè)和回歸，來(lái)同時(shí)實(shí)現(xiàn)一階段和多尺度的物體檢測(cè)。??多尺度分層回歸的具體結(jié)構(gòu)如圖２．３所示。ＳＳＤ將３ｘ３卷積核作用在６個(gè)預(yù)測(cè)回歸層??上，每一層的每個(gè)位置所對(duì)應(yīng)的原始圖片大小都可能為一個(gè)目標(biāo)物體。然后在每個(gè)位置上??設(shè)置６個(gè)先驗(yàn)的物體備選框大小，對(duì)于特征層為ｍｘｒｉ的大小，則有ｍｘｎｘ６個(gè)備選框??用于檢測(cè)每一個(gè)目標(biāo)類(lèi)別。最后將每層得到的結(jié)果在重疊區(qū)域通過(guò)非極大值抑制來(lái)得到最??終檢測(cè)結(jié)果。??３０＾３００，３?Ｍ？３８？６１２?＾１

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??圖２．２?ＶＧＧ１６網(wǎng)絡(luò)結(jié)構(gòu)圖??２．２．２多尺度分層回歸??二維圖像感知由于小孔成像原理而缺少物體的真實(shí)尺度信息。當(dāng)相機(jī)距離物體較近時(shí)，??物體在圖像平面的成像面積較大，反之則較校因而基于圖像平面的物體檢測(cè)，需要學(xué)習(xí)??和提取同一物體不同視覺(jué)大小下的特征，并給出一致的預(yù)測(cè)結(jié)果。在ＳＳＤ中，考慮到了每??一層的特征來(lái)自于相同序列的卷積運(yùn)算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即對(duì)應(yīng)著??原始圖像上相同大小的區(qū)域，而不同的特征層則對(duì)應(yīng)著不同大小的圖像區(qū)域。因而可以通??過(guò)在多個(gè)特征層上的遍歷預(yù)測(cè)和回歸，來(lái)同時(shí)實(shí)現(xiàn)一階段和多尺度的物體檢測(cè)。??多尺度分層回歸的具體結(jié)構(gòu)如圖２．３所示。ＳＳＤ將３ｘ３卷積核作用在６個(gè)預(yù)測(cè)回歸層??上，每一層的每個(gè)位置所對(duì)應(yīng)的原始圖片大小都可能為一個(gè)目標(biāo)物體。然后在每個(gè)位置上??設(shè)置６個(gè)先驗(yàn)的物體備選框大小，對(duì)于特征層為ｍｘｒｉ的大小，則有ｍｘｎｘ６個(gè)備選框??用于檢測(cè)每一個(gè)目標(biāo)類(lèi)別。最后將每層得到的結(jié)果在重疊區(qū)域通過(guò)非極大值抑制來(lái)得到最??終檢測(cè)結(jié)果。??３０＾３００，３?Ｍ？３８？６１２?＾１


本文編號(hào)：3264087