基于激光點(diǎn)云與圖像融合的車輛檢測(cè)方法研究
發(fā)布時(shí)間:2022-02-10 17:23
自動(dòng)駕駛技術(shù)于未來(lái)交通運(yùn)輸、未來(lái)商業(yè)模式、智慧城市等領(lǐng)域有著重要意義。環(huán)境感知是實(shí)現(xiàn)自動(dòng)駕駛的基礎(chǔ)和技術(shù)前提,而多傳感器數(shù)據(jù)融合因能提供冗余且準(zhǔn)確的環(huán)境信息,現(xiàn)已成為環(huán)境感知技術(shù)的研究熱點(diǎn)。融合技術(shù)發(fā)展過程中,為了確保精準(zhǔn)可靠地檢測(cè)目標(biāo),常不惜成本選擇性能優(yōu)越的傳感器,但卻也影響技術(shù)的商業(yè)化應(yīng)用。因此,探索低成本的融合技術(shù)具有一定的研究意義與價(jià)值。為了改善單一傳感器所造成的檢測(cè)效果不佳以及避免多傳感器融合普遍存在成本過高的問題,本文研究了一種基于4線激光雷達(dá)點(diǎn)云與視覺圖像數(shù)據(jù)融合的目標(biāo)檢測(cè)方法。本文的主要工作內(nèi)容包括:首先,采用Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像中的目標(biāo),研究了圖像與激光雷達(dá)點(diǎn)云的時(shí)間、空間融合方法。將傳感器采樣時(shí)間統(tǒng)一到相同的時(shí)間戳,并對(duì)齊于采樣周期長(zhǎng)的傳感器數(shù)據(jù)上;標(biāo)定攝像頭內(nèi)、外參,建立傳感器坐標(biāo)系的空間轉(zhuǎn)換模型,將同一時(shí)刻的數(shù)據(jù)映射到同一空間,實(shí)現(xiàn)了兩種傳感器對(duì)同一目標(biāo)的一致性表達(dá)。然后,為了利用點(diǎn)云的深度信息獲取目標(biāo)在真實(shí)世界的準(zhǔn)確位置,進(jìn)一步匹配了圖像檢測(cè)框與對(duì)應(yīng)的點(diǎn)云。采用循環(huán)遍歷算法無(wú)法保證匹配效率,于是改進(jìn)一種R-Tree算法,并驗(yàn)證了該算法能夠...
【文章來(lái)源】:重慶理工大學(xué)重慶市
【文章頁(yè)數(shù)】:84 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
PointNet架構(gòu)
(實(shí)線箭頭表示流程,虛線箭頭表示方法)圖 1.3 毫米波與攝像頭融合的目標(biāo)檢測(cè)系統(tǒng)流程圖文獻(xiàn)[30-32]先預(yù)先處理雷達(dá)數(shù)據(jù),排除虛假目標(biāo),再利用傳感器安裝位置關(guān)空匹配模型;根據(jù)雷達(dá)檢測(cè)結(jié)果在圖像上框定感興趣區(qū)域,由滑窗等手段提
(圖片源自:Multi-view 3D Object Detection Network forAutonomous Driving)圖 1.4 MV3D 網(wǎng)絡(luò)結(jié)構(gòu)示意圖多視圖三維檢測(cè)網(wǎng)絡(luò)由兩部分組成:三維 RPN 和基于 RPN 的融合網(wǎng)絡(luò)。在 3 維RPN 網(wǎng)絡(luò)部分,利用卷積層分別從鳥瞰圖(BV)和前視圖(FV)提取點(diǎn)云特征,并在鳥瞰圖分支利用鳥瞰視角的點(diǎn)云產(chǎn)生高度精確的 3D 候選框,然后將特征投射回BV 和 FV 以及圖像的特征層,最后融合 3 個(gè)分支的特征。通過這種多視圖的編碼方案,能夠獲得對(duì)稀疏 3D 點(diǎn)云更有效和緊湊的表達(dá)。在工業(yè)界,百度自動(dòng)駕駛平臺(tái) Apollo 2.0 也采用激光雷達(dá)為主要的感知傳感器感知框架如圖 1.5。激光雷達(dá)點(diǎn)云高清地圖提取感興趣區(qū)域
【參考文獻(xiàn)】:
期刊論文
[1]基于單目視覺車輛姿態(tài)角估計(jì)和逆透視變換的車距測(cè)量[J]. 劉軍,后士浩,張凱,晏曉娟. 農(nóng)業(yè)工程學(xué)報(bào). 2018(13)
[2]一種基于消隱點(diǎn)的單目視覺車輛測(cè)距方法[J]. 關(guān)闖,魏朗,喬潔,楊煒. 電子測(cè)量技術(shù). 2018(11)
[3]基于深度學(xué)習(xí)的自動(dòng)駕駛技術(shù)綜述[J]. 張新鈺,高洪波,趙建輝,周沫. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(04)
[4]視覺與激光點(diǎn)云融合的深度圖像獲取方法[J]. 王東敏,彭永勝,李永樂. 軍事交通學(xué)院學(xué)報(bào). 2017(10)
[5]中國(guó)汽車工程學(xué)術(shù)研究綜述·2017[J]. 《中國(guó)公路學(xué)報(bào)》編輯部. 中國(guó)公路學(xué)報(bào). 2017(06)
[6]基于多傳感器融合的前方車輛識(shí)別方法研究[J]. 王戰(zhàn)古,邵金菊,高松,孫亮,于杰,譚德榮. 廣西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(02)
[7]多傳感器信息融合中時(shí)間同步方法的研究[J]. 劉釗,戴斌,劉大學(xué). 計(jì)算機(jī)仿真. 2009(06)
博士論文
[1]車輛自適應(yīng)巡航跟隨控制技術(shù)研究[D]. 馬國(guó)成.北京理工大學(xué) 2014
碩士論文
[1]基于毫米波雷達(dá)與單目視覺融合的無(wú)人機(jī)自主避障系統(tǒng)[D]. 陳洪攀.西安電子科技大學(xué) 2018
[2]基于雷達(dá)與視覺傳感器信息融合的車輛檢測(cè)方法研究[D]. 張中昀.江蘇大學(xué) 2018
[3]高速公路場(chǎng)景下基于深度學(xué)習(xí)的車輛目標(biāo)檢測(cè)與應(yīng)用研究[D]. 張向清.長(zhǎng)安大學(xué) 2018
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測(cè)與車型辨識(shí)算法研究[D]. 陳樹東.電子科技大學(xué) 2018
[5]基于車載攝像機(jī)的前方車輛測(cè)距測(cè)速方法研究[D]. 張亞男.大連海事大學(xué) 2018
[6]基于汽車?yán)走_(dá)和攝像頭信息融合的目標(biāo)檢測(cè)方法研究[D]. 向?yàn)I宏.重慶大學(xué) 2017
[7]基于單目視覺的智能車前方障礙物識(shí)別與測(cè)距[D]. 袁雨桐.吉林大學(xué) 2016
[8]汽車前方車輛識(shí)別的雷達(dá)和視覺信息融合算法開發(fā)[D]. 陳曉偉.吉林大學(xué) 2016
[9]基于雷達(dá)和機(jī)器視覺融合的前方車輛障礙物檢測(cè)[D]. 那田.合肥工業(yè)大學(xué) 2016
[10]基于測(cè)距雷達(dá)和機(jī)器視覺數(shù)據(jù)融合的前方車輛檢測(cè)系統(tǒng)[D]. 龐成.東南大學(xué) 2015
本文編號(hào):3619229
【文章來(lái)源】:重慶理工大學(xué)重慶市
【文章頁(yè)數(shù)】:84 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
PointNet架構(gòu)
(實(shí)線箭頭表示流程,虛線箭頭表示方法)圖 1.3 毫米波與攝像頭融合的目標(biāo)檢測(cè)系統(tǒng)流程圖文獻(xiàn)[30-32]先預(yù)先處理雷達(dá)數(shù)據(jù),排除虛假目標(biāo),再利用傳感器安裝位置關(guān)空匹配模型;根據(jù)雷達(dá)檢測(cè)結(jié)果在圖像上框定感興趣區(qū)域,由滑窗等手段提
(圖片源自:Multi-view 3D Object Detection Network forAutonomous Driving)圖 1.4 MV3D 網(wǎng)絡(luò)結(jié)構(gòu)示意圖多視圖三維檢測(cè)網(wǎng)絡(luò)由兩部分組成:三維 RPN 和基于 RPN 的融合網(wǎng)絡(luò)。在 3 維RPN 網(wǎng)絡(luò)部分,利用卷積層分別從鳥瞰圖(BV)和前視圖(FV)提取點(diǎn)云特征,并在鳥瞰圖分支利用鳥瞰視角的點(diǎn)云產(chǎn)生高度精確的 3D 候選框,然后將特征投射回BV 和 FV 以及圖像的特征層,最后融合 3 個(gè)分支的特征。通過這種多視圖的編碼方案,能夠獲得對(duì)稀疏 3D 點(diǎn)云更有效和緊湊的表達(dá)。在工業(yè)界,百度自動(dòng)駕駛平臺(tái) Apollo 2.0 也采用激光雷達(dá)為主要的感知傳感器感知框架如圖 1.5。激光雷達(dá)點(diǎn)云高清地圖提取感興趣區(qū)域
【參考文獻(xiàn)】:
期刊論文
[1]基于單目視覺車輛姿態(tài)角估計(jì)和逆透視變換的車距測(cè)量[J]. 劉軍,后士浩,張凱,晏曉娟. 農(nóng)業(yè)工程學(xué)報(bào). 2018(13)
[2]一種基于消隱點(diǎn)的單目視覺車輛測(cè)距方法[J]. 關(guān)闖,魏朗,喬潔,楊煒. 電子測(cè)量技術(shù). 2018(11)
[3]基于深度學(xué)習(xí)的自動(dòng)駕駛技術(shù)綜述[J]. 張新鈺,高洪波,趙建輝,周沫. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(04)
[4]視覺與激光點(diǎn)云融合的深度圖像獲取方法[J]. 王東敏,彭永勝,李永樂. 軍事交通學(xué)院學(xué)報(bào). 2017(10)
[5]中國(guó)汽車工程學(xué)術(shù)研究綜述·2017[J]. 《中國(guó)公路學(xué)報(bào)》編輯部. 中國(guó)公路學(xué)報(bào). 2017(06)
[6]基于多傳感器融合的前方車輛識(shí)別方法研究[J]. 王戰(zhàn)古,邵金菊,高松,孫亮,于杰,譚德榮. 廣西大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(02)
[7]多傳感器信息融合中時(shí)間同步方法的研究[J]. 劉釗,戴斌,劉大學(xué). 計(jì)算機(jī)仿真. 2009(06)
博士論文
[1]車輛自適應(yīng)巡航跟隨控制技術(shù)研究[D]. 馬國(guó)成.北京理工大學(xué) 2014
碩士論文
[1]基于毫米波雷達(dá)與單目視覺融合的無(wú)人機(jī)自主避障系統(tǒng)[D]. 陳洪攀.西安電子科技大學(xué) 2018
[2]基于雷達(dá)與視覺傳感器信息融合的車輛檢測(cè)方法研究[D]. 張中昀.江蘇大學(xué) 2018
[3]高速公路場(chǎng)景下基于深度學(xué)習(xí)的車輛目標(biāo)檢測(cè)與應(yīng)用研究[D]. 張向清.長(zhǎng)安大學(xué) 2018
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測(cè)與車型辨識(shí)算法研究[D]. 陳樹東.電子科技大學(xué) 2018
[5]基于車載攝像機(jī)的前方車輛測(cè)距測(cè)速方法研究[D]. 張亞男.大連海事大學(xué) 2018
[6]基于汽車?yán)走_(dá)和攝像頭信息融合的目標(biāo)檢測(cè)方法研究[D]. 向?yàn)I宏.重慶大學(xué) 2017
[7]基于單目視覺的智能車前方障礙物識(shí)別與測(cè)距[D]. 袁雨桐.吉林大學(xué) 2016
[8]汽車前方車輛識(shí)別的雷達(dá)和視覺信息融合算法開發(fā)[D]. 陳曉偉.吉林大學(xué) 2016
[9]基于雷達(dá)和機(jī)器視覺融合的前方車輛障礙物檢測(cè)[D]. 那田.合肥工業(yè)大學(xué) 2016
[10]基于測(cè)距雷達(dá)和機(jī)器視覺數(shù)據(jù)融合的前方車輛檢測(cè)系統(tǒng)[D]. 龐成.東南大學(xué) 2015
本文編號(hào):3619229
本文鏈接:http://sikaile.net/kejilunwen/qiche/3619229.html
最近更新
教材專著