基于深度學(xué)習(xí)的點(diǎn)云三維目標(biāo)檢測算法研究
發(fā)布時間:2021-06-22 11:31
目標(biāo)檢測是自動駕駛和機(jī)器人視覺領(lǐng)域的核心技術(shù)之一。在自動駕駛領(lǐng)域,車輛通常使用激光雷達(dá)(LiDAR)和多個攝像頭實(shí)現(xiàn)目標(biāo)感知。由于激光雷達(dá)傳感器相比攝像頭能夠輸出精確的環(huán)境點(diǎn)云數(shù)據(jù),因此在車輛傳感器系統(tǒng)里具有不可替代的作用。然而,由于激光雷達(dá)輸出的點(diǎn)云數(shù)據(jù)的稀疏特性,無法將傳統(tǒng)深度學(xué)習(xí)目標(biāo)檢測方法直接用于點(diǎn)云目標(biāo)檢測。本文針對這一現(xiàn)狀,使用以體素和稀疏卷積為主的深度卷積神經(jīng)網(wǎng)絡(luò),依據(jù)點(diǎn)云數(shù)據(jù)進(jìn)行3D目標(biāo)檢測,對相關(guān)理論算法展開研究,獲得了較好的實(shí)驗(yàn)效果。本文主要研究內(nèi)容如下:(1)介紹了基于深度學(xué)習(xí)的目標(biāo)檢測算法,包括單階段和兩階段目標(biāo)檢測器,重點(diǎn)分析了兩階段目標(biāo)檢測器的方法,同時研究了一個典型的基于體素的點(diǎn)云目標(biāo)檢測算法。(2)介紹了卷積算法和稀疏卷積算法,針對當(dāng)前稀疏卷積算法匹配位置矩陣生成速度過慢的問題,提出了并行匹配位置矩陣生成算法,使其可以更快地在并行計(jì)算設(shè)備上執(zhí)行。(3)針對當(dāng)前基于體素的點(diǎn)云3D目標(biāo)檢測算法做出多項(xiàng)改進(jìn),首先提出了稀疏中間特征提取器,大幅提高網(wǎng)絡(luò)的執(zhí)行速度;其次提出了新的角度損失函數(shù)來處理當(dāng)前角度回歸的對抗樣本問題;最后,提出了一種數(shù)據(jù)增強(qiáng)方法,利用點(diǎn)云數(shù)...
【文章來源】:重慶大學(xué)重慶市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:62 頁
【學(xué)位級別】:碩士
【部分圖文】:
FasterRCNN結(jié)構(gòu)圖
重慶大學(xué)碩士學(xué)位論文2基于深度學(xué)習(xí)的目標(biāo)檢測算法理論基礎(chǔ)8征圖。接著這些區(qū)域興趣被送往區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(RCNN),對每個區(qū)域興趣的特征執(zhí)行分類和微調(diào)回歸,后者即對RPN得到的邊界框做進(jìn)一步的微調(diào)。最后對這些得到的結(jié)果進(jìn)行后處理,包括非極大抑制算法(NMS),就能得到最終的檢測結(jié)果。下面詳細(xì)介紹各部分的內(nèi)容。2.1.2卷積特征提取器簡介正如前面提到的那樣,目標(biāo)檢測的第一步是得到圖像的特征,一般使用在大規(guī)模圖像數(shù)據(jù)集(ImageNet)上訓(xùn)練好的圖像分類模型,然后使用這些模型在模型頭部(Head)進(jìn)行全局池化之前的卷積層輸出作為圖像的特征圖輸出。特征提取器網(wǎng)絡(luò)的選擇并不是固定的,雖然越先進(jìn)的網(wǎng)絡(luò)性能表現(xiàn)通常都會更好,但速度因素也是重要的考慮因素。我們下面簡單介紹一個典型的圖像分類網(wǎng)絡(luò):VGG網(wǎng)絡(luò)。圖2.2VGG卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2.2ThestructureoftheVGGconvolutionnetwork如圖2.2所示,假定輸入為一個尺寸為224*224*3的圖片數(shù)組,這里需要使用固定尺寸輸入,因?yàn)樵趫D像分類網(wǎng)絡(luò)里,由于最后使用全連接而不是卷積層進(jìn)行分類,而全連接層需要固定尺寸的輸入。在VGG網(wǎng)絡(luò)作為目標(biāo)檢測的特征提取器時,通常使用圖中尺寸為14*14*512的卷積層的輸出作為提取出來的圖像特征。由于卷積層可以被用在任意尺寸的圖片上,而目標(biāo)檢測算法不使用后面的全連接層輸出,所以在目標(biāo)檢測中沒有固定輸入圖片尺寸的限制。
重慶大學(xué)碩士學(xué)位論文2基于深度學(xué)習(xí)的目標(biāo)檢測算法理論基礎(chǔ)9每個卷積層都會根據(jù)前面的輸入特征來創(chuàng)建抽象特征。在圖2.3中可以看到每當(dāng)我們對特征圖進(jìn)行降維,特征圖的數(shù)量通常都會加倍,雖然空間維度降低,但是該位置所包含的信息更多,這是卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的一個重要原則之一。最后我們會從卷積特征提取器里得到空間尺寸較小但是通道數(shù)很多的特征圖。圖2.3卷積特征提取過程示意圖Fig.2.3Theconvolutionfeatureextractionprocess2.1.3錨簡介在使用特征提取器得到圖像的特征圖后,為了進(jìn)行初步的目標(biāo)檢測,我們需要得到區(qū)域興趣(RegionofInterest,ROI)。一個自然的想法就是對特征圖的每個位置都預(yù)測目標(biāo)分?jǐn)?shù)和對應(yīng)的邊界框,直接預(yù)測邊界框會出現(xiàn)一個問題:如果預(yù)測的邊界框的長寬為負(fù),這個預(yù)測就是完全無效的。另外為了對于那些有些重疊的目標(biāo),它們的中心位置往往會落在特征圖的同一個位置下。為了解決這些問題,F(xiàn)asterRCNN引入了錨(Anchor)的概念。錨是一系列對于固定特征圖尺寸來說完全固定的邊界框。對于每個特征圖位置,都會預(yù)先放置一系列長寬比例以及尺寸都不同的錨,在進(jìn)行預(yù)測的時候,得到的邊界框是相對于這些固定的錨的偏移量。對于同一位置來說,我們預(yù)測了很多不同尺寸的邊界框的偏移量及其分?jǐn)?shù),這些ROI會被統(tǒng)一按分?jǐn)?shù)排序從而能夠檢測不同尺寸的目標(biāo)。在推理過程中,錨的產(chǎn)生是一次性的,因?yàn)閷τ谀硞固定尺寸的圖像,其錨也是完全固定的,因此錨的產(chǎn)生不會帶來任何推理負(fù)擔(dān)。2.1.4區(qū)域建議網(wǎng)絡(luò)RPN及其損失函數(shù)簡介區(qū)域建議網(wǎng)絡(luò)RPN用來輸出第一階段的目標(biāo)檢測結(jié)果,即目標(biāo)分?jǐn)?shù)(該位置
【參考文獻(xiàn)】:
期刊論文
[1]改進(jìn)YOLO v3的安全帽佩戴檢測方法[J]. 施輝,陳先橋,楊英. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[2]基于改進(jìn)Faster R-CNN的子彈外觀缺陷檢測[J]. 馬曉云,朱丹,金晨,佟新鑫. 激光與光電子學(xué)進(jìn)展. 2019(15)
[3]基于改進(jìn)SSD的果園行人實(shí)時檢測方法[J]. 劉慧,張禮帥,沈躍,張健,吳邊. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(04)
[4]基于深度學(xué)習(xí)的復(fù)雜背景雷達(dá)圖像多目標(biāo)檢測[J]. 周龍,韋素媛,崔忠馬,房嘉奇,楊小婷,楊龍. 系統(tǒng)工程與電子技術(shù). 2019(06)
[5]基于級聯(lián)CNN的SAR圖像艦船目標(biāo)檢測算法[J]. 李健偉,曲長文,彭書娟. 控制與決策. 2019(10)
碩士論文
[1]基于深度學(xué)習(xí)的物體檢測與跟蹤方法的研究[D]. 曾鈺廷.東華理工大學(xué) 2018
本文編號:3242760
【文章來源】:重慶大學(xué)重慶市 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:62 頁
【學(xué)位級別】:碩士
【部分圖文】:
FasterRCNN結(jié)構(gòu)圖
重慶大學(xué)碩士學(xué)位論文2基于深度學(xué)習(xí)的目標(biāo)檢測算法理論基礎(chǔ)8征圖。接著這些區(qū)域興趣被送往區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(RCNN),對每個區(qū)域興趣的特征執(zhí)行分類和微調(diào)回歸,后者即對RPN得到的邊界框做進(jìn)一步的微調(diào)。最后對這些得到的結(jié)果進(jìn)行后處理,包括非極大抑制算法(NMS),就能得到最終的檢測結(jié)果。下面詳細(xì)介紹各部分的內(nèi)容。2.1.2卷積特征提取器簡介正如前面提到的那樣,目標(biāo)檢測的第一步是得到圖像的特征,一般使用在大規(guī)模圖像數(shù)據(jù)集(ImageNet)上訓(xùn)練好的圖像分類模型,然后使用這些模型在模型頭部(Head)進(jìn)行全局池化之前的卷積層輸出作為圖像的特征圖輸出。特征提取器網(wǎng)絡(luò)的選擇并不是固定的,雖然越先進(jìn)的網(wǎng)絡(luò)性能表現(xiàn)通常都會更好,但速度因素也是重要的考慮因素。我們下面簡單介紹一個典型的圖像分類網(wǎng)絡(luò):VGG網(wǎng)絡(luò)。圖2.2VGG卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2.2ThestructureoftheVGGconvolutionnetwork如圖2.2所示,假定輸入為一個尺寸為224*224*3的圖片數(shù)組,這里需要使用固定尺寸輸入,因?yàn)樵趫D像分類網(wǎng)絡(luò)里,由于最后使用全連接而不是卷積層進(jìn)行分類,而全連接層需要固定尺寸的輸入。在VGG網(wǎng)絡(luò)作為目標(biāo)檢測的特征提取器時,通常使用圖中尺寸為14*14*512的卷積層的輸出作為提取出來的圖像特征。由于卷積層可以被用在任意尺寸的圖片上,而目標(biāo)檢測算法不使用后面的全連接層輸出,所以在目標(biāo)檢測中沒有固定輸入圖片尺寸的限制。
重慶大學(xué)碩士學(xué)位論文2基于深度學(xué)習(xí)的目標(biāo)檢測算法理論基礎(chǔ)9每個卷積層都會根據(jù)前面的輸入特征來創(chuàng)建抽象特征。在圖2.3中可以看到每當(dāng)我們對特征圖進(jìn)行降維,特征圖的數(shù)量通常都會加倍,雖然空間維度降低,但是該位置所包含的信息更多,這是卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的一個重要原則之一。最后我們會從卷積特征提取器里得到空間尺寸較小但是通道數(shù)很多的特征圖。圖2.3卷積特征提取過程示意圖Fig.2.3Theconvolutionfeatureextractionprocess2.1.3錨簡介在使用特征提取器得到圖像的特征圖后,為了進(jìn)行初步的目標(biāo)檢測,我們需要得到區(qū)域興趣(RegionofInterest,ROI)。一個自然的想法就是對特征圖的每個位置都預(yù)測目標(biāo)分?jǐn)?shù)和對應(yīng)的邊界框,直接預(yù)測邊界框會出現(xiàn)一個問題:如果預(yù)測的邊界框的長寬為負(fù),這個預(yù)測就是完全無效的。另外為了對于那些有些重疊的目標(biāo),它們的中心位置往往會落在特征圖的同一個位置下。為了解決這些問題,F(xiàn)asterRCNN引入了錨(Anchor)的概念。錨是一系列對于固定特征圖尺寸來說完全固定的邊界框。對于每個特征圖位置,都會預(yù)先放置一系列長寬比例以及尺寸都不同的錨,在進(jìn)行預(yù)測的時候,得到的邊界框是相對于這些固定的錨的偏移量。對于同一位置來說,我們預(yù)測了很多不同尺寸的邊界框的偏移量及其分?jǐn)?shù),這些ROI會被統(tǒng)一按分?jǐn)?shù)排序從而能夠檢測不同尺寸的目標(biāo)。在推理過程中,錨的產(chǎn)生是一次性的,因?yàn)閷τ谀硞固定尺寸的圖像,其錨也是完全固定的,因此錨的產(chǎn)生不會帶來任何推理負(fù)擔(dān)。2.1.4區(qū)域建議網(wǎng)絡(luò)RPN及其損失函數(shù)簡介區(qū)域建議網(wǎng)絡(luò)RPN用來輸出第一階段的目標(biāo)檢測結(jié)果,即目標(biāo)分?jǐn)?shù)(該位置
【參考文獻(xiàn)】:
期刊論文
[1]改進(jìn)YOLO v3的安全帽佩戴檢測方法[J]. 施輝,陳先橋,楊英. 計(jì)算機(jī)工程與應(yīng)用. 2019(11)
[2]基于改進(jìn)Faster R-CNN的子彈外觀缺陷檢測[J]. 馬曉云,朱丹,金晨,佟新鑫. 激光與光電子學(xué)進(jìn)展. 2019(15)
[3]基于改進(jìn)SSD的果園行人實(shí)時檢測方法[J]. 劉慧,張禮帥,沈躍,張健,吳邊. 農(nóng)業(yè)機(jī)械學(xué)報(bào). 2019(04)
[4]基于深度學(xué)習(xí)的復(fù)雜背景雷達(dá)圖像多目標(biāo)檢測[J]. 周龍,韋素媛,崔忠馬,房嘉奇,楊小婷,楊龍. 系統(tǒng)工程與電子技術(shù). 2019(06)
[5]基于級聯(lián)CNN的SAR圖像艦船目標(biāo)檢測算法[J]. 李健偉,曲長文,彭書娟. 控制與決策. 2019(10)
碩士論文
[1]基于深度學(xué)習(xí)的物體檢測與跟蹤方法的研究[D]. 曾鈺廷.東華理工大學(xué) 2018
本文編號:3242760
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3242760.html
最近更新
教材專著