基于深度學(xué)習(xí)的室內(nèi)點(diǎn)云語(yǔ)義分割方法研究
發(fā)布時(shí)間:2021-08-28 17:24
近年來(lái),室內(nèi)三維模型構(gòu)建技術(shù)不斷進(jìn)步與發(fā)展,已廣泛應(yīng)用于室內(nèi)導(dǎo)航、BIM模型構(gòu)建、虛擬現(xiàn)實(shí)(Virtual Reality,VR)等領(lǐng)域中。三維激光點(diǎn)云是當(dāng)前在室內(nèi)三維模型構(gòu)建中廣泛使用的數(shù)據(jù)源,三維激光點(diǎn)云語(yǔ)義分割是構(gòu)建室內(nèi)三維模型中的關(guān)鍵技術(shù)之一,隨著深度學(xué)習(xí)在二維圖像分類、分割與識(shí)別任務(wù)中的廣泛應(yīng)用,基于深度學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割方法受到越來(lái)越多的關(guān)注與研究。PointNet網(wǎng)絡(luò)是直接以點(diǎn)云為輸入的深度神經(jīng)網(wǎng)絡(luò)的開(kāi)山之作,具有重要意義,然而該網(wǎng)絡(luò)結(jié)構(gòu)主要提取點(diǎn)云的全局特征,忽略了對(duì)局部特征的學(xué)習(xí)與提取。針對(duì)原PointNet網(wǎng)絡(luò)的缺點(diǎn),為了提高點(diǎn)云分割的精度,本文以原PointNet網(wǎng)絡(luò)為基礎(chǔ),對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)提出了PointNet-Pro網(wǎng)絡(luò),為驗(yàn)證PointNet-Pro網(wǎng)絡(luò)的有效性,還構(gòu)建了室內(nèi)建筑數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對(duì)比。本文具體工作如下:(1)在點(diǎn)云無(wú)特定順序、無(wú)特定空間拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上,根據(jù)室內(nèi)不同建筑元素的反射強(qiáng)度信息差距較大的特點(diǎn),將點(diǎn)云的三維坐標(biāo)信息,顏色信息與反射強(qiáng)度信息(Intenity)輸入到點(diǎn)的特征空間。在網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建過(guò)程中,本文使用了基于R鄰近的鄰域采...
【文章來(lái)源】:北京建筑大學(xué)北京市
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
MVCNN網(wǎng)絡(luò)模型結(jié)構(gòu)[22]
第1章緒論5圖1-2VoxNet網(wǎng)絡(luò)模型結(jié)構(gòu)[29]Fig.1-2VoxNetmodelstructure(3)以點(diǎn)云為輸入的深度神經(jīng)網(wǎng)絡(luò)斯坦福大學(xué)Charles團(tuán)隊(duì)[32]提出了PointNet,該網(wǎng)絡(luò)結(jié)構(gòu)如圖1-3所示,可分為分類網(wǎng)絡(luò)與分割網(wǎng)絡(luò)兩部分。分割網(wǎng)絡(luò)部分利用多層感知器(MLP)提取全局特征向量,并利用對(duì)稱函數(shù)解決無(wú)序的問(wèn)題,取得了不錯(cuò)的識(shí)別與分割精度。然而該網(wǎng)絡(luò)只能學(xué)習(xí)得到點(diǎn)云全局特征,忽略了局部特征,因此該網(wǎng)絡(luò)對(duì)于場(chǎng)景細(xì)節(jié)的分割精度較差。針對(duì)該問(wèn)題Charles團(tuán)隊(duì)對(duì)PointNet進(jìn)行了改進(jìn)提出了PointNet++[33],該網(wǎng)絡(luò)考慮到了空間中點(diǎn)與點(diǎn)之間的距離度量,通過(guò)層級(jí)結(jié)構(gòu)利用局部區(qū)域信息學(xué)習(xí)特征,網(wǎng)絡(luò)結(jié)構(gòu)更有效更魯棒。YangyanLi[34]等人也在PointNet基礎(chǔ)上進(jìn)行改進(jìn),提出PointCNN網(wǎng)絡(luò)結(jié)構(gòu)模型,該模型通過(guò)對(duì)點(diǎn)云特性的分析,提出了一種從點(diǎn)云中學(xué)習(xí)得到的X變換矩陣,然后將其與點(diǎn)關(guān)聯(lián)的輸入特征(坐標(biāo)、顏色等)進(jìn)行卷積將它們重新排列成潛在隱含的規(guī)范順序。雖然所提算法能夠?qū)c(diǎn)云卷積處理的性能有所提高,但X變換矩陣還有較大的改進(jìn)空間,尤其是在對(duì)點(diǎn)云的排序方面其表現(xiàn)并不理想。JiangM等[35]也在PointNet的基礎(chǔ)上進(jìn)行了改進(jìn),提出了Pointsift網(wǎng)絡(luò),該方法借鑒在二維圖像上使用較為廣泛的sift算子,設(shè)計(jì)了一個(gè)Pointsift模塊,對(duì)三維點(diǎn)云在不同方向上的信息進(jìn)行編碼,并且也具有尺度不變性。從而解決了PointNet無(wú)法學(xué)習(xí)得到點(diǎn)云局部特征的缺點(diǎn)。然而Pointsift網(wǎng)絡(luò)結(jié)構(gòu)大部分是PointNet的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),在得到點(diǎn)云的空間尺度不變性的同時(shí),也會(huì)使計(jì)算量增加,導(dǎo)致其網(wǎng)絡(luò)運(yùn)行效率較低。J.Li[36]等人在PointNet++基礎(chǔ)上,提出最新的SO-Net以及Behl[37]等人對(duì)PointNet改進(jìn)提出的PointFlowNet等網(wǎng)絡(luò)模型均取得了較好的效果。但是對(duì)于大規(guī)模點(diǎn)云還具有一定的局限性
第1章緒論6引了方向,具有重要價(jià)值。鑒于直接以點(diǎn)云為輸入的網(wǎng)絡(luò)模型在點(diǎn)云分割上取得的較好效果,越來(lái)越多的研究者開(kāi)始對(duì)這類方法進(jìn)行研究與改進(jìn)。圖1-3PointNet網(wǎng)絡(luò)模型[32]Fig.1-3PointNetmodelstructure1.3主要研究?jī)?nèi)容本文主要以室內(nèi)建筑物為研究場(chǎng)景,重點(diǎn)研究基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分割方法。在對(duì)當(dāng)前較為先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)PointNet的研究分析基礎(chǔ)上,本文擬對(duì)PointNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),以提高對(duì)室內(nèi)點(diǎn)云數(shù)據(jù)的分割精度。本文首先針對(duì)PointNet網(wǎng)絡(luò)對(duì)于點(diǎn)云局部特征提取能力不強(qiáng)的缺點(diǎn),提出了一個(gè)基于PointNet改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并將該網(wǎng)絡(luò)結(jié)構(gòu)命名為PointNet-Pro。PointNet-Pro網(wǎng)絡(luò)主要由四部分組成:局部特征提取部分,全局特征提取部分,局部與全局特征特征融合部分,點(diǎn)云語(yǔ)義分割部分。該網(wǎng)絡(luò)結(jié)構(gòu)在局部特征提取部分中主要增加了基于R近鄰的局部特征提取算法,通過(guò)使用點(diǎn)的R鄰域替代單個(gè)點(diǎn)作為輸入進(jìn)行高維特征提取,增強(qiáng)了點(diǎn)與點(diǎn)之間的相互關(guān)聯(lián)。在網(wǎng)絡(luò)其他部分中對(duì)PointNet網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了調(diào)整,通過(guò)改變網(wǎng)絡(luò)中的卷積核大小和局部特征提取部分的網(wǎng)絡(luò)深度,并且通過(guò)全局特征與局部特征的融合以提高PointNet網(wǎng)絡(luò)的分割精度。本文還使用站載式激光掃描儀構(gòu)建了一個(gè)室內(nèi)點(diǎn)云數(shù)據(jù)集,該數(shù)據(jù)集在具有點(diǎn)云三維坐標(biāo)信息,顏色信息的基礎(chǔ)上,還包含激光反射強(qiáng)度信息(Intenity)。最后,為驗(yàn)證本文提出的網(wǎng)絡(luò)模型PointNet-Pro的有效性,在室內(nèi)點(diǎn)云數(shù)據(jù)集上,使用PointNet-Pro網(wǎng)絡(luò)與PointNet網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)。1.4論文章節(jié)安排本文主要研究基于深度學(xué)習(xí)的室內(nèi)點(diǎn)云語(yǔ)義分割方法,在對(duì)現(xiàn)有較為先進(jìn)的神經(jīng)網(wǎng)絡(luò)PointNet分析研究的基礎(chǔ)上,提出了基于PointNet的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)以提高點(diǎn)云語(yǔ)義分割精度。本文的具體章節(jié)安排如下:
【參考文獻(xiàn)】:
期刊論文
[1]利用點(diǎn)云檢測(cè)室內(nèi)導(dǎo)航元素的方法綜述[J]. 危雙豐,劉明蕾,趙江洪,黃帥. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2018(12)
[2]三維點(diǎn)云場(chǎng)景數(shù)據(jù)獲取及其場(chǎng)景理解關(guān)鍵技術(shù)綜述[J]. 李勇,佟國(guó)峰,楊景超,張立強(qiáng),彭浩,高華帥. 激光與光電子學(xué)進(jìn)展. 2019(04)
[3]基于加權(quán)密集連接卷積網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)方法[J]. 夏旻,宋穩(wěn)柱,施必成,劉佳. 計(jì)算機(jī)應(yīng)用. 2018(08)
[4]歐氏聚類算法支持下的點(diǎn)云數(shù)據(jù)分割[J]. 陳向陽(yáng),楊洋,向云飛. 測(cè)繪通報(bào). 2017(11)
[5]顧及建筑物屋頂結(jié)構(gòu)的改進(jìn)RANSAC點(diǎn)云分割算法[J]. 李云帆,譚德寶,劉瑞,鄔建偉. 國(guó)土資源遙感. 2017(04)
[6]一種利用曲率約束的改進(jìn)K-means三維點(diǎn)云數(shù)據(jù)分割方法[J]. 楊永濤,黃國(guó)言,張坤,吳培良. 小型微型計(jì)算機(jī)系統(tǒng). 2017(11)
[7]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍. 計(jì)算機(jī)學(xué)報(bào). 2017(06)
[8]深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J]. 盧宏濤,張秦川. 數(shù)據(jù)采集與處理. 2016(01)
[9]基于球面投影的單站地面激光點(diǎn)云直線段提取方法[J]. 張帆,高云龍,黃先鋒,尹若捷,張志超,朱宜萱. 測(cè)繪學(xué)報(bào). 2015(06)
[10]智慧城市中的大數(shù)據(jù)[J]. 李德仁,姚遠(yuǎn),邵振峰. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(06)
博士論文
[1]基于激光點(diǎn)云的復(fù)雜三維場(chǎng)景多態(tài)目標(biāo)語(yǔ)義分割技術(shù)研究[D]. 張蕊.戰(zhàn)略支援部隊(duì)信息工程大學(xué) 2018
[2]逆向工程中自由曲面與規(guī)則曲面重建關(guān)鍵技術(shù)研究[D]. 劉勝蘭.南京航空航天大學(xué) 2005
碩士論文
[1]基于深度學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割研究[D]. 景川.西安電子科技大學(xué) 2019
[2]三維點(diǎn)云場(chǎng)景語(yǔ)義分割建模研究[D]. 陸桂亮.南京大學(xué) 2014
[3]卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D]. 徐姍姍.南京林業(yè)大學(xué) 2013
本文編號(hào):3368937
【文章來(lái)源】:北京建筑大學(xué)北京市
【文章頁(yè)數(shù)】:59 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
MVCNN網(wǎng)絡(luò)模型結(jié)構(gòu)[22]
第1章緒論5圖1-2VoxNet網(wǎng)絡(luò)模型結(jié)構(gòu)[29]Fig.1-2VoxNetmodelstructure(3)以點(diǎn)云為輸入的深度神經(jīng)網(wǎng)絡(luò)斯坦福大學(xué)Charles團(tuán)隊(duì)[32]提出了PointNet,該網(wǎng)絡(luò)結(jié)構(gòu)如圖1-3所示,可分為分類網(wǎng)絡(luò)與分割網(wǎng)絡(luò)兩部分。分割網(wǎng)絡(luò)部分利用多層感知器(MLP)提取全局特征向量,并利用對(duì)稱函數(shù)解決無(wú)序的問(wèn)題,取得了不錯(cuò)的識(shí)別與分割精度。然而該網(wǎng)絡(luò)只能學(xué)習(xí)得到點(diǎn)云全局特征,忽略了局部特征,因此該網(wǎng)絡(luò)對(duì)于場(chǎng)景細(xì)節(jié)的分割精度較差。針對(duì)該問(wèn)題Charles團(tuán)隊(duì)對(duì)PointNet進(jìn)行了改進(jìn)提出了PointNet++[33],該網(wǎng)絡(luò)考慮到了空間中點(diǎn)與點(diǎn)之間的距離度量,通過(guò)層級(jí)結(jié)構(gòu)利用局部區(qū)域信息學(xué)習(xí)特征,網(wǎng)絡(luò)結(jié)構(gòu)更有效更魯棒。YangyanLi[34]等人也在PointNet基礎(chǔ)上進(jìn)行改進(jìn),提出PointCNN網(wǎng)絡(luò)結(jié)構(gòu)模型,該模型通過(guò)對(duì)點(diǎn)云特性的分析,提出了一種從點(diǎn)云中學(xué)習(xí)得到的X變換矩陣,然后將其與點(diǎn)關(guān)聯(lián)的輸入特征(坐標(biāo)、顏色等)進(jìn)行卷積將它們重新排列成潛在隱含的規(guī)范順序。雖然所提算法能夠?qū)c(diǎn)云卷積處理的性能有所提高,但X變換矩陣還有較大的改進(jìn)空間,尤其是在對(duì)點(diǎn)云的排序方面其表現(xiàn)并不理想。JiangM等[35]也在PointNet的基礎(chǔ)上進(jìn)行了改進(jìn),提出了Pointsift網(wǎng)絡(luò),該方法借鑒在二維圖像上使用較為廣泛的sift算子,設(shè)計(jì)了一個(gè)Pointsift模塊,對(duì)三維點(diǎn)云在不同方向上的信息進(jìn)行編碼,并且也具有尺度不變性。從而解決了PointNet無(wú)法學(xué)習(xí)得到點(diǎn)云局部特征的缺點(diǎn)。然而Pointsift網(wǎng)絡(luò)結(jié)構(gòu)大部分是PointNet的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),在得到點(diǎn)云的空間尺度不變性的同時(shí),也會(huì)使計(jì)算量增加,導(dǎo)致其網(wǎng)絡(luò)運(yùn)行效率較低。J.Li[36]等人在PointNet++基礎(chǔ)上,提出最新的SO-Net以及Behl[37]等人對(duì)PointNet改進(jìn)提出的PointFlowNet等網(wǎng)絡(luò)模型均取得了較好的效果。但是對(duì)于大規(guī)模點(diǎn)云還具有一定的局限性
第1章緒論6引了方向,具有重要價(jià)值。鑒于直接以點(diǎn)云為輸入的網(wǎng)絡(luò)模型在點(diǎn)云分割上取得的較好效果,越來(lái)越多的研究者開(kāi)始對(duì)這類方法進(jìn)行研究與改進(jìn)。圖1-3PointNet網(wǎng)絡(luò)模型[32]Fig.1-3PointNetmodelstructure1.3主要研究?jī)?nèi)容本文主要以室內(nèi)建筑物為研究場(chǎng)景,重點(diǎn)研究基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分割方法。在對(duì)當(dāng)前較為先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)PointNet的研究分析基礎(chǔ)上,本文擬對(duì)PointNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),以提高對(duì)室內(nèi)點(diǎn)云數(shù)據(jù)的分割精度。本文首先針對(duì)PointNet網(wǎng)絡(luò)對(duì)于點(diǎn)云局部特征提取能力不強(qiáng)的缺點(diǎn),提出了一個(gè)基于PointNet改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并將該網(wǎng)絡(luò)結(jié)構(gòu)命名為PointNet-Pro。PointNet-Pro網(wǎng)絡(luò)主要由四部分組成:局部特征提取部分,全局特征提取部分,局部與全局特征特征融合部分,點(diǎn)云語(yǔ)義分割部分。該網(wǎng)絡(luò)結(jié)構(gòu)在局部特征提取部分中主要增加了基于R近鄰的局部特征提取算法,通過(guò)使用點(diǎn)的R鄰域替代單個(gè)點(diǎn)作為輸入進(jìn)行高維特征提取,增強(qiáng)了點(diǎn)與點(diǎn)之間的相互關(guān)聯(lián)。在網(wǎng)絡(luò)其他部分中對(duì)PointNet網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了調(diào)整,通過(guò)改變網(wǎng)絡(luò)中的卷積核大小和局部特征提取部分的網(wǎng)絡(luò)深度,并且通過(guò)全局特征與局部特征的融合以提高PointNet網(wǎng)絡(luò)的分割精度。本文還使用站載式激光掃描儀構(gòu)建了一個(gè)室內(nèi)點(diǎn)云數(shù)據(jù)集,該數(shù)據(jù)集在具有點(diǎn)云三維坐標(biāo)信息,顏色信息的基礎(chǔ)上,還包含激光反射強(qiáng)度信息(Intenity)。最后,為驗(yàn)證本文提出的網(wǎng)絡(luò)模型PointNet-Pro的有效性,在室內(nèi)點(diǎn)云數(shù)據(jù)集上,使用PointNet-Pro網(wǎng)絡(luò)與PointNet網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)。1.4論文章節(jié)安排本文主要研究基于深度學(xué)習(xí)的室內(nèi)點(diǎn)云語(yǔ)義分割方法,在對(duì)現(xiàn)有較為先進(jìn)的神經(jīng)網(wǎng)絡(luò)PointNet分析研究的基礎(chǔ)上,提出了基于PointNet的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)以提高點(diǎn)云語(yǔ)義分割精度。本文的具體章節(jié)安排如下:
【參考文獻(xiàn)】:
期刊論文
[1]利用點(diǎn)云檢測(cè)室內(nèi)導(dǎo)航元素的方法綜述[J]. 危雙豐,劉明蕾,趙江洪,黃帥. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2018(12)
[2]三維點(diǎn)云場(chǎng)景數(shù)據(jù)獲取及其場(chǎng)景理解關(guān)鍵技術(shù)綜述[J]. 李勇,佟國(guó)峰,楊景超,張立強(qiáng),彭浩,高華帥. 激光與光電子學(xué)進(jìn)展. 2019(04)
[3]基于加權(quán)密集連接卷積網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)方法[J]. 夏旻,宋穩(wěn)柱,施必成,劉佳. 計(jì)算機(jī)應(yīng)用. 2018(08)
[4]歐氏聚類算法支持下的點(diǎn)云數(shù)據(jù)分割[J]. 陳向陽(yáng),楊洋,向云飛. 測(cè)繪通報(bào). 2017(11)
[5]顧及建筑物屋頂結(jié)構(gòu)的改進(jìn)RANSAC點(diǎn)云分割算法[J]. 李云帆,譚德寶,劉瑞,鄔建偉. 國(guó)土資源遙感. 2017(04)
[6]一種利用曲率約束的改進(jìn)K-means三維點(diǎn)云數(shù)據(jù)分割方法[J]. 楊永濤,黃國(guó)言,張坤,吳培良. 小型微型計(jì)算機(jī)系統(tǒng). 2017(11)
[7]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍. 計(jì)算機(jī)學(xué)報(bào). 2017(06)
[8]深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J]. 盧宏濤,張秦川. 數(shù)據(jù)采集與處理. 2016(01)
[9]基于球面投影的單站地面激光點(diǎn)云直線段提取方法[J]. 張帆,高云龍,黃先鋒,尹若捷,張志超,朱宜萱. 測(cè)繪學(xué)報(bào). 2015(06)
[10]智慧城市中的大數(shù)據(jù)[J]. 李德仁,姚遠(yuǎn),邵振峰. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(06)
博士論文
[1]基于激光點(diǎn)云的復(fù)雜三維場(chǎng)景多態(tài)目標(biāo)語(yǔ)義分割技術(shù)研究[D]. 張蕊.戰(zhàn)略支援部隊(duì)信息工程大學(xué) 2018
[2]逆向工程中自由曲面與規(guī)則曲面重建關(guān)鍵技術(shù)研究[D]. 劉勝蘭.南京航空航天大學(xué) 2005
碩士論文
[1]基于深度學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割研究[D]. 景川.西安電子科技大學(xué) 2019
[2]三維點(diǎn)云場(chǎng)景語(yǔ)義分割建模研究[D]. 陸桂亮.南京大學(xué) 2014
[3]卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D]. 徐姍姍.南京林業(yè)大學(xué) 2013
本文編號(hào):3368937
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3368937.html
最近更新
教材專著