三維重建與目標識別作為計算機視覺領域的重要研究方向,被廣泛應用于智能機器人、安防監(jiān)控以及目標追蹤等領域。相較于二維圖像數據,點云數據記錄了目標空間位置信息,不受尺度、旋轉和光照等因素的影響,已經成為三維重建與目標識別研究領域重要的數據載體�，F(xiàn)有三維重建方法多忽視了重建目標的空間位置信息,在精度、速度以及算法泛化性上有著難以避免的缺陷;同時,在目標識別領域,現(xiàn)有研究方法多屬于監(jiān)督式學習,嚴重依賴數據標注,限制了小樣本識別技術的發(fā)展。隨著深度學習、強化學習的發(fā)展,尤其是生成對抗網絡（Generative Adversarial Network,GAN）的出現(xiàn),為解決三維重建與目標識別領域的問題提供了理論依據。本文在研究卷積神經網絡（Convolutional Neural Network,CNN）與生成對抗網絡基礎上,提出一種基于生成對抗網絡的點云模型三維重建與目標識別方法,用于重建三維目標以及無監(jiān)督式三維目標識別。主要研究內容如下:（1）針對三維點云數據的無序性問題,在傳統(tǒng)卷積神經網絡的基礎上,結合空間變換網絡（Spatial Transformer Network,STN）,構建一種改... 

【文章來源】：武漢理工大學湖北省 211工程院校 教育部直屬院校

【文章頁數】：72 頁

【學位級別】：碩士

【部分圖文】：

基于PointCloud

15(a)airplane模型(b)bottle模型(c)car模型圖2-1基于PointCloud點云數據的點云模型從圖2-1中的三類點云模型airplane、bottle、car可以看出，PointCloud點云數據詳細記錄了目標物體的空間位置信息，且反映了更為詳細的表面輪廓信息，同時可視化程度更高，對三維物體有著更強的描繪能力。通過對PointCloud點云數據與ModelNet40數據集的分析，本文確立了以PointCloud點云數據所表征的點云模型為研究對象和以ModelNet40數據集為實驗數據集的研究方案。2.1.2三維點云數據特性分析相較于二維圖像數據與RGB-D雙模態(tài)數據，現(xiàn)有對PointCloud點云數據的研究進展較為緩慢。主要原因是受到點云數據的三個特性[49]的制約，這三個特性分別是：無序性，點間相互作用性，變換自適應性。它們限制了深度學習在點云數據上的應用，尤其是卷積神經網絡的應用。（1）無序性通常在處理二維圖像時，卷積神經網絡總是按照一定的順序研究二維圖像各像素點之間的關系，例如從上到下、從左到右，這是因為二維圖像不是無序的，其相鄰像素點間的關聯(lián)性強，相距遠的像素點關聯(lián)性弱。而與二維圖像中的像素陣列以及體素網格中的體素陣列不同，點云數據是一組沒有特殊順序的點的集合，這就造成了當處理一個包含有N個點的點云數據時，需要處理N！組點云數據，顯著增加了網絡模型的計算量，限制了卷積神經網絡的應用，這是卷積神經網絡需要解決的第一個關鍵問題。（2）點間相互作用性盡管點云數據是無序的，但是它仍然像二維圖像一樣，具有很強的點間相互作用性。這主要是因為，點云數據中的點來自具有距離度量的空間中，它們不是孤立存在的，相鄰的點構成了具有結構意義的子集，例如局部特征。因此，

19眀褳眀棣眀圖2-3三維有序卷積神經網絡模型圖其中，F(xiàn)eature1至Feature5表示經卷積操作后的特征提取圖，F(xiàn)ully1至Fully3表示經全連接操作后的特征融合圖，（1024,3,1）表示該特征圖輸入的三個維度（高度H，寬度W，通道數C）分別為高度1024，寬度3，通道數1。各卷積層及全連接層詳細參數如表2-2所示：表2-2三維有序卷積神經網絡模型參數表類別input_channeloutput_channelkernelstrideconv1164(1,3)(1,1)conv26464(1,1)(1,1)conv36464(1,1)(1,1)conv464128(1,1)(1,1)conv51281024(1,1)(1,1)fc11024512\\fc2512256\\fc325640\\表2-2中，kernel中（1,3）表示卷積核的高度為1，寬度為3，其余同理；stride中（1,1）表示滑動窗口的步長高度為1，寬度為1，其余同理；非線性激活函數統(tǒng)一使用Relu型激活函數；模型損失函數采用交叉熵損失函數。2.2.3實驗結果及分析本文為檢驗三維有序卷積神經網絡模型對點云數據的處理能力，建立了面向點云模型的監(jiān)督式目標識別實驗，實驗數據集為ModelNet40數據集（數據說明見2.2.1節(jié)），實驗平臺為GPU型號為GTX1080Ti的深度學習工作站。在實驗中，考慮到模型體積較大，無法在一次模型訓練中將一個點云模型中的全部數據點輸入網絡模型，因此實驗采用隨機采樣的方法，從點云模型中隨機選取數據點，采樣點數目num_point為1024；由于模型在訓練過程中存在正負樣

【參考文獻】：
期刊論文
[1]基于雙目單視面的三維重建[J]. 王珊,徐曉.  光學學報. 2017(05)
[2]融合深度相機點云與光學影像的室內三維建模[J]. 張?zhí)駶?康志忠.  測繪科學. 2016(12)
[3]用飛行時間相機優(yōu)化可視外殼的實時三維重建算法[J]. 王聰,周忠,吳威.  計算機輔助設計與圖形學學報. 2013(04)
[4]基于立體視覺的三維重建算法[J]. 于明,齊菲菲,于洋,閻剛,薛翠紅.  計算機工程與設計. 2013(02)
[5]神經網絡在圖像處理中的應用[J]. 許鋒,盧建剛,孫優(yōu)賢.  信息與控制. 2003(04)

碩士論文
[1]基于圖像特征點的稠密點云三維重建[D]. 蘇濤.吉林大學 2018
[2]圖像序列三維重建方法研究與實現(xiàn)[D]. 李聰.清華大學 2014
[3]基于結構光的3D重建系統(tǒng)[D]. 趙東威.南京大學 2013



本文編號：3575661