基于雙目視覺的三維重建關(guān)鍵技術(shù)研究
發(fā)布時(shí)間:2020-11-02 22:54
隨著我國國民經(jīng)濟(jì)迅速發(fā)展,人們生活質(zhì)量的提高,國家對(duì)智能制造,智能城市,智能園區(qū)等一系列智能技術(shù)越來越重視,體現(xiàn)人工智能的雙目立體視覺越顯重要,它在智能生產(chǎn),交通監(jiān)控,機(jī)器導(dǎo)航,航空航天,醫(yī)學(xué)建模,視覺仿真,文物復(fù)原,非接觸高精度測(cè)量等方面,提供包括虛擬視覺仿真,視覺識(shí)別與定位等技術(shù),能夠有效地提高生產(chǎn)效率和產(chǎn)品質(zhì)量,降低運(yùn)營成本和資源能源消耗;陔p目視覺的三維重建,是圖形圖像處理與機(jī)器視覺的重要組成部分。因?yàn)閱文肯鄼C(jī)拍攝的單幅圖像是二維的,沒有第三維信息,所以采用雙目攝像機(jī)仿真人類視覺系統(tǒng),拍攝兩張二維圖像,并根據(jù)這兩張圖像匹配點(diǎn)對(duì)的視差,利用相似三角形原理計(jì)算出目標(biāo)物體表面點(diǎn)到兩鏡頭光心連線的距離,以及物體表面點(diǎn)云三維坐標(biāo)。三維重建,是根據(jù)物體表面全部或部分點(diǎn)云的三維坐標(biāo),對(duì)目標(biāo)物體全部或者部分表面進(jìn)行重建。三維重建可以恢復(fù)場(chǎng)景的3D信息,協(xié)助機(jī)器人完成目標(biāo)的識(shí)別、定位、測(cè)量、導(dǎo)航、抓取與跟蹤等特定任務(wù);陔p目視覺的三維重建,模仿人類的兩只眼睛同時(shí)觀察場(chǎng)景的方法,更加經(jīng)濟(jì)實(shí)用。本課題目的是通過雙目視覺圖像匹配,計(jì)算視差,根據(jù)視差計(jì)算物體表面點(diǎn)云并建立目標(biāo)物體的三維模型,輔助機(jī)器人進(jìn)行工件等物體的識(shí)別、定位與抓取。意義在于能夠加快生產(chǎn)的速度,提高產(chǎn)品的質(zhì)量,使工業(yè)制造智能化。本課題依托國家項(xiàng)目:國家重點(diǎn)研發(fā)計(jì)劃“基于工業(yè)物聯(lián)網(wǎng)的智能產(chǎn)線實(shí)時(shí)故障診斷關(guān)鍵技術(shù)研究及應(yīng)用”(YS2017YFGH001945)。論文的主要貢獻(xiàn)是提出以下幾個(gè)方法:1.圓周二進(jìn)制特征提取算法現(xiàn)有梯度特征與二進(jìn)制特征提取方法,存在計(jì)算量大和入圍率低的問題,針對(duì)這些問題,提出一種圖像關(guān)鍵點(diǎn)局部區(qū)域的圓周二進(jìn)制特征提取的方法。提取特征時(shí),使用高斯金字塔仿真人眼小孔成像模型:近處目標(biāo)成像大,遠(yuǎn)處目標(biāo)成像小,近目標(biāo)成像清晰,遠(yuǎn)處目標(biāo)成像模糊,確保特征的光照、尺度、模糊不變性;使用FAST算子檢測(cè)關(guān)鍵點(diǎn);使用圖像特征點(diǎn)鄰域灰度重心法,計(jì)算關(guān)鍵點(diǎn)特征方向,確保特征的旋轉(zhuǎn)不變性;提出鏡像不變性規(guī)律和圓周二進(jìn)制特征提取算法,提升二進(jìn)制特征的鏡像不變性。提取的圓周二進(jìn)制特征適應(yīng)性強(qiáng),對(duì)比速率快。2.位圖局部敏感哈希的匹配二進(jìn)制特征搜索算法針對(duì)現(xiàn)有的匹配二進(jìn)制特征搜索算法存在效率低和入圍點(diǎn)少的問題,提出快速計(jì)算位圖算法以及位圖局部敏感哈希算法,搜索圖像的匹配二進(jìn)制特征。首先,計(jì)算左圖特征位向量的關(guān)鍵字;然后,使用快速計(jì)算位圖算法計(jì)算位向量的位圖,將位圖按照掩碼提取出關(guān)鍵字,并與二進(jìn)制特征的標(biāo)識(shí)作為映射構(gòu)建局部敏感哈希表,同時(shí)將關(guān)鍵字存入位集;最后,根據(jù)右圖提取的二進(jìn)制特征對(duì)應(yīng)關(guān)鍵字,使用位圖快速判斷特征ID是否存在于哈希表中,以優(yōu)化查詢哈希表中的匹配二進(jìn)制特征,提高匹配二進(jìn)制特征的搜索效率和質(zhì)量。實(shí)驗(yàn)證明,位圖局部敏感哈希算法提高了二進(jìn)制特征近鄰搜索的效率、增加了入圍點(diǎn)數(shù)。3.圓周二進(jìn)制特征提取與匹配搜索方法二進(jìn)制特征在圖像匹配識(shí)別與定位中,具有計(jì)算簡單快速、匹配效率高和存儲(chǔ)簡單的優(yōu)點(diǎn),F(xiàn)有二進(jìn)制特征提取算法鏡像不變性較差,匹配二進(jìn)制特征搜索算法入圍率低,針對(duì)這兩個(gè)問題,結(jié)合圓周二進(jìn)制特征提取算法和位圖局部敏感哈希算法,提出圓周二進(jìn)制特征提取與匹配搜索方法。4.內(nèi)外相似度聚集的立體匹配算法針對(duì)現(xiàn)有立體匹配方法提取視差圖像的非閉塞區(qū)域錯(cuò)誤率高和效率低的問題,提出內(nèi)外相似度聚集的立體匹配算法:首先,給出參考彩色圖像近鄰像素的內(nèi)部相似度;然后,在圖像彩色與亞像素空間,給出左圖像與右圖像之間候選匹配像素的外部相似度;接著,提出內(nèi)外相似度聚集方法,聚集左右圖像匹配點(diǎn)的相似度,使用贏者通吃算法計(jì)算視差圖;最后,提出盒圖濾波算法,提純和平滑視差圖像,并給出八方向內(nèi)外相似度聚集的立體匹配算法,實(shí)驗(yàn)結(jié)果證明,內(nèi)外相似度聚集的立體匹配算法提取視差圖的非閉塞區(qū)域錯(cuò)誤率低,效率高。5.基于視差圖像的物體表面的三維重建方法根據(jù)雙目相機(jī)獲取的兩幅圖,提取視差圖像,提出基于視差直方圖的圖像分割算法,在視差圖像中分割出目標(biāo)區(qū)域,將目標(biāo)區(qū)域圖像分成5*5的方塊,將每個(gè)方塊按其角點(diǎn)劃分成兩個(gè)三角形。根據(jù)相似三角形,計(jì)算目標(biāo)物體或者情景的圖像的每塊的角點(diǎn)的三維坐標(biāo),得到目標(biāo)物體或者情景表面的點(diǎn)云,將目標(biāo)區(qū)域每塊的角點(diǎn)對(duì)應(yīng)的三維點(diǎn),按照順序連線構(gòu)成三維的三角形,這樣目標(biāo)區(qū)域就被分割成了三角形網(wǎng)格,對(duì)目標(biāo)物體進(jìn)行建模。該方法對(duì)目標(biāo)物體三維重建的精度高,計(jì)算量小。6.估計(jì)目標(biāo)物體姿態(tài)的方法建立目標(biāo)物體表面的三維模型后,分割出視差圖的參考圖像的目標(biāo)區(qū)域,以參考圖像目標(biāo)區(qū)域作為匹配模板,提供目標(biāo)自身相對(duì)形狀;在模板圖像上檢測(cè)關(guān)鍵點(diǎn)并提取特征,且在待姿態(tài)估計(jì)的圖像提取點(diǎn)特征,使用匹配特征搜索算法,查詢兩張圖像的匹配特征,根據(jù)特征標(biāo)簽找到特征點(diǎn)坐標(biāo);根據(jù)模板圖像匹配點(diǎn)像素坐標(biāo)及模板視差圖像,獲取目標(biāo)區(qū)域點(diǎn)的三維坐標(biāo),這樣得到了3D到2D坐標(biāo)的映射,使用PNP算法,對(duì)目標(biāo)物體進(jìn)行姿態(tài)估計(jì)。
【學(xué)位單位】:中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計(jì)算技術(shù)研究所)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2019
【中圖分類】:TP391.41
【部分圖文】:
e-eighth circumference computed by centpk(xk+1, yk+1) 2xk+1 9 (1, 10) 2 6 (2, 10) 4 1 (3, 10) 6 6 (4, 9) 8 3 (5, 9) 10 8 (6, 8) 12 5 (7, 7) 14 徑等于 10 時(shí),中心畫圓算法得到的是通過比較多個(gè)圓周上的像素灰度 CBD 特征的二進(jìn)制字符串的長度為較兩個(gè)像素灰度獲得,這要求在 FA值在 1 到 13 區(qū)間時(shí),中心畫圓算法域尺寸為 27 27。圖 3.1a 是半徑為 2
圖 3. 2 源圖、鏡像圖對(duì)應(yīng)字符串圖e 3.2 Binary strings of source and mirror 3.2a 中關(guān)鍵點(diǎn) C 頂端起,獲得狀態(tài)位是 S’,按照順序是 S11’到 S0’,而且 作,獲得一個(gè)新的狀態(tài)位,新的狀態(tài)中,縱式左邊是狀態(tài)位 S 與 S’ 的按的新狀態(tài)位前一半與后一半按位與,結(jié)果是同一狀態(tài)位 101 011,命名0 1 2 3 4 5 6 7 8 9 10 11' ' ' ' ' ' ' ' ' ' ' '11 10 9 8 7 6 5 4 3 2 1 01111| &10101 1 1 1 1 1 1 0 1 0 1 1 1010S S S S S S S S S S S SS S S S S S S S S S S SS S S S S S S S S S S
g. Trees實(shí)驗(yàn)采用蠻力搜索策略搜索匹配特征,使用最近鄰算法根據(jù)近鄰比率判定制特征的匹配,文中主要比較內(nèi)點(diǎn)率,判定算法的優(yōu)劣,內(nèi)點(diǎn)占匹配點(diǎn)的數(shù)多匹配效果越好,本章 CBD 算法主要與 ORB、SURF 等算法比較。實(shí)驗(yàn)時(shí)提取左右圖像 CBD 特征,使用蠻力搜索方法搜索兩圖的匹配特征,根據(jù)匹征對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo),計(jì)算左右圖像一致性矩陣,根據(jù)一致性矩陣計(jì)算兩圖配點(diǎn)的重投影平均誤差值,若該值小于設(shè)定閾值,則當(dāng)前匹配點(diǎn)被判定為內(nèi)點(diǎn)大于閾值,則當(dāng)前匹配點(diǎn)被判定為離群點(diǎn)。圖 3.4 是本章節(jié) CBD 特征提取的流程圖。
【參考文獻(xiàn)】
本文編號(hào):2867698
【學(xué)位單位】:中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計(jì)算技術(shù)研究所)
【學(xué)位級(jí)別】:博士
【學(xué)位年份】:2019
【中圖分類】:TP391.41
【部分圖文】:
e-eighth circumference computed by centpk(xk+1, yk+1) 2xk+1 9 (1, 10) 2 6 (2, 10) 4 1 (3, 10) 6 6 (4, 9) 8 3 (5, 9) 10 8 (6, 8) 12 5 (7, 7) 14 徑等于 10 時(shí),中心畫圓算法得到的是通過比較多個(gè)圓周上的像素灰度 CBD 特征的二進(jìn)制字符串的長度為較兩個(gè)像素灰度獲得,這要求在 FA值在 1 到 13 區(qū)間時(shí),中心畫圓算法域尺寸為 27 27。圖 3.1a 是半徑為 2
圖 3. 2 源圖、鏡像圖對(duì)應(yīng)字符串圖e 3.2 Binary strings of source and mirror 3.2a 中關(guān)鍵點(diǎn) C 頂端起,獲得狀態(tài)位是 S’,按照順序是 S11’到 S0’,而且 作,獲得一個(gè)新的狀態(tài)位,新的狀態(tài)中,縱式左邊是狀態(tài)位 S 與 S’ 的按的新狀態(tài)位前一半與后一半按位與,結(jié)果是同一狀態(tài)位 101 011,命名0 1 2 3 4 5 6 7 8 9 10 11' ' ' ' ' ' ' ' ' ' ' '11 10 9 8 7 6 5 4 3 2 1 01111| &10101 1 1 1 1 1 1 0 1 0 1 1 1010S S S S S S S S S S S SS S S S S S S S S S S SS S S S S S S S S S S
g. Trees實(shí)驗(yàn)采用蠻力搜索策略搜索匹配特征,使用最近鄰算法根據(jù)近鄰比率判定制特征的匹配,文中主要比較內(nèi)點(diǎn)率,判定算法的優(yōu)劣,內(nèi)點(diǎn)占匹配點(diǎn)的數(shù)多匹配效果越好,本章 CBD 算法主要與 ORB、SURF 等算法比較。實(shí)驗(yàn)時(shí)提取左右圖像 CBD 特征,使用蠻力搜索方法搜索兩圖的匹配特征,根據(jù)匹征對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo),計(jì)算左右圖像一致性矩陣,根據(jù)一致性矩陣計(jì)算兩圖配點(diǎn)的重投影平均誤差值,若該值小于設(shè)定閾值,則當(dāng)前匹配點(diǎn)被判定為內(nèi)點(diǎn)大于閾值,則當(dāng)前匹配點(diǎn)被判定為離群點(diǎn)。圖 3.4 是本章節(jié) CBD 特征提取的流程圖。
【參考文獻(xiàn)】
相關(guān)期刊論文 前6條
1 黃勁;江騰飛;鮑虎軍;;四邊形與六面體自動(dòng)重網(wǎng)格化技術(shù)研究綜述[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年08期
2 賈棋;高新凱;羅鐘鉉;樊鑫;郭禾;;基于幾何關(guān)系約束的特征點(diǎn)匹配算法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年08期
3 朱利;岳愛珍;周聰;;面向城市建筑物3D點(diǎn)云模型的快速繪制方法[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2015年08期
4 魏小峰;耿則勛;婁博;宋向;;空間目標(biāo)三維姿態(tài)估計(jì)方法[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2015年01期
5 張?zhí)?唐承統(tǒng);劉檢華;;基于多目視覺的彎管空間參數(shù)測(cè)量方法[J];儀器儀表學(xué)報(bào);2013年02期
6 孔相澧;章國鋒;華煒;;基于全局優(yōu)化的保細(xì)節(jié)分層多視圖立體匹配[J];計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào);2011年01期
本文編號(hào):2867698
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/2867698.html
最近更新
教材專著