【摘要】：按照計(jì)算機(jī)球面立體視覺的多視圖幾何約束原理所構(gòu)建的虛擬球面成像模型,本文稱之為球面立體視覺多視圖幾何模型�；诙嘁晭缀卫碚摰那蛎媪Ⅲw視覺系統(tǒng)的本質(zhì)性研究工作,就是構(gòu)建基于全景影像序列的球面立體視覺多視圖幾何模型。本文在對計(jì)算機(jī)立體視覺的理論基礎(chǔ)、基本矩陣和三焦點(diǎn)張量的穩(wěn)健性估計(jì)、基于多視圖幾何約束的像點(diǎn)匹配算法研究、基于多視幾何約束的非線性畸變校正、基于影像序列的相機(jī)自標(biāo)定等相關(guān)基礎(chǔ)理論分析、算法模擬及實(shí)驗(yàn)評定的基礎(chǔ)之上,以全向多鏡頭組合型全景相機(jī)所獲得的全景序列影像為研究對象,以球面立體視覺理論為出發(fā)點(diǎn),從“物理成像模型、幾何約束模型、數(shù)學(xué)參數(shù)模型、系統(tǒng)誤差模型和誤差傳遞模型”五個方面系統(tǒng)性地論述與構(gòu)建了基于全景影像序列的球面立體視覺多視圖幾何模型。同時,提出了一種基于全景影像序列的球心矢量算法(GV),完善并豐富了球面立體視覺系統(tǒng)的理論內(nèi)涵與外延應(yīng)用范疇。最后,針對OMS型全景相機(jī),以球面立體視覺多視圖幾何模型為基礎(chǔ),在理想全景球面成像模型下,以球心矢量算法為主線,實(shí)驗(yàn)驗(yàn)證了70幀全景序列影像的投影重構(gòu)算法的有效性,生成大量點(diǎn)云數(shù)據(jù)并最終實(shí)現(xiàn)了真實(shí)場景空間目標(biāo)的三維重構(gòu)。本文依此所做的主要工作和主要結(jié)論如下:(1)從射影幾何變換、立體相機(jī)成像模型及多視圖幾何理論為出發(fā)點(diǎn),詳細(xì)闡述了計(jì)算機(jī)立體視覺的理論基礎(chǔ)。重點(diǎn)對計(jì)算機(jī)立體視覺中最重要的核心理論—多視圖幾何理論進(jìn)行了論述,為后續(xù)章節(jié)的基本矩陣和三焦點(diǎn)張量穩(wěn)健性估計(jì)問題、基于多視幾何的像點(diǎn)匹配算法、球面立體視覺多視圖幾何模型的構(gòu)建、球心矢量算法的估計(jì)以及基于序列影像的三維重構(gòu)等問題提供了相關(guān)理論依據(jù)。(2)從幾何基礎(chǔ)和穩(wěn)健性估計(jì)算法兩方面出發(fā),詳細(xì)闡述了作為計(jì)算機(jī)立體視覺理論關(guān)鍵性的多視圖幾何—基本矩陣和三焦點(diǎn)張量。在討論基本矩陣和三焦點(diǎn)張量的常用估值算法的基礎(chǔ)之上,進(jìn)一步研究了兩視和三視幾何約束下的基于RANSAC算法的魯棒性穩(wěn)健估計(jì),給出了對應(yīng)的歸一化7-點(diǎn)RANSAC魯棒性估計(jì)算法(基本思想、算法的具體步驟和計(jì)算偽碼),并進(jìn)行了相關(guān)實(shí)驗(yàn)評定。結(jié)果表明,基于兩視、三視幾何約束下的RANSAC魯棒性穩(wěn)健估計(jì)算法是穩(wěn)定且有效的,平均對極距離和平均余差均小于0.5個像素(達(dá)到亞像素級)。這是由于多次使用RANSAC算法能夠大量剔除誤匹配的“外點(diǎn)”,使其估算精度較高,因此在后續(xù)章節(jié)的相關(guān)研究中選為首選算子。(3)介紹了三種特征點(diǎn)提取算子:SIFT、SURF和ORB算子;為兼顧SURF算子的高匹配精度和ORB算子的高時效性特點(diǎn),本文提出了一種新的基于影像金子塔策略的特征點(diǎn)快速匹配算法,并給出具體的實(shí)現(xiàn)步驟與算法流程圖。同時,基于LADYBUG第0號子相機(jī)的連續(xù)兩幀影像,按照匹配評價準(zhǔn)則對各個算子進(jìn)行綜合評定。實(shí)驗(yàn)表明:SIFT算子的匹配精度最高、時效性最差;ORB算子的時效性最高,但匹配精度最低;基于影像金子塔策略的匹配算法和SURF、SIFT算子的精度相當(dāng)(AED相差不到0.1個像素)且耗時最短。因此,考慮到基于海量序列影像的批處理操作時,本文提出的基于金字塔策略的快速匹配算法不失為一種較為優(yōu)秀的高效實(shí)用的算法。(4)對子相機(jī)序列影像進(jìn)行了初始匹配點(diǎn)集的獲取工作之后,進(jìn)一步給出了基于基本矩陣的兩視匹配和基于三焦點(diǎn)張量的三視匹配,并結(jié)合RANSAC算子給出了具體的魯棒性估計(jì)的算法步驟,同時對各自算法的匹配精度進(jìn)行實(shí)驗(yàn)評定。其中仿真實(shí)驗(yàn)表明,基本矩陣F估計(jì)的平均余差會隨著匹配點(diǎn)數(shù)的增加而越來越小,當(dāng)點(diǎn)數(shù)大于40個時,平均余差的減少已不太明顯。因此,兩視影像間的匹配點(diǎn)數(shù)應(yīng)盡量大于40對。(5)考慮到圖像畸變對特征點(diǎn)提取與匹配精度的影響,針對三焦點(diǎn)張量T與非線性畸變系數(shù)的內(nèi)在耦合關(guān)系,本文提出了一種新的基于三焦點(diǎn)張量T的三視圖幾何約束相機(jī)畸變差自動校正算法,并給出了算法的基本思想、自動校正流程圖以及該算法的計(jì)算偽碼。針對第0號子相機(jī)的連續(xù)兩幀/三幀影像,分別運(yùn)用基于F的和基于T的畸變差自動校正算法,實(shí)驗(yàn)表明,(1)這兩種畸變校正算法均是有效的。(2)基于T的畸變差自動校正算法,其畸變校正后的平均對極距離和平均余差均小于基于F的畸變校正后的結(jié)果;說明,本文提出的基于三焦點(diǎn)張量T的畸變校正算法優(yōu)于基于基本矩陣F的校正算法。這是因?yàn)?在求取跨三視影像內(nèi)點(diǎn)集的過程中多次使用RANSAC算子,此時跨三視的內(nèi)點(diǎn)集的匹配精度要比兩視下的要高很多,因此相應(yīng)求取的12K,K精度也較高。(6)考慮到基于三視幾何約束下特征點(diǎn)的匹配精度對相機(jī)自標(biāo)定結(jié)果的影響�；诘�0號子相機(jī)的連續(xù)三幀序列影像,分別采用基于絕對對偶二次曲面的相機(jī)自動標(biāo)定算法和基于傳統(tǒng)的標(biāo)定法以獲取兩者的標(biāo)定內(nèi)參數(shù),同時分別進(jìn)行基于這兩種標(biāo)定方法的三維重建點(diǎn)的仿真實(shí)驗(yàn),以評價自標(biāo)定重建點(diǎn)的相對誤差精度。仿真結(jié)果顯示,所有的自標(biāo)定三維重建點(diǎn)的相對誤差大部分在8%以內(nèi),少數(shù)點(diǎn)在10%左右。實(shí)驗(yàn)表明,通過自標(biāo)定方法得到的相機(jī)內(nèi)參數(shù)與傳統(tǒng)標(biāo)定結(jié)果相比較,其吻合度和精度較為適宜;雖然存在一定的瑕疵,針對子相機(jī)序列影像的海量批處理而言,對于三維重建結(jié)果精度要求不太高時,可以適用自標(biāo)定方法。(7)以O(shè)MS型全景相機(jī)所獲得的全景序列影像為研究對象,以球面立體視覺理論為出發(fā)點(diǎn),從“物理成像模型、幾何約束模型、相關(guān)數(shù)學(xué)參數(shù)模型、系統(tǒng)誤差模型、誤差傳遞模型”五個方面詳細(xì)論述與構(gòu)建了基于全景影像序列的球面立體視覺多視圖幾何模型。具體的來說,①從虛擬球面立體視覺模型、投影模型、坐標(biāo)系統(tǒng)、拼接誤差、不共面偏差等方面構(gòu)建了物理成像模型。②針對虛擬全景球面立體視覺模型,從單視圖幾何、雙視圖幾何和三視圖幾何的內(nèi)在約束關(guān)系出發(fā),構(gòu)建了球面立體視覺的多視幾何約束模型。③從OMS全景相機(jī)的物理幾何結(jié)構(gòu)出發(fā),分別從通用魚眼鏡頭內(nèi)部參數(shù)數(shù)學(xué)模型和外部參數(shù)數(shù)學(xué)模型兩方面,構(gòu)建了球面立體視覺的數(shù)學(xué)參數(shù)模型。④在總結(jié)前人的理論成果之上,推導(dǎo)并建立了理想全景球面成像模型與嚴(yán)格全景球面成像模型�；趩喂饩�下理想全景球面的投影模型,推導(dǎo)并修正了最終的像方投影誤差方程。同時分析了理想球面成像模型的系統(tǒng)誤差來源,并得出其誤差分布律。⑤針對像點(diǎn)的誤差如何影響空間點(diǎn)三維重建的精度問題,分別推導(dǎo)了“像點(diǎn)的協(xié)方差矩陣、球面坐標(biāo)的協(xié)方差矩陣、基本矩陣的協(xié)方差陣、三焦點(diǎn)張量的協(xié)方差陣、三維重建點(diǎn)的協(xié)方差陣”,以此嘗試構(gòu)建了基于協(xié)方差矩陣的誤差傳遞模型。(8)基于理想全景球面成像模型與針孔相機(jī)成像模型的比較,提出了基于全景球面影像序列的投影重建概念,并詳細(xì)推導(dǎo)其重建過程。同時,基于理想全景球面成像模型,提出了一種基于全景球面影像序列的球心矢量算法(Gnomonic vector,GV),并給出了GV算法的概念、核心思想、具體算法流程步驟和算法的計(jì)算偽碼。同時,進(jìn)行基于基本矩陣和三焦點(diǎn)張量的影像匹配算法的研究,以及基于三視幾何約束下的球心矢量算法的實(shí)驗(yàn)性驗(yàn)證。相關(guān)數(shù)學(xué)仿真實(shí)驗(yàn)和真實(shí)數(shù)據(jù)試驗(yàn)表明:采用球心矢量算法,將重建的三維空間點(diǎn)重投影并進(jìn)行特征點(diǎn)的坐標(biāo)比對,得到的精度評定結(jié)果為:標(biāo)準(zhǔn)差為0.53pix。結(jié)果表明,本文提出的球心矢量算法,對基于全景影像序列的三維重建能夠得到亞像素級的重投影誤差精度。(9)基于兩視全景影像,SIFT算子與基于影像金字塔策略的特征點(diǎn)快速匹配算法相比較,本次實(shí)驗(yàn)表明,(1)原始待處理全景影像序列的幀數(shù)不多且需要較多的精匹配點(diǎn)數(shù)時,考慮采用SURF算子;(2)考慮到海量序列影像的批處理操作且對精匹配點(diǎn)數(shù)目要求不高時,本文提出的基于金字塔策略的匹配算法不失為一種更好的選擇(10)基于MATLAB和LadybugSDK構(gòu)建相關(guān)算法的驗(yàn)證平臺,運(yùn)用本文提出的球心矢量算法,對70幀全景球面的影像序列實(shí)現(xiàn)了三維場景空間點(diǎn)的三維重構(gòu),得到了大量的點(diǎn)云數(shù)據(jù)并對其進(jìn)行三角剖分、網(wǎng)格化模型處理和紋理貼圖,最終得到真實(shí)場景的三維重構(gòu)結(jié)果。
[Abstract]:......
【學(xué)位授予單位】：中國礦業(yè)大學(xué)(北京)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP391.41
，

本文編號：2327534