基于光場(chǎng)的超精細(xì)景深算法研究
發(fā)布時(shí)間:2021-07-23 09:01
當(dāng)今社會(huì),人工智能技術(shù)的發(fā)展突飛猛進(jìn),而其重要的一個(gè)分支—計(jì)算機(jī)視覺(jué)技術(shù),應(yīng)用前景十分廣泛。景深算法作為計(jì)算機(jī)視覺(jué)技術(shù)的一個(gè)重要組成部分,擁有廣闊的應(yīng)用場(chǎng)景和巨大的研究?jī)r(jià)值。然而,傳統(tǒng)的景深算法技術(shù)存在一些劣勢(shì)。比如:多視點(diǎn)系統(tǒng)對(duì)設(shè)備需求量大、要求高,成本相對(duì)較高;而單目視覺(jué)系統(tǒng)視角太少,所以其提取的景深精度較低。光場(chǎng)相機(jī)的出現(xiàn)完美解決了單目和多視點(diǎn)視覺(jué)系統(tǒng)中存在的問(wèn)題,為景深算法領(lǐng)域注入了新鮮血液。光場(chǎng)相機(jī)系統(tǒng)中,在主透鏡和圖像傳感器之間放置微透鏡陣列,每條入射光線的光量和方向被同時(shí)記錄,相當(dāng)于同時(shí)采集了物體的空間和角度信息。所以,光場(chǎng)圖像攜帶的豐富信息對(duì)后續(xù)的景深計(jì)算十分有益。但是,光場(chǎng)圖像的基線十分狹窄,空間分辨率和角度分辨率難以折衷、且存在遮擋等問(wèn)題,傳統(tǒng)的密集光場(chǎng)景深算法計(jì)算結(jié)果不是十分準(zhǔn)確,且由于數(shù)據(jù)量大,計(jì)算效率普遍較低。因此,研究適合光場(chǎng)的景深算法,尤其是適合稀疏光場(chǎng)的景深算法是本文的工作重點(diǎn)。基于以上分析,本文主要針對(duì)光場(chǎng)圖像進(jìn)行超精細(xì)的景深算法研究,主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:1、闡述了光場(chǎng)景深算法的相關(guān)原理,包括光場(chǎng)的兩平面參數(shù)化模型、EPI(Epipolar Im...
【文章來(lái)源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2_1四維光場(chǎng)的三種參數(shù)化表征:(a)相PDP;?(b)?SPP;?(c)?TPP??
2光場(chǎng)可視化分析??雖然全光涵數(shù)L(u,v,x,y)是一個(gè)筒化的光場(chǎng)模:型,隹很難想象這個(gè)4D表示。.在這一??小節(jié)中,我們將用H種不同的方式將4D光場(chǎng)可視化呈現(xiàn):子孔徑圖像、光場(chǎng)子視圖和??EPI圖像。??在兩平面光場(chǎng)模型L(u,v,x,y)中,我們可以將uv平面看作一組攝像機(jī),其焦平面位??于xy平面上.?梢圆扇煞N不同的觀點(diǎn)來(lái)理解這個(gè)模型。首先,每個(gè)攝像頭收集從xy??平面射出的光線并到達(dá)uv平面上的一個(gè)點(diǎn)(從某個(gè)視點(diǎn)收集光線)。固此,4D光場(chǎng)可??以表示為二維圖像陣列,如圖2-2?(a)所示。由相機(jī)記錄的每個(gè)圖像被稱為子孔徑圖像,??也被稱為針孔視圖。其次,在xy平面上的某個(gè)點(diǎn)代表了在uv平面上的所有點(diǎn)所限定的??光線(從不同視點(diǎn)的光線集合投射到某個(gè)點(diǎn)上,即從不同視點(diǎn)著到的相同點(diǎn)),見(jiàn)圖2-2??(b))。因?yàn)椋酰雳撁嬷械臉颖緮?shù)量取決于視點(diǎn)的數(shù)置,而xy平面中的取樣數(shù)量取決于??相機(jī)分辨率,所以U和v維度被稱為角度維度,x和y維度被稱為空:間維度??特別地,對(duì)于四維光場(chǎng)L(u,v,x,y),我們可以通過(guò)固定uv平面的坐標(biāo)和/,獲得??二維切片:也可以這么理解,逋過(guò)_定:某一個(gè)相機(jī)的位:置在處,采集.2D??切片IuV*(x,y),即子孔徑圖像。圖2-2?(a)右邊部分示出了一個(gè)子孔徑圖像。同理,通??過(guò)園.定xy平面的坐標(biāo)x*和y%得到切_片Ix*,y><u,v)。.?2D切片.I#.y*(u,v)通常指光場(chǎng)的子視??圖,也可以理解為此切片由來(lái)自不同視點(diǎn)的光線在每個(gè)點(diǎn)上聚集而形成,如圖2-2?(b)??所示。????\?i?\?\?\?\?\?\?r??■?^?%?L?%?Ak??(a)??■??i
?東南大學(xué)碩士學(xué)位論文???圖2-4編碼光場(chǎng)渲染虛擬視點(diǎn)??只要使用一組足夠密集的攝像機(jī),我們可以通過(guò)重新采樣和內(nèi)插光線[1],在球體表??面的任何位置(甚至更靠近物體)創(chuàng)建光場(chǎng)的虛擬渲染,而不是基于幾何信息[41]去合成??視點(diǎn)。圖2-4示出了比現(xiàn)有視圖更靠近對(duì)象(綠色形狀)的虛擬視圖(位于藍(lán)點(diǎn)處??由于光線的輻射度在自由空間中保持不變,因此可以從現(xiàn)有視圖重新采樣一些光線。然??而,仍有照相機(jī)沒(méi)有捕捉到的光線,因此必須通過(guò)內(nèi)插(例如,圖2-4中的虛線所示的??光線)進(jìn)行推斷。為了渲染這樣的光線,首先計(jì)算它們與兩個(gè)平面的交點(diǎn)坐標(biāo)。然后,??使用最近的16個(gè)采樣光線來(lái)插入虛擬光線。??在光場(chǎng)渲染中,不足的樣本會(huì)在新視圖中引起重影效應(yīng)。然而,獲取太多的光場(chǎng)樣??本是不切實(shí)際的_。例如,Levoy和Hanrahan?[1]提出的合成走廊光場(chǎng)使廟了四塊光板,每??塊光板包含64x32幅圖片,原始尺寸為1608MB。Chai等人[42]和1^等[43]人研宄了光??場(chǎng)渲染所需的最小樣本數(shù)鷥,并得出結(jié)論認(rèn)為,貢獻(xiàn)像素必須相互接觸才能呈現(xiàn)無(wú)重影??的新視圖。換句話說(shuō),相鄰視圖之間的最大視差必須小于1個(gè)像素,這是與攝像機(jī)分辨??率和場(chǎng)景深度密切相關(guān)的值;貢獻(xiàn)像素越接近(即,視差越小),內(nèi)插點(diǎn)將越尖銳。??鐺場(chǎng)景的幾何信息已知時(shí),可以大大減少所需樣本數(shù)量,即使是不規(guī)則采樣的光場(chǎng)??也適合新視圖渲染。Buehler等人[44]提出了一個(gè)廣義模型,使用不規(guī)則采樣圖像(即非??結(jié)構(gòu)化輸入)來(lái)結(jié)含光場(chǎng)渲染和基于深度圖像的渲染。為了呈現(xiàn)新視圖,使用“相機(jī)混??合潮來(lái)組合輸入的視圖,這和角度差、欠采樣估計(jì)以及視場(chǎng)(FOV)有關(guān)。??2.2光
【參考文獻(xiàn)】:
期刊論文
[1]基于光場(chǎng)分析的多線索融合深度估計(jì)方法[J]. 楊德剛,肖照林,楊恒,王慶. 計(jì)算機(jī)學(xué)報(bào). 2015(12)
[2]光場(chǎng)相機(jī)成像質(zhì)量評(píng)價(jià)方法研究[J]. 楊凡,袁艷,周志良. 現(xiàn)代電子技術(shù). 2011(06)
[3]光場(chǎng)相機(jī)中微透鏡陣列與探測(cè)器配準(zhǔn)誤差分析[J]. 袁艷,周宇,胡煌華. 光子學(xué)報(bào). 2010(01)
[4]基于光場(chǎng)攝像技術(shù)的對(duì)焦測(cè)距方法的研究[J]. 肖相國(guó),王忠厚,孫傳東,白加光. 光子學(xué)報(bào). 2008(12)
本文編號(hào):3298995
【文章來(lái)源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2_1四維光場(chǎng)的三種參數(shù)化表征:(a)相PDP;?(b)?SPP;?(c)?TPP??
2光場(chǎng)可視化分析??雖然全光涵數(shù)L(u,v,x,y)是一個(gè)筒化的光場(chǎng)模:型,隹很難想象這個(gè)4D表示。.在這一??小節(jié)中,我們將用H種不同的方式將4D光場(chǎng)可視化呈現(xiàn):子孔徑圖像、光場(chǎng)子視圖和??EPI圖像。??在兩平面光場(chǎng)模型L(u,v,x,y)中,我們可以將uv平面看作一組攝像機(jī),其焦平面位??于xy平面上.?梢圆扇煞N不同的觀點(diǎn)來(lái)理解這個(gè)模型。首先,每個(gè)攝像頭收集從xy??平面射出的光線并到達(dá)uv平面上的一個(gè)點(diǎn)(從某個(gè)視點(diǎn)收集光線)。固此,4D光場(chǎng)可??以表示為二維圖像陣列,如圖2-2?(a)所示。由相機(jī)記錄的每個(gè)圖像被稱為子孔徑圖像,??也被稱為針孔視圖。其次,在xy平面上的某個(gè)點(diǎn)代表了在uv平面上的所有點(diǎn)所限定的??光線(從不同視點(diǎn)的光線集合投射到某個(gè)點(diǎn)上,即從不同視點(diǎn)著到的相同點(diǎn)),見(jiàn)圖2-2??(b))。因?yàn)椋酰雳撁嬷械臉颖緮?shù)量取決于視點(diǎn)的數(shù)置,而xy平面中的取樣數(shù)量取決于??相機(jī)分辨率,所以U和v維度被稱為角度維度,x和y維度被稱為空:間維度??特別地,對(duì)于四維光場(chǎng)L(u,v,x,y),我們可以通過(guò)固定uv平面的坐標(biāo)和/,獲得??二維切片:也可以這么理解,逋過(guò)_定:某一個(gè)相機(jī)的位:置在處,采集.2D??切片IuV*(x,y),即子孔徑圖像。圖2-2?(a)右邊部分示出了一個(gè)子孔徑圖像。同理,通??過(guò)園.定xy平面的坐標(biāo)x*和y%得到切_片Ix*,y><u,v)。.?2D切片.I#.y*(u,v)通常指光場(chǎng)的子視??圖,也可以理解為此切片由來(lái)自不同視點(diǎn)的光線在每個(gè)點(diǎn)上聚集而形成,如圖2-2?(b)??所示。????\?i?\?\?\?\?\?\?r??■?^?%?L?%?Ak??(a)??■??i
?東南大學(xué)碩士學(xué)位論文???圖2-4編碼光場(chǎng)渲染虛擬視點(diǎn)??只要使用一組足夠密集的攝像機(jī),我們可以通過(guò)重新采樣和內(nèi)插光線[1],在球體表??面的任何位置(甚至更靠近物體)創(chuàng)建光場(chǎng)的虛擬渲染,而不是基于幾何信息[41]去合成??視點(diǎn)。圖2-4示出了比現(xiàn)有視圖更靠近對(duì)象(綠色形狀)的虛擬視圖(位于藍(lán)點(diǎn)處??由于光線的輻射度在自由空間中保持不變,因此可以從現(xiàn)有視圖重新采樣一些光線。然??而,仍有照相機(jī)沒(méi)有捕捉到的光線,因此必須通過(guò)內(nèi)插(例如,圖2-4中的虛線所示的??光線)進(jìn)行推斷。為了渲染這樣的光線,首先計(jì)算它們與兩個(gè)平面的交點(diǎn)坐標(biāo)。然后,??使用最近的16個(gè)采樣光線來(lái)插入虛擬光線。??在光場(chǎng)渲染中,不足的樣本會(huì)在新視圖中引起重影效應(yīng)。然而,獲取太多的光場(chǎng)樣??本是不切實(shí)際的_。例如,Levoy和Hanrahan?[1]提出的合成走廊光場(chǎng)使廟了四塊光板,每??塊光板包含64x32幅圖片,原始尺寸為1608MB。Chai等人[42]和1^等[43]人研宄了光??場(chǎng)渲染所需的最小樣本數(shù)鷥,并得出結(jié)論認(rèn)為,貢獻(xiàn)像素必須相互接觸才能呈現(xiàn)無(wú)重影??的新視圖。換句話說(shuō),相鄰視圖之間的最大視差必須小于1個(gè)像素,這是與攝像機(jī)分辨??率和場(chǎng)景深度密切相關(guān)的值;貢獻(xiàn)像素越接近(即,視差越小),內(nèi)插點(diǎn)將越尖銳。??鐺場(chǎng)景的幾何信息已知時(shí),可以大大減少所需樣本數(shù)量,即使是不規(guī)則采樣的光場(chǎng)??也適合新視圖渲染。Buehler等人[44]提出了一個(gè)廣義模型,使用不規(guī)則采樣圖像(即非??結(jié)構(gòu)化輸入)來(lái)結(jié)含光場(chǎng)渲染和基于深度圖像的渲染。為了呈現(xiàn)新視圖,使用“相機(jī)混??合潮來(lái)組合輸入的視圖,這和角度差、欠采樣估計(jì)以及視場(chǎng)(FOV)有關(guān)。??2.2光
【參考文獻(xiàn)】:
期刊論文
[1]基于光場(chǎng)分析的多線索融合深度估計(jì)方法[J]. 楊德剛,肖照林,楊恒,王慶. 計(jì)算機(jī)學(xué)報(bào). 2015(12)
[2]光場(chǎng)相機(jī)成像質(zhì)量評(píng)價(jià)方法研究[J]. 楊凡,袁艷,周志良. 現(xiàn)代電子技術(shù). 2011(06)
[3]光場(chǎng)相機(jī)中微透鏡陣列與探測(cè)器配準(zhǔn)誤差分析[J]. 袁艷,周宇,胡煌華. 光子學(xué)報(bào). 2010(01)
[4]基于光場(chǎng)攝像技術(shù)的對(duì)焦測(cè)距方法的研究[J]. 肖相國(guó),王忠厚,孫傳東,白加光. 光子學(xué)報(bào). 2008(12)
本文編號(hào):3298995
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3298995.html
最近更新
教材專著