光場(chǎng)密集子孔徑圖像編碼方法研究
發(fā)布時(shí)間:2021-04-13 21:43
光場(chǎng)成像技術(shù)能夠捕捉到環(huán)境中光線的位置和角度信息,因而可實(shí)現(xiàn)數(shù)字重聚焦、全景深擴(kuò)展、可編輯立體成像等傳統(tǒng)相機(jī)無法企及的創(chuàng)新功能。此外,由于光場(chǎng)圖像提供了連續(xù)且細(xì)膩的運(yùn)動(dòng)視差,所以可為用戶帶來更加真實(shí)且自然的觀看體驗(yàn),從而降低視覺疲勞。因此,在當(dāng)前公眾對(duì)媒體內(nèi)容新奇感及沉浸感需求迫切的背景下,光場(chǎng)技術(shù)將成為新一代智能視覺技術(shù)的關(guān)鍵支撐,同時(shí)也將推動(dòng)計(jì)算攝像學(xué)領(lǐng)域從數(shù)字化向智能化加速躍升。然而,光場(chǎng)密集子孔徑圖像(Sub-Aperture Image,SAI)成為計(jì)算攝像學(xué)領(lǐng)域研究熱點(diǎn)的同時(shí),其龐大的數(shù)據(jù)量對(duì)數(shù)據(jù)存儲(chǔ)與網(wǎng)絡(luò)傳輸帶來了巨大挑戰(zhàn),甚至嚴(yán)重制約著光場(chǎng)技術(shù)發(fā)展和應(yīng)用。因此,如何高效地壓縮光場(chǎng)密集子孔徑圖像,是解決光場(chǎng)技術(shù)瓶頸的關(guān)鍵問題,F(xiàn)有光場(chǎng)壓縮方法多以子孔徑圖像偽序列為對(duì)象,編碼過程并未充分考慮光場(chǎng)角度域相關(guān)性與稀疏性,因而光場(chǎng)數(shù)據(jù)冗余仍有大幅下降空間。針對(duì)現(xiàn)存問題,本文基于稀疏編碼與解碼重建的思路,以提高光場(chǎng)密集子孔徑圖像編碼效率為目的,開展了稀疏編碼與解碼重建框架、深度圖像估計(jì)與優(yōu)化以及稀疏優(yōu)化與殘差增強(qiáng)三個(gè)方面的研究工作。主要研究內(nèi)容和貢獻(xiàn)如下:第一,針對(duì)光場(chǎng)子孔徑圖像數(shù)...
【文章來源】:上海大學(xué)上海市 211工程院校
【文章頁數(shù)】:131 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
光場(chǎng)成像系統(tǒng)發(fā)展歷程
上海大學(xué)博士學(xué)位論文5于微透鏡陣列的光場(chǎng)相機(jī),Raytrix和Lytro,作為一種新型的計(jì)算相機(jī),逐漸成為獲取光場(chǎng)信息的主流消費(fèi)級(jí)產(chǎn)品。該類相機(jī)與傳統(tǒng)相機(jī)最大的區(qū)別,就在于該類相機(jī)在原有的感光元件前端放置了一層微透鏡陣列,這層微透鏡陣列將透過相機(jī)主透鏡的光線進(jìn)行再次折射并投射在感光元件上(如圖1.4所示),這使光場(chǎng)相機(jī)不僅可以根據(jù)微透鏡位置記錄下入射光線的位置,還可以記錄下入射光線的方向。再通過相應(yīng)的數(shù)學(xué)計(jì)算,還可以對(duì)采集到的圖像進(jìn)行校準(zhǔn)、標(biāo)定、提取深度、后對(duì)焦、合成視點(diǎn)、去模糊以及視頻穩(wěn)定等多種應(yīng)用[38-45]。根據(jù)不同的應(yīng)用需要選擇不同的光場(chǎng)數(shù)據(jù)采集手段,例如基于相機(jī)陣列的光場(chǎng)數(shù)據(jù)采集設(shè)備能夠?qū)?chǎng)景進(jìn)行寬視角采集。然而,對(duì)于實(shí)際應(yīng)用而言,基于微透鏡陣列的光場(chǎng)相機(jī)的可操作性更強(qiáng)。尤其對(duì)于實(shí)時(shí)應(yīng)用,基于微透鏡陣列光場(chǎng)相機(jī)可以在短時(shí)間內(nèi)處理光場(chǎng)數(shù)據(jù)的,因此也更具有應(yīng)用前景。物體主透鏡微透鏡陣列傳感器光線圖1.4基于微透鏡陣列的光場(chǎng)相機(jī)內(nèi)部結(jié)構(gòu)示意圖1.3.1光場(chǎng)圖像的四維特性(a)(b)圖1.5光場(chǎng)透鏡圖像。(a)光場(chǎng)透鏡圖像部分區(qū)域;(b)光場(chǎng)透鏡圖像細(xì)節(jié)放大圖1.5展示了基于微透鏡陣列光場(chǎng)相機(jī)拍攝所得到的光場(chǎng)圖像。該類光場(chǎng)相
上海大學(xué)博士學(xué)位論文6機(jī)通過復(fù)用傳感器采集到原始光場(chǎng)數(shù)據(jù),通常需要利用Matlab的光場(chǎng)工具箱(LightFieldToolboxv0.4)[38]進(jìn)行去馬賽克和去光暈處理,最終得到光場(chǎng)透鏡圖像(lensletimage),如圖1.5(a)所示。若將圖1.5(a)所示的光場(chǎng)透鏡圖像視為一幅普通的二維圖像,該圖像焦點(diǎn)在自行車的斜梁上,而其前景和背景處的輪胎均處于脫焦?fàn)顟B(tài)。當(dāng)放大觀察光場(chǎng)透鏡圖像時(shí),能夠發(fā)現(xiàn)它是由大量微透鏡所成的圓形單元圖像(ElementImage,EI)密集排布組成,如圖1.5(b)所示。單元圖像之間的互相關(guān)系體現(xiàn)了入射光線的空間位置關(guān)系,而單元圖像內(nèi)部像素之間的相互關(guān)系體現(xiàn)了入射光線的角度方向關(guān)系。單元圖像光場(chǎng)子孔徑圖像光場(chǎng)透鏡圖像圖1.6光場(chǎng)子孔徑圖像提取與重組過程(a)(b)(c)(d)圖1.7光場(chǎng)子孔徑圖像。(a)子孔徑圖像陣列;(b)最左邊與最右邊子孔徑圖像的誤差圖像;(c)最左邊子孔徑圖像;(d)最右邊子孔徑圖像
本文編號(hào):3136057
【文章來源】:上海大學(xué)上海市 211工程院校
【文章頁數(shù)】:131 頁
【學(xué)位級(jí)別】:博士
【部分圖文】:
光場(chǎng)成像系統(tǒng)發(fā)展歷程
上海大學(xué)博士學(xué)位論文5于微透鏡陣列的光場(chǎng)相機(jī),Raytrix和Lytro,作為一種新型的計(jì)算相機(jī),逐漸成為獲取光場(chǎng)信息的主流消費(fèi)級(jí)產(chǎn)品。該類相機(jī)與傳統(tǒng)相機(jī)最大的區(qū)別,就在于該類相機(jī)在原有的感光元件前端放置了一層微透鏡陣列,這層微透鏡陣列將透過相機(jī)主透鏡的光線進(jìn)行再次折射并投射在感光元件上(如圖1.4所示),這使光場(chǎng)相機(jī)不僅可以根據(jù)微透鏡位置記錄下入射光線的位置,還可以記錄下入射光線的方向。再通過相應(yīng)的數(shù)學(xué)計(jì)算,還可以對(duì)采集到的圖像進(jìn)行校準(zhǔn)、標(biāo)定、提取深度、后對(duì)焦、合成視點(diǎn)、去模糊以及視頻穩(wěn)定等多種應(yīng)用[38-45]。根據(jù)不同的應(yīng)用需要選擇不同的光場(chǎng)數(shù)據(jù)采集手段,例如基于相機(jī)陣列的光場(chǎng)數(shù)據(jù)采集設(shè)備能夠?qū)?chǎng)景進(jìn)行寬視角采集。然而,對(duì)于實(shí)際應(yīng)用而言,基于微透鏡陣列的光場(chǎng)相機(jī)的可操作性更強(qiáng)。尤其對(duì)于實(shí)時(shí)應(yīng)用,基于微透鏡陣列光場(chǎng)相機(jī)可以在短時(shí)間內(nèi)處理光場(chǎng)數(shù)據(jù)的,因此也更具有應(yīng)用前景。物體主透鏡微透鏡陣列傳感器光線圖1.4基于微透鏡陣列的光場(chǎng)相機(jī)內(nèi)部結(jié)構(gòu)示意圖1.3.1光場(chǎng)圖像的四維特性(a)(b)圖1.5光場(chǎng)透鏡圖像。(a)光場(chǎng)透鏡圖像部分區(qū)域;(b)光場(chǎng)透鏡圖像細(xì)節(jié)放大圖1.5展示了基于微透鏡陣列光場(chǎng)相機(jī)拍攝所得到的光場(chǎng)圖像。該類光場(chǎng)相
上海大學(xué)博士學(xué)位論文6機(jī)通過復(fù)用傳感器采集到原始光場(chǎng)數(shù)據(jù),通常需要利用Matlab的光場(chǎng)工具箱(LightFieldToolboxv0.4)[38]進(jìn)行去馬賽克和去光暈處理,最終得到光場(chǎng)透鏡圖像(lensletimage),如圖1.5(a)所示。若將圖1.5(a)所示的光場(chǎng)透鏡圖像視為一幅普通的二維圖像,該圖像焦點(diǎn)在自行車的斜梁上,而其前景和背景處的輪胎均處于脫焦?fàn)顟B(tài)。當(dāng)放大觀察光場(chǎng)透鏡圖像時(shí),能夠發(fā)現(xiàn)它是由大量微透鏡所成的圓形單元圖像(ElementImage,EI)密集排布組成,如圖1.5(b)所示。單元圖像之間的互相關(guān)系體現(xiàn)了入射光線的空間位置關(guān)系,而單元圖像內(nèi)部像素之間的相互關(guān)系體現(xiàn)了入射光線的角度方向關(guān)系。單元圖像光場(chǎng)子孔徑圖像光場(chǎng)透鏡圖像圖1.6光場(chǎng)子孔徑圖像提取與重組過程(a)(b)(c)(d)圖1.7光場(chǎng)子孔徑圖像。(a)子孔徑圖像陣列;(b)最左邊與最右邊子孔徑圖像的誤差圖像;(c)最左邊子孔徑圖像;(d)最右邊子孔徑圖像
本文編號(hào):3136057
本文鏈接:http://sikaile.net/shoufeilunwen/xxkjbs/3136057.html
最近更新
教材專著