基于幀間相似性的光場圖像壓縮與對象分割算法
發(fā)布時間:2021-01-28 20:53
光場圖像是能夠對三維場景進行表達的一種新型數據結構。一張光場圖像理論上完整地記錄了空間內所有光線在所有空間和角度位置下的情況,可以用于三維重建、深度估計、重聚焦等等方面。現實中已經有大量的游戲、穿戴設備等應用了光場技術,能夠提供更加自然的三維仿真體驗。光場圖像可以由普通相機通過掃描式或陣列式結構拍攝,再或者由專門的光場相機進行拍攝。光場相機使用內置的微透鏡陣列對同一場景進行多空間位置,多角度方向的拍攝,其中包含了同一場景的四維信息。與普通圖像相比,其具有超大的數據量、超高的空間冗余量。光場圖像在存儲、可視化等等方面還有大量需要被完成的基礎工作。當前主流的光場圖像處理過程都需要先將其解碼為偽序列。解碼后的圖像陣列是相鄰幀具有微小變化的二維序列,按照不同的掃描方式可以將其一維化轉換為偽序列。偽序列的表示使得光場的空間角度結構得到了更加清晰的展現。與一般圖像集相比,這樣的偽序列在幀與幀之間僅具有微小的空間角度參數變化。本文將利用這樣的特性,針對光場圖像壓縮算法和對象分割算法兩方面的具體實現來進行討論,對幀間相似性提出相應的更為恰當的度量,以提高算法的性能。針對偽序列的壓縮算法,我們使用基于視...
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數】:69 頁
【學位級別】:碩士
【部分圖文】:
圖1.1?M.Levoy等提出的4維光場模型
?第1章緒?論???V?t??一一?L(u,v,s,t)??圖1.1?M.Levoy等提出的4維光場模型。??數化表示為L(W,y,s,r)。這樣的模型也適用于現實中絕大部分的成像系統(tǒng)。??1.1.2光場圖像的獲取??圖1.2經過后處理的原始光場圖像。??根據4維光場圖像的表示理論,為了記錄空間光線信息,掃描式與陣列式??光場相機先后被設計出來。掃描式相機通過將普通相機架設在可移動的裝置上,??移動相機的同時使用不同的相機參數并按順序記錄對應的場景信息,并通過記??錄相機的位置,角度和內參獲取空間,角度和固定參數。如,Levoy等將相機架??設在有4個自由度的機械臂上,通過調整機械臂參數實現移動。這樣的相機成本??較低,但樣本獲取時間過長,不滿足4維光場函數的對單一時間的假設,無法捕??捉動態(tài)的場景。并且,裝置的實現復雜,不足以進行生活中的應用。陣列式相機??則在同一時間不同空間角度位置設立相機組進行采樣,這樣會使結構更加緊湊??但成本較高,作為代表的有斯坦福大學的陣列相機組,F行主流的光場相機如??Lytro相機等是基于陣列式的,但其并非通過多相機拍攝,而通常是在單相機內??部的成像元件前插入微透鏡陣列代替多相機排列采樣的方式,達到4維采樣的??目的。這樣的相機結構進一步降低了多相機拍攝的成本,同時相機參數也更加容??易控制。Lytro相機是一款商業(yè)級的光場相機,第一版于2012年發(fā)布,由主透鏡??和微透鏡陣列共同組成鏡頭,使用了基于光場的重聚焦技術使拍攝過程免于對??焦。Raytrix公司也開發(fā)了一系列商業(yè)級的光場相機,其精度和價格均高于Lytro??2??
和碼率分配策略。[8]在上述工作的基礎上,根據普通視頻序列的層次編碼結構,??擴展出2維空間上的層次編碼結構,并進一步據此給出了參考幀的選擇方法。??3_?JPEG?Pleno?標準??JPEG在2015年推出了?JPEG?Pleno標準來處理光場圖像的壓縮。JPEG?Pleno??本身包括4個部分,光場數據的壓縮處于第2部分,旨在標準化光場編碼技術和??元數據格式,使得其能夠處理光場應用上的如相機校準等問題。該標準不僅針對??紋理,也會對視差和深度信息提供相應的編碼和解碼工具。如圖1.3所示,JPEG??D。簦?Map?V?4D?Prediction??I ̄^X?Mode? ̄\??Camera?」p?^???1?JPEG?Pleno??Parameters?I?1?—?File?Format??,1?4D?Transform?一????Light?Field?-1T?[?Mode?[??圖1.3?JPEG?P丨eno中光場編碼器的結構。??Pleno的光場編碼器使用原始光場(Light?Field),深度圖(Depth?Map)和相機參數??(Camera?Parameters)對光場圖像進行編碼,并提供了?4維預測編碼(4D?Prediction??Mode)和4維變換編碼(4D?Transform?Mode)兩種模式。如1.4所不,和視頻序??列層次編碼思想類似,4維預測模式先將view按照空間位置劃分為不同層次的??子集,高層子集中的幀使用相鄰的低層子集中的幀根據深度圖的變換結果作為??參考(Reference?View?Coding)。變換結果再根據最優(yōu)線性預測進行view的融
本文編號:3005676
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數】:69 頁
【學位級別】:碩士
【部分圖文】:
圖1.1?M.Levoy等提出的4維光場模型
?第1章緒?論???V?t??一一?L(u,v,s,t)??圖1.1?M.Levoy等提出的4維光場模型。??數化表示為L(W,y,s,r)。這樣的模型也適用于現實中絕大部分的成像系統(tǒng)。??1.1.2光場圖像的獲取??圖1.2經過后處理的原始光場圖像。??根據4維光場圖像的表示理論,為了記錄空間光線信息,掃描式與陣列式??光場相機先后被設計出來。掃描式相機通過將普通相機架設在可移動的裝置上,??移動相機的同時使用不同的相機參數并按順序記錄對應的場景信息,并通過記??錄相機的位置,角度和內參獲取空間,角度和固定參數。如,Levoy等將相機架??設在有4個自由度的機械臂上,通過調整機械臂參數實現移動。這樣的相機成本??較低,但樣本獲取時間過長,不滿足4維光場函數的對單一時間的假設,無法捕??捉動態(tài)的場景。并且,裝置的實現復雜,不足以進行生活中的應用。陣列式相機??則在同一時間不同空間角度位置設立相機組進行采樣,這樣會使結構更加緊湊??但成本較高,作為代表的有斯坦福大學的陣列相機組,F行主流的光場相機如??Lytro相機等是基于陣列式的,但其并非通過多相機拍攝,而通常是在單相機內??部的成像元件前插入微透鏡陣列代替多相機排列采樣的方式,達到4維采樣的??目的。這樣的相機結構進一步降低了多相機拍攝的成本,同時相機參數也更加容??易控制。Lytro相機是一款商業(yè)級的光場相機,第一版于2012年發(fā)布,由主透鏡??和微透鏡陣列共同組成鏡頭,使用了基于光場的重聚焦技術使拍攝過程免于對??焦。Raytrix公司也開發(fā)了一系列商業(yè)級的光場相機,其精度和價格均高于Lytro??2??
和碼率分配策略。[8]在上述工作的基礎上,根據普通視頻序列的層次編碼結構,??擴展出2維空間上的層次編碼結構,并進一步據此給出了參考幀的選擇方法。??3_?JPEG?Pleno?標準??JPEG在2015年推出了?JPEG?Pleno標準來處理光場圖像的壓縮。JPEG?Pleno??本身包括4個部分,光場數據的壓縮處于第2部分,旨在標準化光場編碼技術和??元數據格式,使得其能夠處理光場應用上的如相機校準等問題。該標準不僅針對??紋理,也會對視差和深度信息提供相應的編碼和解碼工具。如圖1.3所示,JPEG??D。簦?Map?V?4D?Prediction??I ̄^X?Mode? ̄\??Camera?」p?^???1?JPEG?Pleno??Parameters?I?1?—?File?Format??,1?4D?Transform?一????Light?Field?-1T?[?Mode?[??圖1.3?JPEG?P丨eno中光場編碼器的結構。??Pleno的光場編碼器使用原始光場(Light?Field),深度圖(Depth?Map)和相機參數??(Camera?Parameters)對光場圖像進行編碼,并提供了?4維預測編碼(4D?Prediction??Mode)和4維變換編碼(4D?Transform?Mode)兩種模式。如1.4所不,和視頻序??列層次編碼思想類似,4維預測模式先將view按照空間位置劃分為不同層次的??子集,高層子集中的幀使用相鄰的低層子集中的幀根據深度圖的變換結果作為??參考(Reference?View?Coding)。變換結果再根據最優(yōu)線性預測進行view的融
本文編號:3005676
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3005676.html
最近更新
教材專著