受限于輸入數(shù)據(jù)的內(nèi)容信息，參考視點(diǎn)的巧度圖和紋理圖不可能覆蓋場景中的所有幾何結(jié)構(gòu)和紋理內(nèi)容。由于不同視點(diǎn)間的位置關(guān)系，參考視點(diǎn)中可見的部分信息在虛擬視點(diǎn)中變?yōu)椴豢梢妳^(qū)域，而參考視點(diǎn)中被前景物體遮擋的不可見區(qū)域很有可能會在虛擬視點(diǎn)中變?yōu)榭梢妳^(qū)域，此時無法從參考視點(diǎn)中直接找到對應(yīng)的有效像素點(diǎn)，新出現(xiàn)的可見區(qū)域就成為了空洞，圖1.7所示為其中的一種情況。遮擋空洞問題一般出現(xiàn)在邊緣位置附近，包括具有不同深度值的區(qū)域之間的位移，以及由于視角轉(zhuǎn)換造成的圖徐邊緣位置的空洞區(qū)域。空洞問題在O曲反算法中普遍存在，并且由遮擋關(guān)系和視角變換造成的空洞區(qū)域面積通常都比較大，簡單的圖像處理方法無法應(yīng)對這類問題，必須找到合理的算法來修復(fù)相應(yīng)的空洞區(qū)域，才能獲得高質(zhì)量的虛擬視點(diǎn)圖僚。這些問題這不僅對繪制視點(diǎn)的質(zhì)量有著嚴(yán)重的影響，對用戶的觀看體驗(yàn)也造成了一定的干擾。針對這些問題的研究是本文的主要內(nèi)容之一。

........

2基于超像素修復(fù)的虛擬視點(diǎn)繪制算法研究

2.1引言

此外化有文獻(xiàn)提出了不同的修復(fù)方案。Zhang等人用小波變換將圖像分解為結(jié)構(gòu)和紋理兩類不同性質(zhì)的子圖像，對結(jié)構(gòu)部分采用基于PDE的擴(kuò)散方法，對紋理部分采用基于樣本塊的填充方法，融合兩部分來得到最終的修復(fù)結(jié)果。Wu等人提出了基于剪切波變換的圖像分解后的混合修復(fù)方法，優(yōu)于小波變換巧結(jié)果。則使用不同參數(shù)對低分辨率圖像進(jìn)行多次，然后通過超分辨率恢復(fù)來還原圖像細(xì)節(jié)信息。綜合來看，圍像修復(fù)屬于病態(tài)問題，在實(shí)脈求解過程中往往只能根據(jù)已知區(qū)域內(nèi)的信息對待修復(fù)區(qū)域的內(nèi)容進(jìn)行預(yù)測和估計，很難獲得原始圖像的真實(shí)內(nèi)容。因此實(shí)際效果仍有待提高，算法效率也亟待解決。

2.2像修復(fù)常用算法

根據(jù)前文的分析，反算法中主要存在的問題包括虛假輪廓、重采樣、可見性和遮擋空洞等，其根源在于輸入數(shù)據(jù)的局限性和對已有信息的利用不夠充分。本文首先通過一種快速的深度圖預(yù)處理算法來應(yīng)對偽影問題，通過雙向映射來處理重采樣和可見性問題，最后利用深度信息和超像素分割來對空洞區(qū)域進(jìn)行方向性修復(fù)，填補(bǔ)空洞區(qū)域。本算法充分利用了輸入數(shù)據(jù)的幾何結(jié)構(gòu)信息和紋理信息，為算法中的各類問題提供了相應(yīng)的解決方窠。算法框圖如圖2.3所示，輸入為參考視點(diǎn)的紋理圖和對應(yīng)的深度圖，輸出為虛擬視點(diǎn)位置下的紋理圖，通過繪制虛擬視點(diǎn)圖像，可以滿足不同立體顯示條件下的使用需求。

3基于背景信息累計融合的視頻空洞修復(fù)算法研究.........25

3.1引言....26
3.2視頻預(yù)處理......27
4平板立體顯示優(yōu)化算法研究........37
4.1引言........38
4、2同三維空間的映射模型及畸變分析.......39
4.3視覺舒適度與視覺顯著度分析.....44
5總結(jié)與展望.......55

4平板立體顯示優(yōu)化算法研究

4.1引言

傳統(tǒng)的3D內(nèi)容大多是在確定的觀看前提下拍攝巧，無法根據(jù)不同的顯示場景和不同的觀看喜好做進(jìn)一步的調(diào)整，當(dāng)顯示場景發(fā)生變化時，立體顯示效果往往會大打折扣。例如用于影院播放的3D電影在3D手持沒備上播放時，屏幕視差會超出觀看的舒適區(qū)域，甚至導(dǎo)致視點(diǎn)間無法融合，出現(xiàn)多重畫面。因此單一的3D片源無法在不同顯示場景下播放，更無法滿足不同用戶的觀看需求，必須找到合適的調(diào)整方式來對3D內(nèi)容的顯示效果進(jìn)行化化。上文提到了基于紋理圖加深度圖格式的系統(tǒng)架構(gòu)，這種數(shù)據(jù)輸入格式使得后期的參數(shù)調(diào)整與視差優(yōu)化成為可能。盡管場景的幾何信息在拍攝時己經(jīng)固定，例如相機(jī)間跑和會聚平面等，但是通過虛擬相機(jī)參數(shù)設(shè)計和多視點(diǎn)重建，顯示端的立體感知體驗(yàn)依然可以根據(jù)個人的喜好和顯示屏幕的大小來進(jìn)行調(diào)整和優(yōu)化。

4.2不同三維空間的映射模型及畸變分析

圖4.3（C）為離軸立體相機(jī)模型，與平行式模型類似，，攝像機(jī)位于同一條直線上，間距相等，光軸互相平行。只存在水平視差，不會引入垂直視差。不同的是，在離軸式相機(jī)撰型中，CCD傳感器在水平方向上進(jìn)行了偏移，導(dǎo)致傳感器中記與光成、的連線相交于空間中的一點(diǎn)。該點(diǎn)深度平面上所有空間點(diǎn)的視差均為零，深度平面前后則分別對應(yīng)負(fù)視差和正視差。通過控制偏移量的大小來調(diào)整視差，既有田出顯示屏的效果，又有凹進(jìn)顯示屏的效果。但是這種相機(jī)摸型存在結(jié)構(gòu)復(fù)雜，價格昂貴等缺點(diǎn)。三種相機(jī)模型各有優(yōu)劣，在具體實(shí)現(xiàn)中應(yīng)當(dāng)根據(jù)特定的顯示條件來選擇合理的相機(jī)模型。對于虛擬相機(jī)模型設(shè)計而言，離軸式虛擬相機(jī)模型不存在硬件問題，既沒有垂直視差對人暇的影響，又包含了正負(fù)視差，滿足凸出和凹進(jìn)屏幕的立體顯示效果，是設(shè)計虛抵棲機(jī)參數(shù)的最佳選擇。

.....

5總結(jié)與展望

本文在實(shí)驗(yàn)室的立體顯示系統(tǒng)平臺上，重點(diǎn)研究面向平板立體顯示器的視點(diǎn)內(nèi)容的高質(zhì)量重建和顯示算法，研究工作取得了如下成果：（1）針對算法中存在的主要問題，提出了一種基于SLIC修復(fù)的虛擬視點(diǎn)繪制算法，提高了虛擬視點(diǎn)的繪制質(zhì)量。通過深度圖預(yù)處理算法處理邊緣的不可信區(qū)域，消除虛擬視點(diǎn)中虛假輪廓的干擾；通過雙向映射來解決可見性造成的遮擋問題和重采樣造成的細(xì)小空洞問題；利用超像素的內(nèi)部一致性和邊緣保持性，修復(fù)圖像邊緣區(qū)域和不同深度層間的空洞問題。（2）針對虛擬視點(diǎn)視頻序列中的空洞問題，提出了一種基于時空域背景信息累積融合的空洞修復(fù)方案，獲得了較好的修復(fù)效果。首先對視頻序列進(jìn)行運(yùn)動狀態(tài)判斷，對于攝徐機(jī)運(yùn)動狀態(tài)下拍攝的視頻序列進(jìn)行全局運(yùn)動估計和補(bǔ)償，聯(lián)合時空域信息對背景進(jìn)行累積，利用真實(shí)的內(nèi)容信怠對虛擬視點(diǎn)視頻中的空洞區(qū)域進(jìn)行融合修復(fù)，結(jié)果真實(shí)可信，在時域上具有視覺一致性。

.......

參考文獻(xiàn)（略）

本文編號：62454