發(fā)布時(shí)間：2020-09-16 09:32

　　 視頻作為人類(lèi)傳播信息的重要手段,早已在人們的日常生活、工作、學(xué)習(xí)、娛樂(lè)、交際等方面成為不可或缺的一部分。隨著科技的進(jìn)步,人們對(duì)于視頻質(zhì)量的需求也在日益增長(zhǎng),這促使了視頻編碼技術(shù)不斷地變革與發(fā)展。相較于傳統(tǒng)的二維視頻,多視點(diǎn)立體視頻能夠提供更具“浸入感”的觀感體驗(yàn),應(yīng)用前景十分廣闊。隨著對(duì)視頻分辨率需求的提高以及多視點(diǎn)的引入,互聯(lián)網(wǎng)的傳輸以及編碼單元的處理能力承受著日益嚴(yán)峻的挑戰(zhàn)。為了規(guī)范多視點(diǎn)視頻編碼、提高效率,由國(guó)際電工委員會(huì)(ISO/IEC)以及國(guó)際電信聯(lián)盟組織(ITU-T)聯(lián)合組織并成立了 3D視頻編碼聯(lián)合小組(JCT-3V),制定推出了新一代多視點(diǎn)立體視頻編碼標(biāo)準(zhǔn)(3D-HEVC)。與上一代多視點(diǎn)立體視頻編碼標(biāo)準(zhǔn)(Multi-view VideoCoding,MVC)相比,比特率平均有50%的減小。然而,新一代編碼標(biāo)準(zhǔn)的計(jì)算復(fù)雜度也成倍增長(zhǎng),這使得新標(biāo)準(zhǔn)難以直接推廣實(shí)際應(yīng)用。因此,對(duì)3D-HEVC中的關(guān)鍵技術(shù)進(jìn)行深入分析,并依據(jù)其內(nèi)在機(jī)理進(jìn)行性能優(yōu)化,具有十分重要的理論與現(xiàn)實(shí)意義。在此背景下,本文展開(kāi)了對(duì)3D-HEVC算法的優(yōu)化研究。首先,從虛擬視點(diǎn)合成機(jī)制入手,對(duì)紋理/深度圖與合成視點(diǎn)的依賴(lài)性關(guān)系以及基礎(chǔ)視點(diǎn)與依賴(lài)視點(diǎn)間的依賴(lài)性關(guān)系進(jìn)行深入分析,并在此基礎(chǔ)上提出了紋理/深度圖、基礎(chǔ)/依賴(lài)視點(diǎn)間的優(yōu)化比特分配方案;其次,結(jié)合三維視頻編碼視間預(yù)測(cè)新特性提出一種低復(fù)雜度碼率控制策略,不僅對(duì)初始量化參數(shù)決策機(jī)制進(jìn)行研究,同時(shí)結(jié)合緩沖區(qū)約束條件提出了上層圖像組級(jí)和幀級(jí)的優(yōu)化比特分配方案;然后,通過(guò)合成視點(diǎn)失真產(chǎn)生機(jī)理的研究,提出了基于虛擬視點(diǎn)失真估計(jì)模型的率失真優(yōu)化算法,降低了深度圖編碼復(fù)雜度;最后,通過(guò)分析深度圖像素對(duì)虛擬視點(diǎn)質(zhì)量的影響,提出一種快速深度圖編碼策略,獲得了編碼效率與編碼質(zhì)量的平衡方法。本文提出的算法在達(dá)到碼率控制的同時(shí)也能取得較高的編碼效率,而且保證了緩沖區(qū)在編碼過(guò)程中不發(fā)生溢出,以及在保證虛擬合成視點(diǎn)質(zhì)量的前提下,顯著降低深度圖編碼時(shí)間復(fù)雜度。本論文主要的創(chuàng)新性工作包括:(1)基于視間依賴(lài)性的視點(diǎn)間優(yōu)化比特分配技術(shù)針對(duì)多視點(diǎn)紋理及對(duì)應(yīng)深度圖序列的聯(lián)合編碼資源分配問(wèn)題提出了基于虛擬合成視點(diǎn)失真估計(jì)模型的解決方案。首先,針對(duì)解碼重建的紋理視頻及對(duì)應(yīng)的深度圖序列的平均失真、碼率之間的關(guān)系,對(duì)多視點(diǎn)紋理視頻率失真模型及深度圖序列率失真進(jìn)行建模;其次,提出合成視點(diǎn)失真模型,并結(jié)合紋理深度失真模型得到虛擬視點(diǎn)-紋理深度圖聯(lián)合碼率失真模型;然后,通過(guò)研究基礎(chǔ)視點(diǎn)對(duì)依賴(lài)視點(diǎn)的質(zhì)量影響,推導(dǎo)出依賴(lài)視點(diǎn)失真模型,基于上述兩個(gè)失真模型將紋理/深度、基礎(chǔ)/依賴(lài)視點(diǎn)的聯(lián)合碼率分配方案構(gòu)建成一個(gè)約束條件下的優(yōu)化問(wèn)題;最后,利用牛頓迭代法求解并指導(dǎo)視點(diǎn)間資源分配達(dá)到最大化所有視點(diǎn)質(zhì)量的目標(biāo)。(2)緩沖區(qū)約束條件下的碼率控制算法保證滿(mǎn)足緩沖區(qū)約束條件是碼率控制的重要目標(biāo)之一,即應(yīng)能保證在編碼過(guò)程中緩沖區(qū)不會(huì)發(fā)生溢出,這需要碼率控制在編碼過(guò)程中能夠及時(shí)地根據(jù)緩沖區(qū)狀態(tài)的反饋調(diào)整比特分配,以產(chǎn)生能夠滿(mǎn)足需要的碼流。本文首先對(duì)原有的初始量化參數(shù)決策算法進(jìn)行分析,基于三維視頻編碼新特性引入視間依賴(lài)性,提出了改進(jìn)的初始量化參數(shù)策略,以及結(jié)合視間依賴(lài)性的碼率控制算法。該算法充分地考慮緩沖區(qū)約束條件下面向質(zhì)量平滑的比特分配方案,在達(dá)到碼率控制的同時(shí)得到較高的編碼效率。(3)基于合成視點(diǎn)失真估計(jì)的深度圖編碼算法深度圖用于指導(dǎo)虛擬視點(diǎn)合成而非人眼觀看,因此為了提高深度圖編碼效率,在深度圖編碼率失真優(yōu)化過(guò)程中,需要獲得深度圖失真引起的合成視點(diǎn)失真。當(dāng)前3D-HEVC標(biāo)準(zhǔn)技術(shù)中,在深度圖編碼過(guò)程中引入虛擬視點(diǎn)合成過(guò)程,從而得到當(dāng)前編碼深度圖失真引起的合成視點(diǎn)失真,這一過(guò)程引入了巨大的編碼開(kāi)銷(xiāo)。為了降低深度圖編碼復(fù)雜度,本文對(duì)3D-HEVC中虛擬視點(diǎn)合成的機(jī)理進(jìn)行研究,提出了基于插值的合成視點(diǎn)失真估計(jì)模型,替代復(fù)雜度過(guò)高的虛擬視點(diǎn)合成過(guò)程,用于指導(dǎo)深度圖編碼的率失真優(yōu)化。(4)一種低復(fù)雜度深度圖率失真優(yōu)化算法通過(guò)對(duì)虛擬視點(diǎn)合成過(guò)程的分析,發(fā)現(xiàn)前景、背景紋理圖像素值的差異會(huì)對(duì)由深度圖像素失真造成的合成視點(diǎn)失真產(chǎn)生較大影響,為此基于此提出了深度圖像素分類(lèi)方法,進(jìn)而基于深度像素分類(lèi)把深度圖編碼單元(CodingTreeUnits,CTU)分為基于預(yù)測(cè)編碼的CTU和基于視點(diǎn)合成編碼的CTU兩類(lèi),更進(jìn)一步地對(duì)深度圖編碼進(jìn)行混合率失真優(yōu)化。本文提出的深度圖率失真優(yōu)化算法在保證虛擬合成視點(diǎn)編碼質(zhì)量的同時(shí),顯著地降低了深度圖序列編碼復(fù)雜度。本文將視間依賴(lài)性與碼率控制有機(jī)地結(jié)合起來(lái),實(shí)現(xiàn)了優(yōu)化的比特分配,準(zhǔn)確的碼率控制,同時(shí),通過(guò)深度圖與合成視點(diǎn)優(yōu)化的研究達(dá)到更高效的深度圖編碼,是對(duì)三維視頻編碼的有益探索。
【學(xué)位單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類(lèi)】：TN919.81
【部分圖文】：

為標(biāo)準(zhǔn)數(shù)據(jù)格式，本文余下部分研宄內(nèi)容均基于該數(shù)據(jù)格式。逡逑１．４．２三維視頻的采集逡逑三維紋理視頻信號(hào)采用如圖１．２所示的直線(xiàn)形、環(huán)形和二維平面形等不同的攝像機(jī)逡逑排列方式拍攝得到［３５］。不同視點(diǎn)的視頻信號(hào)需要進(jìn)一步進(jìn)行標(biāo)定（ＣａＵｂｍｔｋｍ）和同步逡逑（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）等預(yù)處理操作進(jìn)行校正。標(biāo)定操作為了確定攝像陣列中各個(gè)攝像機(jī)機(jī)的逡逑相機(jī)參數(shù)（包括內(nèi)部參數(shù)和外部參數(shù)）［５（３］；同步操作為了保證攝像陣列中所有攝像機(jī)在同逡逑一時(shí)刻進(jìn)行視頻采集。逡逑■邋１１邋Ｉ邋Ｉ邋ｎ逡逑一＾＇邋一＂邋＇邋＂邋￣￣＇逡逑N邋＾邐Ｊ逡逑圖１．２三維視頻攝像機(jī)陣列不同的排列方式逡逑Ｆｉｇ．邋１．２邋Ｄｉｆｆｅｒｅｎｔ邋ａｒｒａｎｇｅｍｅｎｔ邋ｏｆ邋３ＤＶ邋ｃａｍｅｒａ邋ａｒｒａｙ逡逑－７－逡逑

從而可以降低攝像機(jī)陣列的空間密集程度，大大減少了視頻數(shù)據(jù)量。ＤＩＢＲ技逡逑術(shù)通過(guò)結(jié)合深度數(shù)據(jù)與攝像機(jī)參數(shù)，將參考視點(diǎn)投影到世界坐標(biāo)系中，再將世界坐標(biāo)系逡逑中的點(diǎn)投影回虛擬位置生成虛擬視點(diǎn)。如圖１．３所示，基于ＤＩＢＲ技術(shù)的虛擬視點(diǎn)渲染逡逑方法主要包括３Ｄ變換、圖像融合和空洞填補(bǔ)等技術(shù)。三維變換本質(zhì)上是坐標(biāo)變換，計(jì)逡逑算復(fù)雜度低，并且可以提供高質(zhì)量的虛擬圖像，迅速成為視點(diǎn)渲染領(lǐng)域的研究熱點(diǎn)［８６＿９１］。逡逑左視點(diǎn)逡逑

本文編號(hào)：2819698