發(fā)布時間：2020-09-16 09:32

　　 視頻作為人類傳播信息的重要手段,早已在人們的日常生活、工作、學習、娛樂、交際等方面成為不可或缺的一部分。隨著科技的進步,人們對于視頻質(zhì)量的需求也在日益增長,這促使了視頻編碼技術(shù)不斷地變革與發(fā)展。相較于傳統(tǒng)的二維視頻,多視點立體視頻能夠提供更具“浸入感”的觀感體驗,應用前景十分廣闊。隨著對視頻分辨率需求的提高以及多視點的引入,互聯(lián)網(wǎng)的傳輸以及編碼單元的處理能力承受著日益嚴峻的挑戰(zhàn)。為了規(guī)范多視點視頻編碼、提高效率,由國際電工委員會(ISO/IEC)以及國際電信聯(lián)盟組織(ITU-T)聯(lián)合組織并成立了 3D視頻編碼聯(lián)合小組(JCT-3V),制定推出了新一代多視點立體視頻編碼標準(3D-HEVC)。與上一代多視點立體視頻編碼標準(Multi-view VideoCoding,MVC)相比,比特率平均有50%的減小。然而,新一代編碼標準的計算復雜度也成倍增長,這使得新標準難以直接推廣實際應用。因此,對3D-HEVC中的關(guān)鍵技術(shù)進行深入分析,并依據(jù)其內(nèi)在機理進行性能優(yōu)化,具有十分重要的理論與現(xiàn)實意義。在此背景下,本文展開了對3D-HEVC算法的優(yōu)化研究。首先,從虛擬視點合成機制入手,對紋理/深度圖與合成視點的依賴性關(guān)系以及基礎(chǔ)視點與依賴視點間的依賴性關(guān)系進行深入分析,并在此基礎(chǔ)上提出了紋理/深度圖、基礎(chǔ)/依賴視點間的優(yōu)化比特分配方案;其次,結(jié)合三維視頻編碼視間預測新特性提出一種低復雜度碼率控制策略,不僅對初始量化參數(shù)決策機制進行研究,同時結(jié)合緩沖區(qū)約束條件提出了上層圖像組級和幀級的優(yōu)化比特分配方案;然后,通過合成視點失真產(chǎn)生機理的研究,提出了基于虛擬視點失真估計模型的率失真優(yōu)化算法,降低了深度圖編碼復雜度;最后,通過分析深度圖像素對虛擬視點質(zhì)量的影響,提出一種快速深度圖編碼策略,獲得了編碼效率與編碼質(zhì)量的平衡方法。本文提出的算法在達到碼率控制的同時也能取得較高的編碼效率,而且保證了緩沖區(qū)在編碼過程中不發(fā)生溢出,以及在保證虛擬合成視點質(zhì)量的前提下,顯著降低深度圖編碼時間復雜度。本論文主要的創(chuàng)新性工作包括:(1)基于視間依賴性的視點間優(yōu)化比特分配技術(shù)針對多視點紋理及對應深度圖序列的聯(lián)合編碼資源分配問題提出了基于虛擬合成視點失真估計模型的解決方案。首先,針對解碼重建的紋理視頻及對應的深度圖序列的平均失真、碼率之間的關(guān)系,對多視點紋理視頻率失真模型及深度圖序列率失真進行建模;其次,提出合成視點失真模型,并結(jié)合紋理深度失真模型得到虛擬視點-紋理深度圖聯(lián)合碼率失真模型;然后,通過研究基礎(chǔ)視點對依賴視點的質(zhì)量影響,推導出依賴視點失真模型,基于上述兩個失真模型將紋理/深度、基礎(chǔ)/依賴視點的聯(lián)合碼率分配方案構(gòu)建成一個約束條件下的優(yōu)化問題;最后,利用牛頓迭代法求解并指導視點間資源分配達到最大化所有視點質(zhì)量的目標。(2)緩沖區(qū)約束條件下的碼率控制算法保證滿足緩沖區(qū)約束條件是碼率控制的重要目標之一,即應能保證在編碼過程中緩沖區(qū)不會發(fā)生溢出,這需要碼率控制在編碼過程中能夠及時地根據(jù)緩沖區(qū)狀態(tài)的反饋調(diào)整比特分配,以產(chǎn)生能夠滿足需要的碼流。本文首先對原有的初始量化參數(shù)決策算法進行分析,基于三維視頻編碼新特性引入視間依賴性,提出了改進的初始量化參數(shù)策略,以及結(jié)合視間依賴性的碼率控制算法。該算法充分地考慮緩沖區(qū)約束條件下面向質(zhì)量平滑的比特分配方案,在達到碼率控制的同時得到較高的編碼效率。(3)基于合成視點失真估計的深度圖編碼算法深度圖用于指導虛擬視點合成而非人眼觀看,因此為了提高深度圖編碼效率,在深度圖編碼率失真優(yōu)化過程中,需要獲得深度圖失真引起的合成視點失真。當前3D-HEVC標準技術(shù)中,在深度圖編碼過程中引入虛擬視點合成過程,從而得到當前編碼深度圖失真引起的合成視點失真,這一過程引入了巨大的編碼開銷。為了降低深度圖編碼復雜度,本文對3D-HEVC中虛擬視點合成的機理進行研究,提出了基于插值的合成視點失真估計模型,替代復雜度過高的虛擬視點合成過程,用于指導深度圖編碼的率失真優(yōu)化。(4)一種低復雜度深度圖率失真優(yōu)化算法通過對虛擬視點合成過程的分析,發(fā)現(xiàn)前景、背景紋理圖像素值的差異會對由深度圖像素失真造成的合成視點失真產(chǎn)生較大影響,為此基于此提出了深度圖像素分類方法,進而基于深度像素分類把深度圖編碼單元(CodingTreeUnits,CTU)分為基于預測編碼的CTU和基于視點合成編碼的CTU兩類,更進一步地對深度圖編碼進行混合率失真優(yōu)化。本文提出的深度圖率失真優(yōu)化算法在保證虛擬合成視點編碼質(zhì)量的同時,顯著地降低了深度圖序列編碼復雜度。本文將視間依賴性與碼率控制有機地結(jié)合起來,實現(xiàn)了優(yōu)化的比特分配,準確的碼率控制,同時,通過深度圖與合成視點優(yōu)化的研究達到更高效的深度圖編碼,是對三維視頻編碼的有益探索。
【學位單位】：大連理工大學
【學位級別】：博士
【學位年份】：2018
【中圖分類】：TN919.81
【部分圖文】：

為標準數(shù)據(jù)格式，本文余下部分研宄內(nèi)容均基于該數(shù)據(jù)格式。逡逑１．４．２三維視頻的采集逡逑三維紋理視頻信號采用如圖１．２所示的直線形、環(huán)形和二維平面形等不同的攝像機逡逑排列方式拍攝得到［３５］。不同視點的視頻信號需要進一步進行標定（ＣａＵｂｍｔｋｍ）和同步逡逑（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）等預處理操作進行校正。標定操作為了確定攝像陣列中各個攝像機機的逡逑相機參數(shù)（包括內(nèi)部參數(shù)和外部參數(shù)）［５（３］；同步操作為了保證攝像陣列中所有攝像機在同逡逑一時刻進行視頻采集。逡逑■邋１１邋Ｉ邋Ｉ邋ｎ逡逑一＾＇邋一＂邋＇邋＂邋￣￣＇逡逑N邋＾邐Ｊ逡逑圖１．２三維視頻攝像機陣列不同的排列方式逡逑Ｆｉｇ．邋１．２邋Ｄｉｆｆｅｒｅｎｔ邋ａｒｒａｎｇｅｍｅｎｔ邋ｏｆ邋３ＤＶ邋ｃａｍｅｒａ邋ａｒｒａｙ逡逑－７－逡逑

從而可以降低攝像機陣列的空間密集程度，大大減少了視頻數(shù)據(jù)量。ＤＩＢＲ技逡逑術(shù)通過結(jié)合深度數(shù)據(jù)與攝像機參數(shù)，將參考視點投影到世界坐標系中，再將世界坐標系逡逑中的點投影回虛擬位置生成虛擬視點。如圖１．３所示，基于ＤＩＢＲ技術(shù)的虛擬視點渲染逡逑方法主要包括３Ｄ變換、圖像融合和空洞填補等技術(shù)。三維變換本質(zhì)上是坐標變換，計逡逑算復雜度低，并且可以提供高質(zhì)量的虛擬圖像，迅速成為視點渲染領(lǐng)域的研究熱點［８６＿９１］。逡逑左視點逡逑

本文編號：2819698