本文關鍵詞：提高三維視頻深度編碼性能的技術研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：三維視頻(Three Dimensional Video,3DV)能夠給觀眾帶來當前場景的深度信息,從而更加接近人的現(xiàn)實感受,因此受到了廣泛關注。多視點視頻加深度(Multi-view Video plus Depth, MVD)具有良好的標準兼容性,并且利用基于湃度圖像的繪制(Depth Image-Based Rendering, DIBR)技術能夠在解碼端任意視點位置合成虛擬視點,實現(xiàn)自由立體電視應用。因此,被運動圖像專家組(Moving Pictures Experts Group, MPEG)選為新一代3DV視頻編碼標準的數(shù)據(jù)格式。相比于視頻圖像,深度圖中含有大面積平坦區(qū)域,僅在物體邊緣部分呈現(xiàn)出尖銳截止現(xiàn)象,并且深度圖不直接用于觀看,而是主要用于解碼端的虛擬視點合成。由于新引入的深度信息也需要進行編碼,并利用帶寬有限的傳輸設備傳輸至解碼端,這對于編碼器的編碼效率提出了更高要求。本文重點研究了3DV中深度信息的高效編碼方法,主要研究內(nèi)容如下：由于目前消費級顯示器解碼計算能力的限制,MPEG對編解碼器處理的3DV數(shù)據(jù)量做出了限制�？紤]到觀眾在觀看雙目視頻時,最終感知的視頻質(zhì)量主要受到其中質(zhì)量較強一路視頻的主導,為了降低3DV的數(shù)據(jù)量并提高編碼效率,本文提出,對于三個視點的情況,將左路和右路視點的視頻與深度信息進行空間1/2下采樣,解碼端再進行上采樣恢復至原始分辨率。由于中間視點將一直用于解碼端的虛擬視點合成,因此不對其進行采樣處理。此外,在編碼中間視點時,將邊路視點進行上采樣用作中間視點的參考信息,以降低視點間冗余。所提方法在滿足數(shù)據(jù)量限制條件的前提下,提高了3DV的編碼效率。現(xiàn)有編碼器中變換量化操作使得深度圖中尖銳的物體邊緣變得模糊,降低了虛擬合成視點質(zhì)量。為了恢復深度圖中的尖銳邊緣信息,本文基于深度圖的特性以及深度圖與對應視頻圖像的相關性,提出了一種基于三邊濾波器的邊緣重建方法。所提算法結(jié)合深度圖邊緣兩側(cè)像素較為平滑的特點,對于三邊濾波器中濾波參考像素集合的基準點選取方法進行了改進。同時為了避免引入新濾波像素值,提出利用中值濾波代替原有的加權(quán)計算方法。所提方法明顯提高了深度圖邊緣的恢復質(zhì)量和虛擬合成視點質(zhì)量�，F(xiàn)有編碼器一般采用率失真優(yōu)化(Rate Distortion Optimization, RDO)準則,通過對每一個宏塊(Macro-Block, MB)遍歷所有候選模式選取最佳模式。雖然提高了編碼效率,但是卻大大增加了編碼復雜度。為了降低深度編碼復雜度,本文提出了一種基于分級B預測結(jié)構(gòu)的快速編碼方法。該方法利用分級B預測結(jié)構(gòu)中較高時間層(Temporal Level, TL)內(nèi)編碼幀與參考幀之間時間間隔短,時域相關性強,且編碼幀中采用大尺寸編碼模式MB比例高的特點,結(jié)合深度圖由大面積平坦區(qū)域和尖銳邊緣組成的特性,對處于不同TL內(nèi)的編碼幀分別制定了不同強度的候選模式精簡策略,跳過不必要的小尺寸編碼模式。所提算法在保證編碼性能前提下,有效降低了編碼復雜度。對于處于深度圖平坦區(qū)域中的MB,由于采用不同編碼模式產(chǎn)生的量化殘差編碼比特數(shù)經(jīng)常為零,以及失真較小且相等,模式判決的結(jié)果主要由模式頭信息編碼比特數(shù)決定。為了進一步降低編碼復雜度,提出了一種率失真性能不變的早期截止算法。所提算法中,所有候選模式按照其對應最小頭信息比特數(shù)計算的固有最小率失真代價函數(shù)值升序排列。在完成每一個候選模式的率失真代價函數(shù)值計算之后,將更新之后的最小率失真代價函數(shù)值與下一候選模式的固有最小率失真代價函數(shù)值進行比較,以判斷是否終止當前模式判決過程。所提算法使得編碼復雜度大大降低,且編碼率失真性能不發(fā)生變化。為了提高深度圖I幀的編碼效率,提出一種I幀MB模式跳過編碼方法。該方法充分考慮了深度圖像含有大面積平坦區(qū)域,且平坦區(qū)域內(nèi)空間相鄰MB編碼模式之間存在較強相關性的特點。在此基礎上,提出利用空間相鄰已編碼MB模式預測當前MB模式,并對MB模式與預測模式相等的MB進行模式跳過編碼。另外,為了降低現(xiàn)有標準在編碼平坦區(qū)域MB殘差系數(shù)過程中引入的指示信息冗余,進一步提出幀內(nèi)MB跳過編碼方法。它可以同時跳過平坦區(qū)域中MB模式與殘差系數(shù)的編碼,進而降低編碼冗余。所提兩種方法位于MB模式選擇之后的MB編碼階段,因此對重建幀質(zhì)量沒有任何影響。利用所提方法可以有效提高深度圖像的編碼效率。針對利用現(xiàn)有幀內(nèi)編碼算法編碼深度圖中含有邊緣的MB效率較低的問題,提出了一種利用視頻與深度圖之間相關性的邊緣跳過編碼方法。該方法利用聚類算法從當前深度編碼MB及其參考像素部分對應的視頻區(qū)域獲得邊緣信息,以此作為當前深度編碼MB及其參考像素的分割邊緣信息,然后利用所得分割邊緣信息將參考像素映射到當前編碼MB作為預測值。為了濾除聚類方法獲得的分類信息中存在的噪點或者毛刺對預測的干擾,提出了雙向掃描濾波方法。利用所提邊緣跳過幀內(nèi)預測方法,可以跳過對邊緣MB中復雜邊緣的編碼,甚至邊緣MB完全被跳過不編碼。所提方法不僅提高了深度圖的編碼質(zhì)量,也明顯提高了合成視點圖像的主觀質(zhì)量。
【關鍵詞】：三維視頻編碼 深度編碼 深度邊緣重建 深度快速編碼 深度幀內(nèi)編碼
【學位授予單位】：西安電子科技大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TN919.81
【目錄】：

• 摘要5-7
• ABSTRACT7-18
• 第一章 緒論18-46
• 1.1 引言18-20
• 1.2 3DV系統(tǒng)介紹20-29
• 1.2.1 3DV的數(shù)據(jù)格式20-21
• 1.2.2 3DV數(shù)據(jù)的獲取21-23
• 1.2.3 3DV的編碼技術23-25
• 1.2.4 虛擬視圖的繪制25-27
• 1.2.5 3DV的顯示27-29
• 1.3 3DV相關標準的發(fā)展歷程29-31
• 1.4 3DV編碼技術的研究現(xiàn)狀31-42
• 1.4.1 3DV中視頻部分重要編碼技術介紹32-35
• 1.4.2 3DV中深度部分重要編碼技術介紹35-42
• 1.5 論文研究內(nèi)容及研究成果42-46
• 第二章 利用前/后處理方法的深度編碼46-72
• 2.1 引言46-48
• 2.2 利用下/上采樣和非對稱預測的3DV編碼方法48-59
• 2.2.1 3DV數(shù)據(jù)量要求48-49
• 2.2.2 利用下/上采樣和非對稱預測的3DV編碼方法49-52
• 2.2.3 實驗結(jié)果及分析52-59
• 2.3 利用深度圖和視頻信息相關性的深度邊緣重建方法59-70
• 2.3.1 深度編碼失真對合成視點圖像質(zhì)量的影響分析59-60
• 2.3.2 利用深度與視頻信息相關性的邊緣重建方法60-64
• 2.3.3 實驗結(jié)果及分析64-70
• 2.4 小結(jié)70-72
• 第三章 3DV深度快速編碼方法研究72-92
• 3.1 引言72-73
• 3.2 基于RDO的MB編碼模式判決73-75
• 3.3 基于分級B預測結(jié)構(gòu)的快速深度編碼方法75-84
• 3.3.1 分級B預測結(jié)構(gòu)及其與LSM的關系75-76
• 3.3.2 基于分級B預測結(jié)構(gòu)的快速算法76-81
• 3.3.3 實驗結(jié)果及分析81-84
• 3.4 率失真性能不變的快速深度編碼方法84-91
• 3.4.1 深度MB模式判決過程分析84-87
• 3.4.2 率失真性能不變的快速算法87-88
• 3.4.3 實驗結(jié)果及分析88-91
• 3.5 小結(jié)91-92
• 第四章 高效深度圖幀內(nèi)編碼方法研究92-112
• 4.1 引言92-93
• 4.2 幀內(nèi)預測編碼方法介紹93-95
• 4.3 基于MB模式相關性的深度幀內(nèi)跳過編碼方法95-101
• 4.3.1 I幀MB相關性分析95-98
• 4.3.2 幀內(nèi)跳過編碼方法98-100
• 4.3.3 實驗結(jié)果及分析100-101
• 4.4 利用視頻與深度圖相關性的深度圖幀內(nèi)編碼算法101-111
• 4.4.1 深度圖與視頻圖像中物體形狀相關性分析102-103
• 4.4.2 邊緣跳過幀內(nèi)預測編碼103-107
• 4.4.3 實驗結(jié)果及分析107-111
• 4.5 小結(jié)111-112
• 第五章 總結(jié)與展望112-116
• 5.1 研究內(nèi)容及成果總結(jié)112-114
• 5.2 存在的問題以及展望114-116
• 參考文獻116-128
• 致謝128-130
• 作者簡介130-131

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 左一帆;安平;張兆楊;;基于圖割的高質(zhì)量深度圖獲取方法[J];電視技術;2011年15期

2 張艷;安平;張秋聞;王奎;張兆楊;;恰可察覺深度差異模型的深度圖優(yōu)化方法[J];光電子.激光;2012年07期

3 左宇鵬;;基于深度圖壓縮的邊界自適應上采樣方案[J];計算機與現(xiàn)代化;2014年05期

4 楊超;安平;何宛文;王健鑫;張兆楊;;一種用于深度圖編碼的虛擬視失真估計模型[J];光電子.激光;2014年07期

5 溫宇強,李德華;多視角深度圖融合方法綜述[J];計算機與數(shù)字工程;2003年04期

6 葉長明;蔣建國;詹曙;S.Ando;;不同姿態(tài)人臉深度圖識別的研究[J];電子測量與儀器學報;2011年10期

7 左一帆;安平;馬然;沈禮權(quán);張兆楊;;深度圖時域一致性增強[J];光電子.激光;2014年01期

8 朱波;蔣剛毅;張云;郁梅;;面向虛擬視點圖像繪制的深度圖編碼算法[J];光電子.激光;2010年05期

9 周娟;李勇平;黃躍峰;;基于強度圖和深度圖的多模態(tài)人臉識別[J];計算機工程與應用;2012年25期

10 李思宇;李勝;王衡;汪國平;;利用深度圖優(yōu)化的自然光束體構(gòu)建與繪制[J];計算機輔助設計與圖形學學報;2011年07期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 陳東;楊生鵬;莊嚴;王偉;;基于視覺信息的三維激光點云渲染與深度圖構(gòu)建[A];第二十九屆中國控制會議論文集[C];2010年

2 劉偉鋒;張卓;王延江;;基于光線衰減的深度獲取方法[A];中國自動化學會控制理論專業(yè)委員會B卷[C];2011年

3 張帥;付宏杰;;基于Kinect的多點觸控系統(tǒng)研究與實現(xiàn)[A];第六屆全國信號和智能信息處理與應用學術會議論文集[C];2012年

中國博士學位論文全文數(shù)據(jù)庫 前9條

1 李賀建;三維視頻中基于FPGA的實時深度估計研究與應用[D];上海大學;2015年

2 馬祥;提高三維視頻深度編碼性能的技術研究[D];西安電子科技大學;2015年

3 鄧慧萍;3D視頻的深度圖優(yōu)化與深度編碼方法研究[D];華中科技大學;2013年

4 高凱;立體視頻深度圖提取及深度序列編碼技術研究[D];吉林大學;2013年

5 羅雷;基于深度圖繪制的三維視頻編碼技術研究[D];浙江大學;2013年

6 霍智勇;自由視點視頻深度圖估計的關鍵技術研究[D];南京郵電大學;2013年

7 韋虎;三維外形測量系統(tǒng)中的數(shù)據(jù)處理關鍵技術研究[D];南京航空航天大學;2010年

8 張秋聞;自由視點視頻深度編碼關鍵技術研究[D];上海大學;2012年

9 程光;人機交互系統(tǒng)中手勢和姿勢識別算法的研究[D];清華大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李海坤;基于彩色和深度的前景分割研究[D];山東大學;2015年

2 張岳歡;3D視頻編碼中深度信息優(yōu)化及場景背景編碼技術研究[D];哈爾濱工業(yè)大學;2015年

3 曹廣昊;立體視頻系統(tǒng)中深度傳播算法的研究[D];山東大學;2015年

4 丁焱;基于深度圖的虛擬視點繪制中空洞填補技術研究[D];哈爾濱工業(yè)大學;2015年

5 馬姝穎;基于視點合成的深度圖編碼技術研究[D];電子科技大學;2015年

6 王旭;面向繪制質(zhì)量的深度圖壓縮感知研究[D];上海大學;2015年

7 卞玲艷;基于深度圖的2D轉(zhuǎn)3D視頻算法的研究[D];電子科技大學;2015年

8 王亞峰;3D-HEVC深度圖預處理與誤碼掩蓋技術研究[D];西安電子科技大學;2014年

9 白樹斌;基于RGB-D圖像的深度圖增強問題研究[D];青島大學;2015年

10 李濤;單目視圖與多目視圖的深度圖恢復方法研究[D];清華大學;2009年

  本文關鍵詞：提高三維視頻深度編碼性能的技術研究，由筆耕文化傳播整理發(fā)布。

本文編號：487916