RGBD視頻序列預(yù)處理及量化編碼方法研究
發(fā)布時間:2020-03-18 10:07
【摘要】:近年來,深度相機在消費類電子和工業(yè)自動化領(lǐng)域得到了長足發(fā)展,對于深度圖像的處理及壓縮傳輸成為學(xué)術(shù)界研究的熱點問題。本文在深度相機壓縮編碼項目的支持下,重點研究了深度圖修復(fù)技術(shù)和RGB視頻序列的高效壓縮技術(shù)。針對深度相機分辨率低、包含噪聲以及深度邊緣模糊的問題,提出了一種基于深度圖像平滑度閾值的彩色圖引導(dǎo)深度修復(fù)算法;針對RGB視頻序列的壓縮性能問題,在HEVC量化編碼部分提出了一種改進(jìn)的雙邊自適應(yīng)量化方法。為了提升深度數(shù)據(jù)的質(zhì)量,本文對深度圖像修復(fù)技術(shù)進(jìn)行了研究。我們分析了在深度修復(fù)過程中加入彩色圖像的指導(dǎo)的可行性,基于自回歸模型算法提出了一種深度項引導(dǎo)權(quán)重調(diào)整策略,該調(diào)整規(guī)則為對深度圖像平坦區(qū)域和深度邊緣進(jìn)行區(qū)別修復(fù),為此,本文又提出利用圖像的相對平滑度來表征圖像內(nèi)容的變化。綜合以上工作本文提出了基于平滑度閾值的引導(dǎo)權(quán)重調(diào)整修復(fù)方法,該方法將計算的圖像相對平滑度作為閾值,對引導(dǎo)權(quán)重進(jìn)行修改。在RGBD測試數(shù)據(jù)集上使用定性和定量的實驗結(jié)果評價了該算法,得到了較好的修復(fù)結(jié)果。深度相機中RGB視頻的壓縮通常采用基于混合編碼框架的HEVC標(biāo)準(zhǔn),在這一編碼框架中,量化模塊是引入編碼失真的主要原因。本文著重于改進(jìn)量化過程以提高HEVC編碼性能。在詳細(xì)研究了標(biāo)準(zhǔn)中的統(tǒng)一標(biāo)量量化方法并分析量化的改進(jìn)方向之后,本文提出了一種雙邊自適應(yīng)量化方法,該方法屬于系數(shù)級量化方法,包括三部分算法策略。其一,在量化編碼之前提出一種新的量化掃描順序策略,在該掃描方法下,變換系數(shù)的排列被重組,得到的新系數(shù)順序能夠很好地促進(jìn)后續(xù)變換系數(shù)編碼過程。其二,參考TU中每個變換系數(shù)本身系數(shù)值大小,為變換系數(shù)其賦予不同的權(quán)重,以反映其在視頻重建中的差異性貢獻(xiàn)。其三,結(jié)合以上策略構(gòu)造雙邊因子來間接修改量化步長。在官方參考編碼器HM16.0上測試了提出的算法,與HEVC標(biāo)準(zhǔn)中的均勻塊級量化相比,本文的系數(shù)級量化算法有效的提高了編碼性能。本論文提出的算法已經(jīng)在相關(guān)數(shù)據(jù)集完成測試驗證,實驗結(jié)果表明算法改進(jìn)的效果能夠滿足深度相機的前處理和壓縮編碼的要求。
【圖文】:
度采集設(shè)備如激光測距儀、Kinect 相機、ToF 相機等都有一個距離獲取的有效范圍,因此絕對深度通常存在一個上限。圖2.4 視頻加深度數(shù)據(jù)格式。2D 彩色圖像序列和對應(yīng)的 8 比特深度圖像序列組成[1]2.2.3 深度圖修復(fù)發(fā)展歷程最早,研究深度圖修復(fù)的時候,將結(jié)構(gòu)光技術(shù)相機和 ToF 相機獲取的深度圖分別處理。結(jié)構(gòu)光技術(shù)相機,如 Kinect V1,獲取的深度圖一般會出現(xiàn)深度值丟失以及存在噪聲的問題,而 ToF 相機獲取的深度圖一般是低分辨率以及包含噪聲的。但是在攝像周圍環(huán)境的影響下,ToF 深度圖像也會出現(xiàn)深度丟失。隨著算法研究的發(fā)展,后來
法結(jié)果和 ground truth的差異,用均方誤差(Mean Square Error, MSE)來衡量?梢钥吹 JBU 在任何一種下采樣退化的深度圖修復(fù)中都有較小的 MSE。圖2.5 基于插值及濾波的深度修復(fù)方法的定性比較。最鄰近插值、雙三次插值、高斯濾波和聯(lián)合雙邊上采樣[11]在彩色引導(dǎo)修復(fù)方案的研究方向上,除了濾波方法,基于能量模型的修復(fù)方法更是研究熱點。把深度圖像修復(fù)方法看作是能量最小化問題,,建立最優(yōu)化模型,通過求解最優(yōu)化問題得到修復(fù)后的高質(zhì)量深度圖像。最早比較主流的一種模型是 MRF 模型,該模型包括一致數(shù)據(jù)項和圖像引導(dǎo)的平滑約束項,圖像引導(dǎo)中考慮圖像中像素點的顏色相似性,通過求解 MRF 所構(gòu)建的能量最優(yōu)解得到深度圖像修復(fù)結(jié)果。傳統(tǒng)的 MRF是有缺陷的,圖像引導(dǎo)的平滑項的設(shè)計過于簡單,只考慮了引導(dǎo)彩色圖像中顏色信息,這是遠(yuǎn)遠(yuǎn)不夠的,各種各樣 MRF 的變體都被提出
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2018
【分類號】:TN919.81
本文編號:2588595
【圖文】:
度采集設(shè)備如激光測距儀、Kinect 相機、ToF 相機等都有一個距離獲取的有效范圍,因此絕對深度通常存在一個上限。圖2.4 視頻加深度數(shù)據(jù)格式。2D 彩色圖像序列和對應(yīng)的 8 比特深度圖像序列組成[1]2.2.3 深度圖修復(fù)發(fā)展歷程最早,研究深度圖修復(fù)的時候,將結(jié)構(gòu)光技術(shù)相機和 ToF 相機獲取的深度圖分別處理。結(jié)構(gòu)光技術(shù)相機,如 Kinect V1,獲取的深度圖一般會出現(xiàn)深度值丟失以及存在噪聲的問題,而 ToF 相機獲取的深度圖一般是低分辨率以及包含噪聲的。但是在攝像周圍環(huán)境的影響下,ToF 深度圖像也會出現(xiàn)深度丟失。隨著算法研究的發(fā)展,后來
法結(jié)果和 ground truth的差異,用均方誤差(Mean Square Error, MSE)來衡量?梢钥吹 JBU 在任何一種下采樣退化的深度圖修復(fù)中都有較小的 MSE。圖2.5 基于插值及濾波的深度修復(fù)方法的定性比較。最鄰近插值、雙三次插值、高斯濾波和聯(lián)合雙邊上采樣[11]在彩色引導(dǎo)修復(fù)方案的研究方向上,除了濾波方法,基于能量模型的修復(fù)方法更是研究熱點。把深度圖像修復(fù)方法看作是能量最小化問題,,建立最優(yōu)化模型,通過求解最優(yōu)化問題得到修復(fù)后的高質(zhì)量深度圖像。最早比較主流的一種模型是 MRF 模型,該模型包括一致數(shù)據(jù)項和圖像引導(dǎo)的平滑約束項,圖像引導(dǎo)中考慮圖像中像素點的顏色相似性,通過求解 MRF 所構(gòu)建的能量最優(yōu)解得到深度圖像修復(fù)結(jié)果。傳統(tǒng)的 MRF是有缺陷的,圖像引導(dǎo)的平滑項的設(shè)計過于簡單,只考慮了引導(dǎo)彩色圖像中顏色信息,這是遠(yuǎn)遠(yuǎn)不夠的,各種各樣 MRF 的變體都被提出
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2018
【分類號】:TN919.81
【參考文獻(xiàn)】
相關(guān)博士學(xué)位論文 前1條
1 田虎;單目圖像的深度估計[D];北京郵電大學(xué);2015年
本文編號:2588595
本文鏈接:http://sikaile.net/kejilunwen/wltx/2588595.html
最近更新
教材專著