發(fā)布時(shí)間：2020-07-07 19:10

【摘要】：隨著人們對虛擬現(xiàn)實(shí)(Virtual Reality,VR)的興趣與日俱增,各種商業(yè)化的虛擬現(xiàn)實(shí)產(chǎn)品在市場中所占的比重越來越大,全景視頻作為當(dāng)前VR的主要內(nèi)容源而備受關(guān)注。對比普通視頻而言,全景視頻具有高分辨、多視角、存儲(chǔ)數(shù)據(jù)量大的特點(diǎn)。為了適應(yīng)視頻的傳輸,利用經(jīng)典的編碼標(biāo)準(zhǔn)對全景視頻進(jìn)行壓縮時(shí),我們通常會(huì)犧牲它的質(zhì)量來節(jié)省碼率,而低質(zhì)量的全景視頻嚴(yán)重影響了用戶沉浸式的體驗(yàn)。因此,本文提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到全景視頻壓縮及后處理的工作中,以有效提高全景視頻的質(zhì)量。本文主要完成了以下三個(gè)工作。(1)全景視頻的質(zhì)量對于用戶的觀看體驗(yàn)至關(guān)重要,尤其是由某個(gè)區(qū)域的全景視頻映射成的當(dāng)前視口的視頻。因此,本文基于卷積神經(jīng)網(wǎng)絡(luò)中的生成對抗網(wǎng)絡(luò)提出了 Panorama-GAN網(wǎng)絡(luò),其中生成模型使用U-NET網(wǎng)絡(luò),損失函數(shù)通過VGG19計(jì)算特征差異而形成。然后本文利用此網(wǎng)絡(luò)分別對壓縮后的全景視頻以及具有不同映射關(guān)系的當(dāng)前視口的視頻訓(xùn)練生成模型,以提高全景視頻的質(zhì)量。最后通過實(shí)驗(yàn)證明了網(wǎng)絡(luò)對當(dāng)前視口視頻質(zhì)量的提升具有更出色的表現(xiàn)。(2)改善低質(zhì)量幀可參考與其相似的高質(zhì)量幀。因此,本文考慮到全景視頻的幀與幀之間具有很大相似性的特點(diǎn),進(jìn)一步提出不平等編碼方案,將立方體投影的全景視頻編碼成高、低質(zhì)量兩個(gè)版本的視頻。接下來在傳輸過程中,以一個(gè)視頻組(Group of Pictures,GOP)為單位交叉?zhèn)鬏斠曨l,最后利用一個(gè)四層卷積神經(jīng)網(wǎng)絡(luò),將低質(zhì)量幀和相鄰高質(zhì)量幀的特征提取并結(jié)合,經(jīng)過特征增強(qiáng)、映射和圖像重建低質(zhì)量視頻幀,實(shí)驗(yàn)證明我們的方案提高了整個(gè)全景視頻的質(zhì)量。(3)由于通常采用基于視口方案傳輸全景視頻,即傳輸當(dāng)前視口的高質(zhì)量視頻流和其它視口的低質(zhì)量視頻流。因此,用戶轉(zhuǎn)頭時(shí),網(wǎng)絡(luò)延遲會(huì)造成轉(zhuǎn)頭畫面不清晰的現(xiàn)象。本文在基于兼容HEVC的Tile壓縮全景視頻解決方案的基礎(chǔ)上,提出二次壓縮方案:在服務(wù)器端,低質(zhì)量視頻由高質(zhì)量視頻再一次壓縮形成,或者進(jìn)行下采樣后再壓縮形成;客戶端收到全景視頻后,壓縮當(dāng)前視口高質(zhì)量視頻并送入卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,最后用生成的模型提升其它視口低質(zhì)量的視頻。實(shí)驗(yàn)結(jié)果證明了方案的有效性,并且下采樣方案在低碼率傳輸中顯示出了更好的性能。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP183
【圖文】：

１．２．１全景視頻的處理過程逡逑全景視頻的制作流程主要分為圖像采集、拼接、映射等步驟，應(yīng)用到現(xiàn)實(shí)生活逡逑中則需要進(jìn)一步編碼、傳輸、解碼Ｍ的處理。如圖１－２所示，全景視頻的處理過程逡逑包括以下兩個(gè)部分：逡逑全鈥視頻制作過程逡逑ｒ＿．邐，邋「＾！聲－ａ定邋ｉ￣Ｍ邋音＾碼邋ｉ邐逡逑Ｊ—邐邐逡逑？念＇？邐Ｋ知畫涵｛邐逡逑全欺視頻傳輸過程邐「邐邐逡逑Ｉ邐，邐Ｉ邐，逡逑卜，…ｉＩ邋Ｉ邋？邋ｉ邋Ｉ邋ｆｆ｜逡逑！邐＼邐Ｉ邋Ｉ丨以Ｉ丨邋＾邋■悘邋邐？邋｜逡逑Ｉ逡逑圖１－２全景視頻的處理過程框架逡逑Ｆｉｇｕｒｅ邋１－２邋Ｐｒｏｃｅｓｓｉｎｇ邋ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｐａｎｏｒａｍｉｃ邋ｖｉｄｅｏ逡逑３逡逑

邐引言逡逑（１）統(tǒng)一質(zhì)量的映射（如圖１－３所不）逡逑■ＰＩ邐ａ）世界地圖投影逡逑｜－＃＾；邐＾ｒ＃ｗ：邋Ｍ逡逑Ｎｏｒｔｈ邋Ｐｏｌｅ邐Ｎｏｒｔｈ邋Ｐｏｌｅ逡逑自…，．．．．．．．．．．—ｉ，邐ｉ逡逑Ｓ0：Ｂｏ，ｅ逡逑ｂ）切片分割投影邐ｃ）立方體投影逡逑ｉｌ逡逑ｄ）十二面體投影逡逑圖１－３四種統(tǒng)一質(zhì)量映射方法逡逑Ｆｉｇｕｒｅ邋１－３邋Ｆｏｕｒ邋ｕｎｉｆｉｅｄ邋ｑｕａｌｉｔｙ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑世界地圖投影：最著名的等矩形投影的例子是世界地圖，如圖ｌ－３ａ）所示，它逡逑也是最常見的球面到平面的映射。這種映射方法用長寬為（２ｍ＂，ｎｒ）的平面矩形表逡逑示球面，并且由赤道向兩極逐漸增加點(diǎn)的映射。因此，越靠近極地的地方，圖像拉逡逑伸變形越嚴(yán)重，隨之也產(chǎn)生了大量的冗余像素，浪費(fèi)了大量的帶寬。逡逑立方體投影：這種投影廣泛應(yīng)用于游戲軟件中，與世界地圖投影類似。如圖１－逡逑３邋ｂ）所示

切片都等于它在球體上相鄰上下緯度圈所占的面積，和１－３邋ａ）比較，這種方案可以逡逑節(jié)省高達(dá)２８％的投影像素。逡逑十二面體投影：圖１－３邋ｄ）表示從球體到十二面體的映射，是類似于立方體投影逡逑的新映射方法，它可以提供更好的視覺質(zhì)量、穩(wěn)定性和壓縮效率。逡逑（２）可變質(zhì)量的映射（如圖１－４所示）逡逑｜灥｜｜漏逡逑ａ）金字塔投影逡逑■■■Ｉ逡逑ｂ）偏移立方體投影逡逑圖１－４兩種可變質(zhì)量映射方法逡逑Ｆｉｇｕｒｅ邋１－４邋Ｔｗｏ邋ｖａｒｉａｂｌｅ邋ｍａｓｓ邋ｍａｐｐｉｎｇ邋ｍｅｔｈｏｄｓ逡逑金字塔投影：圖１－４邋ａ）是Ｆａｃｅｂｏｏｋ提出的可變質(zhì)量映射的早期嘗試，其主要逡逑思想是將球體投影到金字塔上，底面顯示的是用戶當(dāng)前觀看的區(qū)域，目的是可以用逡逑更多像素顯示當(dāng)前視口圖像，但是這個(gè)方案有兩個(gè)問題，一是用戶轉(zhuǎn)頭時(shí)，圖像質(zhì)逡逑量下降很明顯，二是ＧＰＵ不支持金字塔投影，因此渲染效果不如立方體投影。逡逑偏移立方體投影：在圖１－４邋ｂ）表示的映射方法中，投影點(diǎn)建立在立方體的頂部，逡逑可提供可變質(zhì)量的映射，同時(shí)解決了金字塔的問題，當(dāng)用戶的頭轉(zhuǎn)到后面時(shí)，偏移逡逑立方體可以平滑的降低質(zhì)量。逡逑６逡逑

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 鐘力,胡曉峰,孫立峰;全景視頻信息空間模型[J];小型微型計(jì)算機(jī)系統(tǒng);1997年11期

本文編號(hào)：2745501