近年來,隨著信息技術(shù)的日新月異,多媒體技術(shù)正跨入沉浸式（Immersive）時代。全景視頻作為重要的沉浸式媒體之一,也迎來了快速發(fā)展的階段�；谟脩裘總�時刻只能觀看到全景視頻局部的視場范圍（Field of View,FoV）內(nèi)容這一特殊的觀看特性,產(chǎn)生了分視角全景視頻傳輸方案,核心在于以高質(zhì)量傳輸FoV內(nèi)的全景內(nèi)容,降低FoV區(qū)域外的內(nèi)容傳輸質(zhì)量。由于系統(tǒng)時延的存在,直接根據(jù)FoV反饋信息傳輸?shù)姆忠暯莾?nèi)容與用戶實際FoV不完全匹配,用戶在切換FoV時將觀看到黑屏或低質(zhì)量內(nèi)容。因此,使發(fā)送端能夠提前傳輸匹配用戶FoV內(nèi)容的FoV預(yù)測技術(shù)成為基于分視角傳輸?shù)娜皯?yīng)用系統(tǒng)不可或缺的重要技術(shù)環(huán)節(jié)�；诓煌忠暯莾�(nèi)容制作技術(shù)的分視角傳輸方案對FoV預(yù)測提出了差異化的需求,使FoV預(yù)測在直觀的FoV視點預(yù)測技術(shù)之外進(jìn)一步發(fā)展出針對分塊全景視頻傳輸?shù)腇oV分塊預(yù)測技術(shù)。而如何在看似隨機(jī)的用戶觀看行為中挖掘深層次的用戶觀看行為規(guī)律,并建立體現(xiàn)這些規(guī)律的預(yù)測模型,提高FoV預(yù)測準(zhǔn)確性,成為FoV視點預(yù)測與FoV分塊預(yù)測研究共同面臨的挑戰(zhàn)。本研究分別圍繞全景視頻FoV視點預(yù)測與FoV分塊預(yù)測展開研究:第... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

經(jīng)緯圖映射方式[12]

上海交通大學(xué)碩士學(xué)位論文2[8]，同時立方體映射（CubeMap）等更為多樣的映射技術(shù)正在涌現(xiàn)[9]。映射后的全景視頻經(jīng)過壓縮編碼傳輸給用戶，用戶在接收并解碼后需要進(jìn)一步將內(nèi)容反映射渲染到球面結(jié)構(gòu)上進(jìn)行呈現(xiàn)。用戶從球心位置觀看渲染于球面上的360度全景內(nèi)容，如同置身于真實環(huán)境中，以3自由度（即3個轉(zhuǎn)動坐標(biāo)系）改變視點方向，觀看四周范圍內(nèi)的任意區(qū)域，如圖1-2所示。圖1-1經(jīng)緯圖映射方式[12]Figure1-1EquirectangularProjection2015年7月，諾基亞發(fā)布360度全景攝像機(jī)OZO，采用了球型設(shè)計并配備8個同步攝像頭。2015年底，美國運動相機(jī)制造商GoPro完成對AutopanoVideoPro公司的收購，在2017年底發(fā)布全景相機(jī)GoProFusion集成了全景視頻的采集與縫合，提高了全景內(nèi)容的創(chuàng)作效率。2017年三星發(fā)布了360度全景相機(jī)Gear360，配有一對1500萬像素的魚眼廣角攝像頭，可直接拍攝180度廣角或360度全景圖像。全景視頻媒體的硬件采集設(shè)備與處理技術(shù)的不斷發(fā)展有力的推動了全景內(nèi)容的生產(chǎn)。在影視、游戲等多媒體領(lǐng)域外，全景媒體正在走進(jìn)教育、醫(yī)療等其他領(lǐng)域，煥發(fā)新的活力。圖1-23自由度觀看全景視頻示意圖[1]Figure1-23DoFviewingofomnidirectionalvideo

上海交通大學(xué)碩士學(xué)位論文12量獨立編碼，并根據(jù)用戶反饋將覆蓋用戶FoV的高質(zhì)量分塊內(nèi)容和其余低質(zhì)量分塊內(nèi)容傳輸給用戶，減少整體傳輸數(shù)據(jù)量。分塊全景視頻的傳輸過程中，網(wǎng)絡(luò)帶寬條件限制了整體的傳輸碼率，而根據(jù)用戶的FoV信息還可以進(jìn)行更細(xì)致的碼率控制。[35]歸納了三種碼率分配策略，在以高質(zhì)量傳輸覆蓋用戶FoV的分塊內(nèi)容基礎(chǔ)上，分別以低質(zhì)量傳輸全部剩余分塊內(nèi)容，或以圍繞FoV漸進(jìn)式質(zhì)量下降的方式傳輸其余分塊內(nèi)容，以及完全不傳輸其余冗余分塊內(nèi)容的三種質(zhì)量分配方案。圖2-4全景視頻分塊傳輸碼率分配策略[35]Figure2-4Rateallocationstrategryofsub-picturetransmission從以上研究中可以發(fā)現(xiàn)，基于分塊的分視角傳輸對全景的各區(qū)域能夠進(jìn)行獨立的編碼和傳輸，并進(jìn)行細(xì)致的質(zhì)量分配和自由的內(nèi)容組合，能夠靈活地根據(jù)不同的系統(tǒng)設(shè)計需求，制定個性化的傳輸方案。在用戶切換FoV的過程中，可以補(bǔ)充或減少傳輸?shù)姆謮K內(nèi)容，實現(xiàn)靈活的適配。接收端在獲取多個全景視頻分塊時，需要對解碼的分塊內(nèi)容進(jìn)行同步校準(zhǔn)和拼接，而當(dāng)各分塊以多流形式進(jìn)行傳輸時，同步問題將成為接收端渲染的主要耗時環(huán)節(jié)。2.1.3分視角傳輸面臨的問題分視角全景視頻傳輸?shù)暮诵氖歉鶕?jù)用戶的FoV傳輸質(zhì)量非均勻的全景視頻內(nèi)容。然而直接基于用戶反饋的FoV信息決策傳輸內(nèi)容時，由于系統(tǒng)延時的存在，傳輸?shù)膬?nèi)容始終存在遲滯，用戶在接收到匹配FoV的內(nèi)容前先觀看到質(zhì)量較低的版本，造成觀看體驗的下降。具體來說，當(dāng)采用基于分塊的全景傳輸時，根據(jù)FoV信息決定哪些分塊以高質(zhì)量傳輸，F(xiàn)oV以外的分塊可以如前文所述采取不同的質(zhì)量分配策略。


本文編號：3110817