沉浸式視頻流的交互式傳輸
發(fā)布時(shí)間:2021-02-19 03:45
現(xiàn)如今,網(wǎng)絡(luò)技術(shù)的日新月異屢次刷新著人們對(duì)于感知體驗(yàn)的傳統(tǒng)認(rèn)知,注重真實(shí)感與交互性的雙重提升,將是下一代數(shù)字媒體發(fā)展的大勢(shì)所趨。在此發(fā)展過(guò)程中,沉浸式視頻憑借其所提供的身臨其境之感,成為了最具代表性的一類(lèi)媒體。在形式各異的沉浸式視頻中,多視點(diǎn)視頻和360°視頻具有非常靈活的交互能力,因其能夠更好地支持用戶(hù)成為“視角”掌控者而備受關(guān)注。然而,交互式沉浸感的不斷提升是以多維視頻數(shù)據(jù)的海量傳輸為代價(jià),這就為其在線即時(shí)業(yè)務(wù)的發(fā)展造成了阻礙。本文以當(dāng)前網(wǎng)絡(luò)的承載能力為研究前提,以最大限度提升用戶(hù)的觀看質(zhì)量和流暢體驗(yàn)為最終目標(biāo),針對(duì)多視點(diǎn)視頻和360°視頻的魯棒傳輸、實(shí)時(shí)交互及高效壓縮等關(guān)鍵問(wèn)題開(kāi)展工作,取得了以下創(chuàng)新性研究成果:(1)針對(duì)交互式多視點(diǎn)視頻流傳輸?shù)聂敯粜詥?wèn)題,提出了面向有損網(wǎng)絡(luò)的紋理圖和深度圖聯(lián)合封裝方法,并考慮多種丟包事件和碼率級(jí)別,理論分析了不同封裝方法的性能和差異。實(shí)驗(yàn)結(jié)果表明,相比獨(dú)立封裝,該方法在單視點(diǎn)重構(gòu)及虛擬視點(diǎn)合成上分別取得了2.32dB和1.55dB的質(zhì)量提升,增強(qiáng)了多視點(diǎn)視頻流傳輸?shù)聂敯粜浴#?)針對(duì)交互式多視點(diǎn)視頻流傳輸?shù)膶?shí)時(shí)性問(wèn)題,構(gòu)建了下載的視點(diǎn)集合及其對(duì)...
【文章來(lái)源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:126 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1.1沉浸式視頻的一些典型應(yīng)用:(a)多視點(diǎn)裸眼3D電視,(b)?2016年里約奧運(yùn)會(huì)全景??
??眼3D電視的誕生(如圖1.1(a)),使多視點(diǎn)視頻得以在更多的領(lǐng)域中廣泛應(yīng)用。不??啻如此,2013年由上海交通大學(xué)無(wú)錫研宄院和2017年由嘉楠耘智等公司相繼研制??成功的82寸超大屏幕3D電視和全球首款裸眼3D特高清(8K)電視,使裸眼3D技術(shù)??成功走進(jìn)千家萬(wàn)戶(hù)。Facebook在2014年的一項(xiàng)重要舉措,即以20億美元的價(jià)格收??購(gòu)VR技術(shù)公司Oculus,促使沉寂已久的VR迎來(lái)了迸發(fā)式的發(fā)展。可以預(yù)見(jiàn),諸??如《頭號(hào)玩家》般的沉浸式娛樂(lè)即將成為可能。根據(jù)華為關(guān)于面向VR業(yè)務(wù)的白皮??書(shū)所述[6],360°視頻是最先蓬勃發(fā)展的在線VR應(yīng)用。如圖1.1(b)所示,2016年里??約奧運(yùn)會(huì)和2018年平昌冬奧會(huì)上,360°全景視頻直播的大規(guī)模投入,即是對(duì)此發(fā)??展趨勢(shì)的有力印證。一言以蔽之,沉浸式視頻在未來(lái)網(wǎng)絡(luò)視頻發(fā)展的過(guò)程中將占??據(jù)主導(dǎo)地位。??沉浸式視頻存在三要素:多維性、交互性以及實(shí)時(shí)性。多維性是指用戶(hù)的感??知環(huán)境綜合了空間多維度信息
的發(fā)展贏得了空間,也創(chuàng)造出了巨大價(jià)值。清華大學(xué)戴瓊海院士團(tuán)隊(duì)在國(guó)際上首??次提出了視覺(jué)場(chǎng)理論,建立了視角、光照和事件的關(guān)系,搭建起了光照-視角協(xié)同??采集裝置平臺(tái),其重建精度在國(guó)際評(píng)測(cè)中位居首位,如圖1.2(a)所示。北京交通??大學(xué)趙耀團(tuán)隊(duì)構(gòu)建了多視點(diǎn)視頻水平和環(huán)形采集平臺(tái),由10臺(tái)高清相機(jī)組成陣列,??從不同角度同步實(shí)現(xiàn)視點(diǎn)采集,如圖1.2(b)所示。上海交通大學(xué)無(wú)錫研宄院研發(fā)??了首臺(tái)國(guó)產(chǎn)“裸眼3D”多視點(diǎn)電視。中國(guó)品牌TCL、海信、創(chuàng)維和超多維等公司亦??各自研制出了裸眼自由視點(diǎn)顯示設(shè)備。??■■■■??■?Mg??I?W?\?HaaM??(a)?(b)??圖1.3?(a)看到科技黑曜石,(b)看到科技直播軟件??Fig?1.3?(a)?Kandao?Obsidian,?(b)?Kandao?Live??近年來(lái),得益于對(duì)更強(qiáng)體驗(yàn)深度的全面支持,360°視頻已經(jīng)逐漸引起了國(guó)??內(nèi)外的廣泛關(guān)注。為了解決傳輸瓶頸,學(xué)術(shù)界和工業(yè)界也競(jìng)相開(kāi)展有關(guān)研宄。??在?2017年,MPEG?制訂了?全方位媒體應(yīng)用格式(Omnidirectional?Media?Application??Format
【參考文獻(xiàn)】:
期刊論文
[1]Error-Resilient Multi-view Video Coding Based on End-to-End Rate-Distortion Optimization[J]. GAO Pan,PENG Qiang,WANG Qionghua. Chinese Journal of Electronics. 2016(02)
本文編號(hào):3040554
【文章來(lái)源】:北京交通大學(xué)北京市 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:126 頁(yè)
【學(xué)位級(jí)別】:博士
【部分圖文】:
圖1.1沉浸式視頻的一些典型應(yīng)用:(a)多視點(diǎn)裸眼3D電視,(b)?2016年里約奧運(yùn)會(huì)全景??
??眼3D電視的誕生(如圖1.1(a)),使多視點(diǎn)視頻得以在更多的領(lǐng)域中廣泛應(yīng)用。不??啻如此,2013年由上海交通大學(xué)無(wú)錫研宄院和2017年由嘉楠耘智等公司相繼研制??成功的82寸超大屏幕3D電視和全球首款裸眼3D特高清(8K)電視,使裸眼3D技術(shù)??成功走進(jìn)千家萬(wàn)戶(hù)。Facebook在2014年的一項(xiàng)重要舉措,即以20億美元的價(jià)格收??購(gòu)VR技術(shù)公司Oculus,促使沉寂已久的VR迎來(lái)了迸發(fā)式的發(fā)展。可以預(yù)見(jiàn),諸??如《頭號(hào)玩家》般的沉浸式娛樂(lè)即將成為可能。根據(jù)華為關(guān)于面向VR業(yè)務(wù)的白皮??書(shū)所述[6],360°視頻是最先蓬勃發(fā)展的在線VR應(yīng)用。如圖1.1(b)所示,2016年里??約奧運(yùn)會(huì)和2018年平昌冬奧會(huì)上,360°全景視頻直播的大規(guī)模投入,即是對(duì)此發(fā)??展趨勢(shì)的有力印證。一言以蔽之,沉浸式視頻在未來(lái)網(wǎng)絡(luò)視頻發(fā)展的過(guò)程中將占??據(jù)主導(dǎo)地位。??沉浸式視頻存在三要素:多維性、交互性以及實(shí)時(shí)性。多維性是指用戶(hù)的感??知環(huán)境綜合了空間多維度信息
的發(fā)展贏得了空間,也創(chuàng)造出了巨大價(jià)值。清華大學(xué)戴瓊海院士團(tuán)隊(duì)在國(guó)際上首??次提出了視覺(jué)場(chǎng)理論,建立了視角、光照和事件的關(guān)系,搭建起了光照-視角協(xié)同??采集裝置平臺(tái),其重建精度在國(guó)際評(píng)測(cè)中位居首位,如圖1.2(a)所示。北京交通??大學(xué)趙耀團(tuán)隊(duì)構(gòu)建了多視點(diǎn)視頻水平和環(huán)形采集平臺(tái),由10臺(tái)高清相機(jī)組成陣列,??從不同角度同步實(shí)現(xiàn)視點(diǎn)采集,如圖1.2(b)所示。上海交通大學(xué)無(wú)錫研宄院研發(fā)??了首臺(tái)國(guó)產(chǎn)“裸眼3D”多視點(diǎn)電視。中國(guó)品牌TCL、海信、創(chuàng)維和超多維等公司亦??各自研制出了裸眼自由視點(diǎn)顯示設(shè)備。??■■■■??■?Mg??I?W?\?HaaM??(a)?(b)??圖1.3?(a)看到科技黑曜石,(b)看到科技直播軟件??Fig?1.3?(a)?Kandao?Obsidian,?(b)?Kandao?Live??近年來(lái),得益于對(duì)更強(qiáng)體驗(yàn)深度的全面支持,360°視頻已經(jīng)逐漸引起了國(guó)??內(nèi)外的廣泛關(guān)注。為了解決傳輸瓶頸,學(xué)術(shù)界和工業(yè)界也競(jìng)相開(kāi)展有關(guān)研宄。??在?2017年,MPEG?制訂了?全方位媒體應(yīng)用格式(Omnidirectional?Media?Application??Format
【參考文獻(xiàn)】:
期刊論文
[1]Error-Resilient Multi-view Video Coding Based on End-to-End Rate-Distortion Optimization[J]. GAO Pan,PENG Qiang,WANG Qionghua. Chinese Journal of Electronics. 2016(02)
本文編號(hào):3040554
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/3040554.html
最近更新
教材專(zhuān)著