【摘要】：進(jìn)入21世紀(jì),虛擬現(xiàn)實(shí)技術(shù)獲得了長足的發(fā)展,如今一些全景視頻的出現(xiàn),結(jié)合3D立體技術(shù)的發(fā)展,掀起了開發(fā)虛擬現(xiàn)實(shí)的熱潮。全景技術(shù)在當(dāng)今社會也取得了越來越廣泛的應(yīng)用,包括網(wǎng)絡(luò)直播、虛擬現(xiàn)實(shí)以及全景地圖等。在單視點(diǎn)平面視頻的觀看需求被滿足之后,人們越來越希望能夠在網(wǎng)絡(luò)上看到多視點(diǎn)并富有立體感的視頻,以獲得更加逼真的視覺享受�；诰W(wǎng)絡(luò)的全景視頻直播已經(jīng)成為人類視覺研究的一個(gè)重要的發(fā)展方向。本文設(shè)計(jì)并實(shí)現(xiàn)了基于環(huán)形360度全景視頻的網(wǎng)絡(luò)直播系統(tǒng),相對于傳統(tǒng)的單視點(diǎn)網(wǎng)絡(luò)直播,本系統(tǒng)通過獲取水平方向多個(gè)視點(diǎn)視頻并處理得到環(huán)形360度全景視頻,繼而對其進(jìn)行實(shí)時(shí)編碼壓縮并傳輸給遠(yuǎn)程用戶終端。本文的主要工作包括以下三個(gè)方面:1)全景視頻的采集和制作。本系統(tǒng)采用6個(gè)小蟻相機(jī)作為直播的視頻采集源,首先對攝像機(jī)進(jìn)行參數(shù)的設(shè)定,包括位置、焦距、分辨率、白平衡、曝光率等,然后結(jié)合相應(yīng)參數(shù)進(jìn)行圖像拼接得到360度全景視頻�？紤]到直播系統(tǒng)對實(shí)時(shí)性要求較高,本文采用改進(jìn)后的SURF算法進(jìn)特征點(diǎn)提取和匹配,并采用多線程處理多視點(diǎn)圖像拼接和融合,從而加快全景圖像獲取速度。2)全景視頻的實(shí)時(shí)網(wǎng)絡(luò)傳輸。首先對獲取的全景視頻和音頻進(jìn)行編碼,由于全景視頻數(shù)據(jù)量較大,本文采用H.264編碼標(biāo)準(zhǔn)編碼對原始全景視頻和音頻,并對音視頻進(jìn)行同步;其次,設(shè)計(jì)合理的網(wǎng)絡(luò)直播架構(gòu),本系統(tǒng)采用傳統(tǒng)C/S模式進(jìn)行網(wǎng)絡(luò)傳輸和視頻分發(fā),通過搭建Nginx流媒體服務(wù)器接收采集端發(fā)送的實(shí)時(shí)視頻并轉(zhuǎn)發(fā)給用戶終端。3)全景視頻的終端接收、展示及交互。此過程通過網(wǎng)絡(luò)傳輸協(xié)議接收服務(wù)器端的直播流,采用設(shè)備3Glasses來展示全景視頻,3Glasses頭盔設(shè)備內(nèi)置了九軸傳感器和AMOLED屏,增強(qiáng)了用戶交互性,特別適合展示立體全景視頻。本系統(tǒng)的關(guān)鍵是多個(gè)視點(diǎn)視頻的特征點(diǎn)匹配以及拼接融合得到相應(yīng)的水平360度全景視頻,此過程對處理速度要求較高,并且對拼接效果有一定的要求。經(jīng)過系統(tǒng)測試,在現(xiàn)有網(wǎng)絡(luò)帶寬直播系統(tǒng)延時(shí)較低,能夠滿足實(shí)時(shí)性要求,并且全景畫面銜接自然,給用戶終端沉浸感和交互性,在虛擬視覺領(lǐng)域具有較高的科研和應(yīng)用價(jià)值。
【圖文】：

２．１直播系統(tǒng)整體框架逡逑傳統(tǒng)網(wǎng)絡(luò)直播系統(tǒng)主要包含了以下幾個(gè)過程：視頻獲取、視頻編解碼、網(wǎng)絡(luò)傳輸以及終端顯逡逑示。整個(gè)直播過程呈現(xiàn)流式結(jié)構(gòu)，后一個(gè)環(huán)節(jié)都依賴于前一環(huán)節(jié)的支持，，如圖２－１所示。逡逑／邐Ｎ邋ｒ邐＼邐＾逡逑Ｗ拜淹邐墫s寵邐＾逡逑１邋＋邋ａ邋＊邋＿邐ｗ逡逑８８邋＃邋ｓｓ邋＾邋＾邋＾逡逑編碼２５邐洼媒體＊夯２邐yP碼２邐Ｓ示２５逡逑ｖ邐ｙ邋Ｖ邐邐邐Ｊ邋ｖ邐／逡逑視頻獲取邐視頻編解碼和網(wǎng)絡(luò)傳輸邐胃端？示逡逑邐邋Ｉ邋邐邋．邐．．．邐．邐．．．邐．邐邐邐逡逑圖２－１傳統(tǒng)網(wǎng)絡(luò)直播系統(tǒng)框架逡逑（１）

的全景成像首先借助單個(gè)普通相機(jī)圍繞某固定點(diǎn)旋轉(zhuǎn)并拍攝多張圖像，或是通過全景支架借助多臺逡逑同等配置攝像機(jī)同時(shí)拍攝各個(gè)視角的一組圖像，然后將得到的多個(gè)視角的圖像進(jìn)行無縫平滑拼接形逡逑成全景視頻圖像，如圖２－２所示。由于每幅圖像的坐標(biāo)不同，為了圖像拼接融合的需要，需要把每逡逑幅圖像處理變換到同一個(gè)坐標(biāo)系下，此時(shí)需要全景圖像的投影變換。按照投影坐標(biāo)系不同可以將其逡逑分為圓柱面投影和球面投影兩大類。逡逑１０１邋．ＪＰＧ邋［ＯＺＪＰＧ邋ｌ０３．ＪＰＧ邋｜０４．ＪＰＧ邋｜0５．ＪＰＧ邋｜0Ｇ．ＪＰＧ邋０７邋ＪＰＧ邋ＯＳ邋ＪＰＧ邋０９邋ＪＰＧ邋＇ｉＣｉＪＰＧ＇逡逑圖２－２圖像拼接成全景圖逡逑圖像拼接包括圖像配準(zhǔn)與融合，圖像配準(zhǔn)是對需要拼接的兩幅圖像進(jìn)行特征點(diǎn)提取，并進(jìn)行特逡逑征點(diǎn)匹配得到相應(yīng)的單應(yīng)矩陣（圖像變換矩陣），然后根據(jù)單應(yīng)矩陣變換其中一幅圖像，使得兩幅逡逑圖像變換到同一坐標(biāo)系下。傳統(tǒng)的圖像配準(zhǔn)算法，如尺度不變的特征變換（Ｓｃａｌｅ邋Ｉｎｖａｒｉａｎｔ邋Ｆｅａｔｕｒｅ逡逑Ｔｒａｎｓｆｏｒｍ，邋ＳＩＦＴ）難以滿足實(shí)時(shí)性要求，加速分割檢測特征（Ｓｐｅｅｄｅｄ邋Ｕｐ邋Ｒｏｂｕｓｔ邋Ｆｅａｔｕｒｅｓ，ＳＵＲＦ）算逡逑法因計(jì)算速度較快而得名，ＡｈｎＣｈａｎｇ－Ｗｏｏｋ等又在此基礎(chǔ)上進(jìn)行了改進(jìn)，使用具有方向性的逡逑ＢＲＩＥＦ特征算子，提出了邋ＯＲＢ算法（ＯＲｉｅｎｔｅｄ邋Ｂｒｉｅｆ，邋—種新的角點(diǎn)檢測與特征描述算法）。ＯＲＢ逡逑算法的處理速度有了明顯的提升
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 于海燕;姚青華;;一種改進(jìn)的寬基線圖像SURF算法[J];電視技術(shù);2015年21期

2 劉志軍;袁然;黃奇;鄭桂林;;基于FFMPEG的多路流媒體播放器的設(shè)計(jì)與實(shí)現(xiàn)[J];信息通信;2015年01期

3 肖瀟;;安防行業(yè)迎來新一代視頻編碼標(biāo)準(zhǔn)H.265的落地應(yīng)用[J];中國安防;2014年18期

4 袁華;劉曉偉;;淺析幾種常用的視頻編碼標(biāo)準(zhǔn)[J];內(nèi)蒙古廣播與電視技術(shù);2014年02期

5 胡敏;;流媒體技術(shù)在網(wǎng)絡(luò)中的應(yīng)用與發(fā)展探究[J];電子測試;2014年03期

6 郭曉冉;崔少輝;;基于局部特征點(diǎn)配準(zhǔn)的圖像拼接算法[J];半導(dǎo)體光電;2014年01期

7 沈燕飛;李錦濤;朱珍民;張勇東;;高效視頻編碼[J];計(jì)算機(jī)學(xué)報(bào);2013年11期

8 王佩雪;周華強(qiáng);田青劍;;基于P2P在線流媒體PeerCast系統(tǒng)的改進(jìn)設(shè)計(jì)[J];成組技術(shù)與生產(chǎn)現(xiàn)代化;2013年03期

9 楊海燕;羅文超;劉國棟;;基于SURF算法和SC-RANSAC算法的圖像配準(zhǔn)[J];計(jì)算機(jī)應(yīng)用研究;2013年05期

10 RAMON;;3D直播實(shí)踐及技術(shù)應(yīng)用[J];現(xiàn)代電視技術(shù);2012年08期

相關(guān)碩士學(xué)位論文 前7條

1 付金星;立體視頻點(diǎn)播和直播系統(tǒng)研究[D];北京郵電大學(xué);2014年

2 田延冰;基于雙PAL全景系統(tǒng)的立體信息獲取研究[D];浙江大學(xué);2014年

3 何鼎乾;全景圖像獲取和顯示技術(shù)研究[D];解放軍信息工程大學(xué);2013年

4 唐俊林;多視點(diǎn)立體視頻采集與發(fā)送系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2012年

5 李樂;全景視頻實(shí)時(shí)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2007年

6 黃明;基于流媒體技術(shù)的立體視頻傳輸系統(tǒng)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

7 李世平;面向網(wǎng)絡(luò)的立體視頻編碼和傳輸技術(shù)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

本文編號：2529698