面向在線教育應用的視頻處理研究
發(fā)布時間:2020-09-02 17:09
教育行業(yè)一直是民眾關注的重點,隨著我國經(jīng)濟發(fā)展和人民生活水平的提高,家庭消費中在教育投入大幅增加,教育相關的產(chǎn)業(yè)飛速發(fā)展。依托近年來互聯(lián)網(wǎng)等信息技術的飛速發(fā)展,新興的在線教育融合信息技術和互聯(lián)網(wǎng)模式,涌現(xiàn)了多種在線教育形式,包括公開課、點播、直播等。這些在線教育產(chǎn)品都依托數(shù)字視頻傳輸實現(xiàn)點播和直播,因此性能優(yōu)良的數(shù)字視頻傳輸系統(tǒng)對于在線教育產(chǎn)品的質(zhì)量至關重要。數(shù)字視頻傳輸系統(tǒng)主要包括視頻編解碼、視頻傳輸?shù)拳h(huán)節(jié)。視頻編碼主要完成數(shù)字視頻信號的壓縮編碼,節(jié)省網(wǎng)絡傳輸帶寬。HEVC是新一代的視頻編碼標準,相對于前代編碼標準,HEVC引入了很多新的壓縮編碼技術,具有優(yōu)越的壓縮編碼性能,然而編碼流程復雜,導致計算復雜度大幅提升,對低延時直播應用提出很大的挑戰(zhàn)。在線教育的直播需要多方的實時視頻通訊和互動,需要高效的音視頻流媒體傳輸,以及復雜的信令邏輯控制。本文針對HEVC的高復雜度和在線教育場景下的直播視頻傳輸進行了研究。運動搜索是編碼器的關鍵模塊,其在整個編碼器復雜度中占比很高,而亞像素搜索又是運動搜索中占比很高的模塊。本文針對HEVC亞像素搜素進行算法優(yōu)化研究,相對于原始的全搜索算法,本文參考一元二次方程擬合和二次曲線擬合算法,預測最優(yōu)亞像素點,編碼率失真在一定范圍內(nèi)的前提下,有效減少亞像素插值次數(shù),提高編碼速度。此外本文研究HEVC率失真計算流程,針對亞像素運動搜索的率失真計算提出5種簡化算法,有效減少計算復雜度。本設計參與在線教育直播系統(tǒng)實現(xiàn),針對在線教育場景,實現(xiàn)直播系統(tǒng)的信令傳輸和視頻流傳輸,通過websocket協(xié)議實現(xiàn)信令傳輸功能,通過RTP/RTCP實現(xiàn)視頻流打包傳輸功能。為改善在線教育系統(tǒng)質(zhì)量,提出了白板信令異步緩存優(yōu)化、TURN SERVER主從集群優(yōu)化、分區(qū)域錄播緩存等多種系統(tǒng)優(yōu)化方法,有效提高系統(tǒng)穩(wěn)定性、負載能力和用戶體驗。該視頻傳輸系統(tǒng)已經(jīng)在某在線教育機構中上線使用,有效支持眾多用戶同時上線用。本文先介紹了HEVC關鍵技術,并分析HEVC亞像素搜索算法實現(xiàn),隨后具體介紹一次擬合、二次擬合和簡化RDCost計算這三種優(yōu)化算法的具體實現(xiàn),通過標準序列和在線教育序列分析仿真實驗結果和對比,在PSNR下降一定程度前提下,得到速率提升較快的優(yōu)化算法。然后介紹在線教育直播系統(tǒng)框架,介紹了信令傳輸和視頻流數(shù)據(jù)打包發(fā)送實現(xiàn),具體分析白板信令異步緩存優(yōu)化等系統(tǒng)優(yōu)化方法,通過這些優(yōu)化方法,解決了在線教育系統(tǒng)實際遇到的問題,在性能和用戶體驗方面有較明顯的提升,能夠投入實際線上教育場景使用取得較好的效果。
【學位單位】:上海交通大學
【學位級別】:碩士
【學位年份】:2018
【中圖分類】:TN919.81
【部分圖文】:
圖 2-1 HEVC 編碼框架[1]Fig.2-1 HEVC encoding framework[1]式構相對于前面的標準有明顯的差別,H編碼塊對高分辨率視頻的壓縮效率更高 編碼方式。具體介紹如下:TB)單色分量圖像(YUV 分量)分割為多個 64*64。 Unit, CU) 進行視頻壓縮處理的基本單元,每個編64。在進行編碼時,根據(jù)圖像紋理細節(jié)即:64*64、32*32、16*16、8*8。
圖 2-1 HEVC 編碼框架[1]Fig.2-1 HEVC encoding framework[1].1 HEVC 圖像表達方式HEVC 的編碼樹結構相對于前面的標準有明顯的差別,HEVC 面向超高清視碼,采用了更大的編碼塊對高分辨率視頻的壓縮效率更高。HEVC 相對 H.264了 64x64 和 32x32 編碼方式。具體介紹如下:樹塊(Tree Block, TB)HEVC 視頻編碼將單色分量圖像(YUV 分量)分割為多個樹塊,樹塊大小為N 的正方形,最大為 64*64。編碼單元(Coding Unit, CU)編碼單元是 HEVC 進行視頻壓縮處理的基本單元,每個編碼單元是正方形,范圍從 8*8 到 64*64。在進行編碼時,根據(jù)圖像紋理細節(jié)選擇合適分割策略,最多有四級分割,即:64*64、32*32、16*16、8*8。
上海交通大學碩士學位論文3. 預測單元(Prediction Unit, PU)在執(zhí)行預測編碼是 CU 被分割成預測單元,HEVC 不僅支持對稱分割,還支持非對稱分割。對稱分割有四種分割模式:2Nx2N、Nx2N、NxN,如圖 2-3 所示;非對稱分割也有四種模式:2NxnU、 2NxnD、 nLx2N、nRx2N,如圖 2-4 所示。預測單元根據(jù)不同的編碼模式有不同的劃分。在 skip 模式下,只有 2Nx2N 劃分;幀內(nèi)模式下,只有 2Nx2N 和 NxN 兩種劃分方式;幀間模式下,有 2Nx2N、Nx2N、2Nx2N、NxN 幾種劃分方式。
本文編號:2810872
【學位單位】:上海交通大學
【學位級別】:碩士
【學位年份】:2018
【中圖分類】:TN919.81
【部分圖文】:
圖 2-1 HEVC 編碼框架[1]Fig.2-1 HEVC encoding framework[1]式構相對于前面的標準有明顯的差別,H編碼塊對高分辨率視頻的壓縮效率更高 編碼方式。具體介紹如下:TB)單色分量圖像(YUV 分量)分割為多個 64*64。 Unit, CU) 進行視頻壓縮處理的基本單元,每個編64。在進行編碼時,根據(jù)圖像紋理細節(jié)即:64*64、32*32、16*16、8*8。
圖 2-1 HEVC 編碼框架[1]Fig.2-1 HEVC encoding framework[1].1 HEVC 圖像表達方式HEVC 的編碼樹結構相對于前面的標準有明顯的差別,HEVC 面向超高清視碼,采用了更大的編碼塊對高分辨率視頻的壓縮效率更高。HEVC 相對 H.264了 64x64 和 32x32 編碼方式。具體介紹如下:樹塊(Tree Block, TB)HEVC 視頻編碼將單色分量圖像(YUV 分量)分割為多個樹塊,樹塊大小為N 的正方形,最大為 64*64。編碼單元(Coding Unit, CU)編碼單元是 HEVC 進行視頻壓縮處理的基本單元,每個編碼單元是正方形,范圍從 8*8 到 64*64。在進行編碼時,根據(jù)圖像紋理細節(jié)選擇合適分割策略,最多有四級分割,即:64*64、32*32、16*16、8*8。
上海交通大學碩士學位論文3. 預測單元(Prediction Unit, PU)在執(zhí)行預測編碼是 CU 被分割成預測單元,HEVC 不僅支持對稱分割,還支持非對稱分割。對稱分割有四種分割模式:2Nx2N、Nx2N、NxN,如圖 2-3 所示;非對稱分割也有四種模式:2NxnU、 2NxnD、 nLx2N、nRx2N,如圖 2-4 所示。預測單元根據(jù)不同的編碼模式有不同的劃分。在 skip 模式下,只有 2Nx2N 劃分;幀內(nèi)模式下,只有 2Nx2N 和 NxN 兩種劃分方式;幀間模式下,有 2Nx2N、Nx2N、2Nx2N、NxN 幾種劃分方式。
【參考文獻】
相關期刊論文 前2條
1 金惠羨;;淺談下一代編碼壓縮技術——HEVC[J];數(shù)字通信世界;2011年11期
2 劉占平,董士海;MPEG-4標準及相關進展[J];中國圖象圖形學報;1999年06期
本文編號:2810872
本文鏈接:http://sikaile.net/kejilunwen/wltx/2810872.html
最近更新
教材專著