發(fā)布時間：2021-06-24 16:45

　　伴隨著各種新技術(shù)的不斷涌現(xiàn),WebRTC應(yīng)運而生。WebRTC是一項基于瀏覽器的多媒體實時通信技術(shù),也是終端音視頻接口的標(biāo)準(zhǔn)化抽象和實時通信的建立、多媒體編碼格式以及傳輸?shù)臉?biāo)準(zhǔn)規(guī)范。只要滿足這些標(biāo)準(zhǔn)規(guī)范,Web端和移動端都可以得到應(yīng)用。除了像WebRTC這樣的新技術(shù)外,與WebRTC相關(guān)聯(lián)的視頻后處理技術(shù)也在不斷研究和更新中。其中幀率提升技術(shù)就是視頻后處理技術(shù)中研究的熱點,其在數(shù)字媒體領(lǐng)域有著廣泛的應(yīng)用,不僅可以用于提高視頻在播放端的質(zhì)量,也可以用于平衡海量的視頻數(shù)據(jù)與有限的帶寬資源之間的矛盾。本文首先對WebRTC的整體框架、核心技術(shù)等進行研究,并對影響著WebRTC視頻質(zhì)量中的幀率調(diào)整策略進行研究。由于WebRTC的實時視頻技術(shù)中采取了一定丟幀策略,故而對視頻后處理技術(shù)中的幀率提升技術(shù)進行研究。本文主要對傳統(tǒng)的幀率提升算法作了研究分析,同時對CNN、U-net、Res Net等神經(jīng)網(wǎng)絡(luò)進行研究分析,針對傳統(tǒng)幀率提升算法的不足,結(jié)合深度學(xué)習(xí)的優(yōu)勢,提出一種基于改進UNet的幀率提升算法。該算法使用U-net和Res Net的結(jié)合,將視頻的相鄰兩幀作為輸入,通過U-net網(wǎng)絡(luò)編碼和解碼... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

基于改進U-Net網(wǎng)絡(luò)的FRUC算法預(yù)測模型

重慶郵電大學(xué)碩士學(xué)位論文第3章基于改進U-Net神經(jīng)網(wǎng)絡(luò)的幀率提升算法333.10所示，10個視頻序列作為測試集，包含6357視頻序列鄭數(shù)據(jù)集詳細(xì)信息如表3.2所示。表3.2網(wǎng)絡(luò)模型訓(xùn)練數(shù)據(jù)集TrainSetTestSetvideoclips12310videoframes846486357framesperclip688.2635.7resolution1280*7201280*720圖3.10部分視頻序列幀2.數(shù)據(jù)歸一化當(dāng)直接使用原圖來訓(xùn)練我們的網(wǎng)絡(luò)模型時候，模型的輸出會有很大的誤差，容易造成梯度爆炸，不能達(dá)到理想的效果。因此我們對輸入訓(xùn)練樣本進行歸一化處理，將訓(xùn)練樣本歸一化為[0,1]之間，能夠加快梯度下降求解最優(yōu)解的速度，利于網(wǎng)絡(luò)的收斂。歸一化處理如公式3.8所示：′=255(3.8)其中，表示通道上的輸入圖像；′表示處理后的圖像。

重慶郵電大學(xué)碩士學(xué)位論文第3章基于改進U-Net神經(jīng)網(wǎng)絡(luò)的幀率提升算法35表3.3不同視頻序列下各算法的PSNR(dB)videoclipsMotionEST-AlgoCNN-AlgoU-net-AlgoRes_U-Net-Algopeople31.3531.6732.3732.19sport30.0330.7831.1831.35wallpaper31.5131.5932.0332.46lawn29.8331.2632.2433.07building30.3632.4331.8832.22football31.2430.2630.4430.71flower30.7831.4631.8932.39Average30.7331.3531.7132.06圖3.11不同視頻序列幀下各算法的PSNR(dB)其中MotionEST-Algo代表傳統(tǒng)的基于文獻[55]使用的算法，CNN-Algo表示文獻[7]提出的算法，U-net-Algo表示使用未改進的U-net網(wǎng)絡(luò)算法，Res_U-Net-Algo表示本文提出的殘差網(wǎng)絡(luò)和U-net網(wǎng)絡(luò)結(jié)合的算法，實驗采用多種視頻序列進行比較，這些視頻序列具有不同的特點，包括運動、靜止、人物細(xì)節(jié)等，從而可以全方位的對算法的優(yōu)劣進行驗證。表3.3所展示的是不同的視頻序列幀在不同的幀率提升算法下的PSNR值，是插值幀的客觀效果。圖3.11是對表3.3中的PSNR值所做的直觀柱狀圖，由此可看出本文提出的改進U-Net的幀率提升算法在大部分的視頻序列下所預(yù)測的插值幀在客觀值上高于其他算法，也就是插值幀的客觀效果優(yōu)于其他算法所預(yù)測的插值鄭本文算法、U-net、CNN和傳統(tǒng)幀率提升算法預(yù)測的插值幀的主觀效果如圖3.12所示。

【參考文獻】：
期刊論文
[1]基于RTP的WebRTC音視頻傳輸優(yōu)化方法[J]. 李波,李雪夢,王彥本.  西安郵電大學(xué)學(xué)報. 2019(01)
[2]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 張亞倩.  信息通信. 2018(11)
[3]基于卷積網(wǎng)絡(luò)的幀率提升算法研究[J]. 侯敬軒,趙耀,林春雨,劉美琴,白慧慧.  計算機應(yīng)用研究. 2018(02)
[4]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學(xué)報. 2017(06)
[5]基于WebRTC的實時視音頻通信研究綜述[J]. 張向輝,黃佳慶,吳康恒,雷志斌.  計算機科學(xué). 2015(02)
[6]基于多特征匹配的雙向運動估計幀率提升算法[J]. 薛春玲,李然,朱秀昌.  電視技術(shù). 2015(01)
[7]WebRTC技術(shù)初探[J]. 屈振華,李慧云,張海濤,龍顯軍.  電信科學(xué). 2012(10)

碩士論文
[1]農(nóng)業(yè)場景下卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究[D]. 劉慶飛.新疆大學(xué) 2019
[2]基于WebRTC的遠(yuǎn)程教育系統(tǒng)的設(shè)計與實現(xiàn)[D]. 李慶建.中國科學(xué)院大學(xué)(中國科學(xué)院沈陽計算技術(shù)研究所) 2019
[3]基于Delaunay三角形網(wǎng)格的視頻幀率提升技術(shù)[D]. 李聰.山西大學(xué) 2019
[4]基于CycleGAN的字體風(fēng)格轉(zhuǎn)移算法及其應(yīng)用[D]. 張國洲.西華大學(xué) 2019
[5]基于運動信息的視頻幀率提升方法研究[D]. 曲愛喜.山東大學(xué) 2017
[6]基于WebRTC的iOS多人會議系統(tǒng)的設(shè)計與實現(xiàn)[D]. 王易可.北京郵電大學(xué) 2017
[7]基于WebRTC的視頻自適應(yīng)傳輸技術(shù)研究[D]. 李昭.北京郵電大學(xué) 2017
[8]深度學(xué)習(xí)中的自編碼器的表達(dá)能力研究[D]. 王雅思.哈爾濱工業(yè)大學(xué) 2014
[9]基于運動矢量場平滑約束的幀率上轉(zhuǎn)換技術(shù)研究[D]. 姜肇海.南京郵電大學(xué) 2014
[10]基于稀疏表示的幀率提升算法[D]. 謝世鵬.天津大學(xué) 2014



本文編號：3247465