伴隨著各種新技術的不斷涌現,WebRTC應運而生。WebRTC是一項基于瀏覽器的多媒體實時通信技術,也是終端音視頻接口的標準化抽象和實時通信的建立、多媒體編碼格式以及傳輸的標準規(guī)范。只要滿足這些標準規(guī)范,Web端和移動端都可以得到應用。除了像WebRTC這樣的新技術外,與WebRTC相關聯的視頻后處理技術也在不斷研究和更新中。其中幀率提升技術就是視頻后處理技術中研究的熱點,其在數字媒體領域有著廣泛的應用,不僅可以用于提高視頻在播放端的質量,也可以用于平衡海量的視頻數據與有限的帶寬資源之間的矛盾。本文首先對WebRTC的整體框架、核心技術等進行研究,并對影響著WebRTC視頻質量中的幀率調整策略進行研究。由于WebRTC的實時視頻技術中采取了一定丟幀策略,故而對視頻后處理技術中的幀率提升技術進行研究。本文主要對傳統(tǒng)的幀率提升算法作了研究分析,同時對CNN、U-net、Res Net等神經網絡進行研究分析,針對傳統(tǒng)幀率提升算法的不足,結合深度學習的優(yōu)勢,提出一種基于改進UNet的幀率提升算法。該算法使用U-net和Res Net的結合,將視頻的相鄰兩幀作為輸入,通過U-net網絡編碼和解碼... 

【文章來源】：重慶郵電大學重慶市

【文章頁數】：75 頁

【學位級別】：碩士

【部分圖文】：

基于改進U-Net網絡的FRUC算法預測模型

重慶郵電大學碩士學位論文第3章基于改進U-Net神經網絡的幀率提升算法333.10所示，10個視頻序列作為測試集，包含6357視頻序列鄭數據集詳細信息如表3.2所示。表3.2網絡模型訓練數據集TrainSetTestSetvideoclips12310videoframes846486357framesperclip688.2635.7resolution1280*7201280*720圖3.10部分視頻序列幀2.數據歸一化當直接使用原圖來訓練我們的網絡模型時候，模型的輸出會有很大的誤差，容易造成梯度爆炸，不能達到理想的效果。因此我們對輸入訓練樣本進行歸一化處理，將訓練樣本歸一化為[0,1]之間，能夠加快梯度下降求解最優(yōu)解的速度，利于網絡的收斂。歸一化處理如公式3.8所示：′=255(3.8)其中，表示通道上的輸入圖像；′表示處理后的圖像。

重慶郵電大學碩士學位論文第3章基于改進U-Net神經網絡的幀率提升算法35表3.3不同視頻序列下各算法的PSNR(dB)videoclipsMotionEST-AlgoCNN-AlgoU-net-AlgoRes_U-Net-Algopeople31.3531.6732.3732.19sport30.0330.7831.1831.35wallpaper31.5131.5932.0332.46lawn29.8331.2632.2433.07building30.3632.4331.8832.22football31.2430.2630.4430.71flower30.7831.4631.8932.39Average30.7331.3531.7132.06圖3.11不同視頻序列幀下各算法的PSNR(dB)其中MotionEST-Algo代表傳統(tǒng)的基于文獻[55]使用的算法，CNN-Algo表示文獻[7]提出的算法，U-net-Algo表示使用未改進的U-net網絡算法，Res_U-Net-Algo表示本文提出的殘差網絡和U-net網絡結合的算法，實驗采用多種視頻序列進行比較，這些視頻序列具有不同的特點，包括運動、靜止、人物細節(jié)等，從而可以全方位的對算法的優(yōu)劣進行驗證。表3.3所展示的是不同的視頻序列幀在不同的幀率提升算法下的PSNR值，是插值幀的客觀效果。圖3.11是對表3.3中的PSNR值所做的直觀柱狀圖，由此可看出本文提出的改進U-Net的幀率提升算法在大部分的視頻序列下所預測的插值幀在客觀值上高于其他算法，也就是插值幀的客觀效果優(yōu)于其他算法所預測的插值鄭本文算法、U-net、CNN和傳統(tǒng)幀率提升算法預測的插值幀的主觀效果如圖3.12所示。

【參考文獻】：
期刊論文
[1]基于RTP的WebRTC音視頻傳輸優(yōu)化方法[J]. 李波,李雪夢,王彥本.  西安郵電大學學報. 2019(01)
[2]卷積神經網絡研究綜述[J]. 張亞倩.  信息通信. 2018(11)
[3]基于卷積網絡的幀率提升算法研究[J]. 侯敬軒,趙耀,林春雨,劉美琴,白慧慧.  計算機應用研究. 2018(02)
[4]卷積神經網絡研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學報. 2017(06)
[5]基于WebRTC的實時視音頻通信研究綜述[J]. 張向輝,黃佳慶,吳康恒,雷志斌.  計算機科學. 2015(02)
[6]基于多特征匹配的雙向運動估計幀率提升算法[J]. 薛春玲,李然,朱秀昌.  電視技術. 2015(01)
[7]WebRTC技術初探[J]. 屈振華,李慧云,張海濤,龍顯軍.  電信科學. 2012(10)

碩士論文
[1]農業(yè)場景下卷積神經網絡的應用研究[D]. 劉慶飛.新疆大學 2019
[2]基于WebRTC的遠程教育系統(tǒng)的設計與實現[D]. 李慶建.中國科學院大學(中國科學院沈陽計算技術研究所) 2019
[3]基于Delaunay三角形網格的視頻幀率提升技術[D]. 李聰.山西大學 2019
[4]基于CycleGAN的字體風格轉移算法及其應用[D]. 張國洲.西華大學 2019
[5]基于運動信息的視頻幀率提升方法研究[D]. 曲愛喜.山東大學 2017
[6]基于WebRTC的iOS多人會議系統(tǒng)的設計與實現[D]. 王易可.北京郵電大學 2017
[7]基于WebRTC的視頻自適應傳輸技術研究[D]. 李昭.北京郵電大學 2017
[8]深度學習中的自編碼器的表達能力研究[D]. 王雅思.哈爾濱工業(yè)大學 2014
[9]基于運動矢量場平滑約束的幀率上轉換技術研究[D]. 姜肇海.南京郵電大學 2014
[10]基于稀疏表示的幀率提升算法[D]. 謝世鵬.天津大學 2014



本文編號：3247465