采用雙網(wǎng)絡(luò)結(jié)構(gòu)的壓縮視頻超分辨率重建
發(fā)布時(shí)間:2020-12-21 06:23
在實(shí)際應(yīng)用中,為了節(jié)省帶寬和方便存儲(chǔ),圖像和視頻通常被下采樣和壓縮,而降質(zhì)的圖像與視頻無(wú)法滿足人們的實(shí)際需求。針對(duì)這一問題,采用了一種雙網(wǎng)絡(luò)結(jié)構(gòu)的超分辨率重建方法,首先建立下采視頻與壓縮后的低分辨率視頻的映射關(guān)系,然后建立質(zhì)量增強(qiáng)的壓縮視頻與原始視頻的映射關(guān)系,最終在輸出端可以得到質(zhì)量提升的視頻幀。在網(wǎng)絡(luò)中,采用密集殘差塊來(lái)提取壓縮視頻中豐富的局部分層特征,并結(jié)合全局殘差學(xué)習(xí)恢復(fù)視頻中的高頻信息。在壓縮環(huán)節(jié),采用高性能視頻編碼來(lái)驗(yàn)證所提算法的有效性。實(shí)驗(yàn)結(jié)果表明,相比于主流的視頻編碼標(biāo)準(zhǔn)和先進(jìn)的超分辨率重建算法,所提方法能有效提升編碼視頻的率失真性能。
【文章來(lái)源】:電訊技術(shù). 2020年01期 北大核心
【文章頁(yè)數(shù)】:6 頁(yè)
【部分圖文】:
本文方法框架
式中:F1(yL)是從輸入視頻yL中提取的特征,W1和B1分別表示權(quán)重和偏置濾波器,符號(hào)*表示卷積操作。第一層提取的特征映射作為隨后密集殘差塊的輸入。為了更好地利用層次特征,提取了局部密集特征之后,采用了特征融合的策略。2.1.1 密集殘差塊
本文采用Set14[5-6]來(lái)驗(yàn)證卷積網(wǎng)絡(luò)的收斂,檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)的合理性和有效性。其中,Set14中的信息和訓(xùn)練集中的完全不同。本文以QP=40為例,在去壓縮過程中,Set14的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)與訓(xùn)練中迭代次數(shù)的關(guān)系曲線如圖3(a)所示,在超分辨率重建過程中的關(guān)系曲線如圖3(b)所示。從曲線圖可以看出,本文的數(shù)據(jù)集可以確保卷積神經(jīng)網(wǎng)絡(luò)在去壓縮和超分辨率兩個(gè)過程中有效收斂。為了驗(yàn)證本文方法的有效性,本文對(duì)多個(gè)序列進(jìn)行實(shí)驗(yàn),其中包括不同分辨率和紋理信息各異的視頻,并與視頻編碼標(biāo)準(zhǔn)HEVC對(duì)比。根據(jù)碼率(單位為kb/s)、視頻峰值信噪比(PSNR)以及結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index,SSIM)的對(duì)比結(jié)果,Walk序列采用壓縮標(biāo)準(zhǔn)HEVC時(shí),當(dāng)重建視頻幀PSNR值為29.19 dB、SSIM值為0.837 3時(shí),碼率為1 362.72 kb/s;而采用本文的方法,當(dāng)重建視頻幀PSNR值為29.44 dB、SSIM值為0.847 2時(shí),碼率為1 263.84 kb/s。這兩種方法的PSNR值、SSIM值相差不大,本文方法可以比HEVC標(biāo)準(zhǔn)降低更多的碼率。
【參考文獻(xiàn)】:
期刊論文
[1]基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化[J]. 林國(guó)川,何小海,李向群,于成業(yè). 電訊技術(shù). 2016(01)
本文編號(hào):2929356
【文章來(lái)源】:電訊技術(shù). 2020年01期 北大核心
【文章頁(yè)數(shù)】:6 頁(yè)
【部分圖文】:
本文方法框架
式中:F1(yL)是從輸入視頻yL中提取的特征,W1和B1分別表示權(quán)重和偏置濾波器,符號(hào)*表示卷積操作。第一層提取的特征映射作為隨后密集殘差塊的輸入。為了更好地利用層次特征,提取了局部密集特征之后,采用了特征融合的策略。2.1.1 密集殘差塊
本文采用Set14[5-6]來(lái)驗(yàn)證卷積網(wǎng)絡(luò)的收斂,檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)的合理性和有效性。其中,Set14中的信息和訓(xùn)練集中的完全不同。本文以QP=40為例,在去壓縮過程中,Set14的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)與訓(xùn)練中迭代次數(shù)的關(guān)系曲線如圖3(a)所示,在超分辨率重建過程中的關(guān)系曲線如圖3(b)所示。從曲線圖可以看出,本文的數(shù)據(jù)集可以確保卷積神經(jīng)網(wǎng)絡(luò)在去壓縮和超分辨率兩個(gè)過程中有效收斂。為了驗(yàn)證本文方法的有效性,本文對(duì)多個(gè)序列進(jìn)行實(shí)驗(yàn),其中包括不同分辨率和紋理信息各異的視頻,并與視頻編碼標(biāo)準(zhǔn)HEVC對(duì)比。根據(jù)碼率(單位為kb/s)、視頻峰值信噪比(PSNR)以及結(jié)構(gòu)相似性指數(shù)(Structural Similarity Index,SSIM)的對(duì)比結(jié)果,Walk序列采用壓縮標(biāo)準(zhǔn)HEVC時(shí),當(dāng)重建視頻幀PSNR值為29.19 dB、SSIM值為0.837 3時(shí),碼率為1 362.72 kb/s;而采用本文的方法,當(dāng)重建視頻幀PSNR值為29.44 dB、SSIM值為0.847 2時(shí),碼率為1 263.84 kb/s。這兩種方法的PSNR值、SSIM值相差不大,本文方法可以比HEVC標(biāo)準(zhǔn)降低更多的碼率。
【參考文獻(xiàn)】:
期刊論文
[1]基于感興趣區(qū)域的HEVC壓縮性能優(yōu)化[J]. 林國(guó)川,何小海,李向群,于成業(yè). 電訊技術(shù). 2016(01)
本文編號(hào):2929356
本文鏈接:http://sikaile.net/kejilunwen/wltx/2929356.html
最近更新
教材專著