【摘要】：視頻超分辨率技術(shù)旨在將低分辨率視頻轉(zhuǎn)換為清晰的高分辨率視頻,提升視頻的質(zhì)量。相關(guān)成果可以應(yīng)用于通信、娛樂(lè)、遙感、監(jiān)控和醫(yī)學(xué)等諸多領(lǐng)域。視頻超分辨率領(lǐng)域最主要的研究目標(biāo)是探尋精確、高效的算法,眾多研究者為此付出了艱苦的努力。大量的視頻超分辨率算法被提出,但到目前為止視頻超分辨率依然是一個(gè)沒(méi)有解決的、充滿挑戰(zhàn)性的難題。已有的視頻超分辨率算法存在一些問(wèn)題。例如,淺層視頻超分辨率卷積神經(jīng)網(wǎng)絡(luò)在性能和適應(yīng)性方面存在不足,部分循環(huán)卷積網(wǎng)絡(luò)對(duì)時(shí)域特性的建模能力偏弱,而基于生成對(duì)抗網(wǎng)絡(luò)的(人臉)視頻超分辨率算法給出的超分辨率結(jié)果的保真度比較低。為了解決上述疑難問(wèn)題,本文進(jìn)行了深入研究,提出了一些有針對(duì)性的解決方案。本文的主要研究工作包括:1.針對(duì)淺層視頻超分辨率卷積神經(jīng)網(wǎng)絡(luò)存在的模型容量不足和難以處理復(fù)雜運(yùn)動(dòng)的問(wèn)題,提出了一種基于運(yùn)動(dòng)補(bǔ)償和深度殘差學(xué)習(xí)的視頻超分辨率算法。首先采用光流算法對(duì)輸入視頻幀進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償預(yù)處理,然后根據(jù)預(yù)處理的結(jié)果使用一種新的深層殘差卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)高分辨率圖像。這種深層殘差卷積神經(jīng)網(wǎng)絡(luò)可以保留低頻信息,且有利于修復(fù)高頻細(xì)節(jié)。我們的算法可以自適應(yīng)地處理包括大尺度運(yùn)動(dòng)在內(nèi)的各種復(fù)雜運(yùn)動(dòng)。為了驗(yàn)證算法的有效性,進(jìn)行了相關(guān)的實(shí)驗(yàn)研究。實(shí)驗(yàn)結(jié)果表明,本文算法的性能在客觀和主觀兩個(gè)方面均優(yōu)于目前最好的單/多幅圖像超分辨率算法。2.針對(duì)普通視頻超分辨率循環(huán)卷積神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)域依賴建模能力不足的問(wèn)題,提出了一種基于非同時(shí)全循環(huán)卷積網(wǎng)絡(luò)的視頻超分辨率算法。為了充分利用時(shí)、空域信息,在系統(tǒng)中使用了運(yùn)動(dòng)補(bǔ)償模塊和極深的雙向循環(huán)卷積層,并在融合處理方式上采用了晚融合的策略。我們通過(guò)在循環(huán)結(jié)構(gòu)中增加殘差連接以獲得更精確的超分辨率結(jié)果。最后,我們還使用了一種新的模型集成方法將我們的方法同單幅圖像超分辨方法進(jìn)行了融合。實(shí)驗(yàn)結(jié)果表明,本文算法在客觀評(píng)價(jià)指標(biāo)和主觀視覺(jué)效果兩個(gè)方面均優(yōu)于目前最好的視頻超分辨率算法。3.針對(duì)基于普通生成對(duì)抗網(wǎng)絡(luò)的單幅人臉圖像超分辨率算法存在的結(jié)果真實(shí)性不足的問(wèn)題,提出了一種基于身份信息指導(dǎo)生成對(duì)抗網(wǎng)絡(luò)的人臉視頻超分辨率算法。為了復(fù)原人臉的細(xì)節(jié)信息,使用身份特征來(lái)指導(dǎo)生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練。我們還構(gòu)建了一個(gè)兩階段卷積神經(jīng)網(wǎng)絡(luò)來(lái)提升人臉視頻超分辨率結(jié)果的視覺(jué)質(zhì)量。實(shí)驗(yàn)結(jié)果表明,本文所提出的方法在復(fù)原保真度和視覺(jué)效果兩個(gè)方面優(yōu)于目前最好的方法。
【圖文】：

基于重建和基于樣例的多巾貞人臉超分辨率方法。Ｊｉｎ和Ｂｏｕｇａｎｉｓ［６０］使用主成分逡逑分析實(shí)現(xiàn)多幀人臉圖像的盲超分辨率。逡逑在圖１．３中，我們給出了在放大倍率為ｘ４的情況下人臉視頻超分辨率算法的逡逑處理示例。圖１．３（ａ）是低分辨率人臉視頻序列中的一幀圖像，圖１．３（ｄ）是對(duì)應(yīng)于逡逑圖１．３（ａ）的真實(shí)的高分辨率人臉視頻幀。圖１．３（ｂ）是使用雙立方插值方法對(duì)圖逡逑１．３（ａ）中的低分辨率人臉視頻幀進(jìn)行上采樣后所得到的結(jié)果。而圖１．３（ｃ）是使用我逡逑們?cè)诒疚牡冢嫡轮兴岢龅娜四樢曨l超分辨率算法ＭＩ邋（基于最小均方誤差損失逡逑６逡逑

？逡逑（ａ）邋４層的全循環(huán)卷積神經(jīng)網(wǎng)絡(luò)。逡逑Ｆｏｒｗａｒｄ邋Ｎｅｔ邐Ｂａｃｋｗａｒｄ邋Ｎｅｔ逡逑ｉｐ逡逑（ｂ）邋４層的部分循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，只在網(wǎng)絡(luò)中間使用了一個(gè)循環(huán)卷積層。逡逑Ｆｏｒｗａｒｄ邋Ｎｅｔ邐Ｂａｃｋｗａｒｄ邋Ｎｅｔ逡逑
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.41;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 朱海;王國(guó)中;范濤;楊露;;基于深度超分辨率重建的監(jiān)控圖像人臉識(shí)別[J];電子測(cè)量技術(shù);2018年16期

2 付龍;呂曉琪;李婷;谷宇;;基于擴(kuò)散的自適應(yīng)超分辨率重建[J];現(xiàn)代電子技術(shù);2017年10期

3 劉芳華;阮若林;王建峰;倪浩;;基于在線字典學(xué)習(xí)的人臉超分辨率重建[J];現(xiàn)代電子技術(shù);2017年13期

4 衛(wèi)小強(qiáng);;基于仿生學(xué)多源圖像超分辨率重建的并行優(yōu)化研究[J];電腦編程技巧與維護(hù);2017年13期

5 廖海斌;陳友斌;陳慶虎;;基于非局部相似字典學(xué)習(xí)的人臉超分辨率與識(shí)別[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2016年10期

6 王宇輝;;圖像超分辨率重新建立技術(shù)綜述[J];科技創(chuàng)業(yè)月刊;2016年17期

7 賈志城;;視頻超分辨率重建及其刑偵應(yīng)用[J];中國(guó)有線電視;2015年08期

8 趙U，

本文編號(hào)：2629835