隨著現(xiàn)代科技的不斷進(jìn)步,越來越多的高分辨率顯示設(shè)備進(jìn)入到日常生活中,人們對高分辨率視頻資源的需求也不斷增加,但是現(xiàn)實生活中高分辨率視頻資源卻是相對匱乏的。視頻超分辨率算法旨在將低分辨率視頻轉(zhuǎn)換為高分辨率視頻,能夠以較低的成本來解決高分辨率視頻資源缺乏的問題,所以對視頻超分辨率算法的研究顯得非常有意義。但目前相關(guān)算法仍然存在一些不足之處,例如,目前的算法通常通過光流估計來對視頻幀間進(jìn)行顯式運動補償作為預(yù)處理步驟,該類算法通常對于光流估計和運動補償?shù)臏?zhǔn)確性依賴較高,并且這樣的預(yù)處理模塊會帶來較大的參數(shù)量。為了解決這些不足之處,我們進(jìn)行了相關(guān)研究并從是否進(jìn)行顯式運動補償兩方面提出了相應(yīng)的改進(jìn)方法,主要的工作內(nèi)容及成果包含以下幾個方面:(1)目前基于光流估計的顯式運動補償視頻超分辨率算法主要通過低分辨率光流來提供視頻幀間亞像素級的位置對應(yīng)關(guān)系,這樣的做法容易導(dǎo)致運動補償?shù)臏?zhǔn)確性不夠高,進(jìn)而使得重建出來的視頻序列中出現(xiàn)偽像。我們提出一種基于高分辨率光流的顯式運動補償方法,即從低分辨率視頻序列中預(yù)測得到高分辨率光流,在獲得更加精細(xì)光流的同時對光流進(jìn)行超分辨率處理以提高光流估計和運動補償?shù)臏?zhǔn)確性。經(jīng)... 

【文章來源】：深圳大學(xué)廣東省

【文章頁數(shù)】：87 頁

【學(xué)位級別】：碩士

【部分圖文】：

不同插值

基于卷積神經(jīng)網(wǎng)絡(luò)的視頻超分辨率算法研究4最近鄰插值方法雙線性插值方法雙三次插值方法原始圖像圖1-1不同插值方法結(jié)果比較（2）基于重建的方法在圖像的降質(zhì)過程中，多幅不同的高分辨率圖像都有可能降質(zhì)退化成同樣的低分辨率圖像，因而圖像超分辨率問題可以歸類于非確定性（即不適定）的問題，通常需要通過利用圖像先驗信息來對解空間進(jìn)行約束以得到最優(yōu)解，使得問題的不確定性降低。也就是說該類方法的主要核心思想是將圖像超分辨率問題模擬為一個優(yōu)化問題，即將圖像的超分辨率重建視為該問題最優(yōu)化的求解，在求解過程中使用圖像原有的部分先驗信息作為正則化約束條件，從而實現(xiàn)從解集中找到最優(yōu)解的目的。具體來說就是利用圖像降質(zhì)退化的先驗信息，根據(jù)降質(zhì)模型逆推成像過程，然后通過優(yōu)化求解來得到高分辨率圖像。通常高分辨率圖像降質(zhì)退化為低分辨率圖像包括變形、模糊、下采樣和噪聲干擾等過程。對于同一個降質(zhì)模型，根據(jù)不同的圖像先驗信息可以設(shè)計出不同的算法，相關(guān)研究學(xué)者基于自然圖像統(tǒng)計特性先后提出了多種先驗?zāi)Ｐ蚚9-12]，這些降質(zhì)模型應(yīng)用在圖像超分辨率任務(wù)中取得了不錯的效果。目前基于重建的圖像超分辨率方法主要有Keren等人提出的非均勻插值法[13]、Shahar等人提出的迭代反投影法[14]、Ogawa等人提出的凸集投影法[15]和Schultz等人提出的最大后驗概率估計法[16]等。但這些方法往往需要較大的迭代次數(shù)，因而計算成本較高。（3）基于學(xué)習(xí)的方法隨著深度學(xué)習(xí)的快速發(fā)展，基于學(xué)習(xí)的圖像超分辨率算法受到研究學(xué)者的廣泛關(guān)注，該類方法生成的超分辨率圖像在重建質(zhì)量和速度方面相較于傳統(tǒng)方法都有很大的優(yōu)勢�；趯W(xué)習(xí)的圖像超分辨率方法的主要思想是通過在包含高低分辨率圖像對的數(shù)據(jù)集上使用一定的算法來學(xué)習(xí)高低分辨率?

基于卷積神經(jīng)網(wǎng)絡(luò)的視頻超分辨率算法研究9第2章相關(guān)技術(shù)概述2.1超分辨率技術(shù)理論基礎(chǔ)2.1.1超分辨率技術(shù)的定義超分辨率技術(shù)指的是對同一場景的單幅或多幅低分辨率圖像通過一定的算法進(jìn)行處理以生成含有少量噪聲、模糊和混疊的高分辨率圖像。具體來說就是通過圖像處理算法將圖像由低分辨率提升到高分辨率，使得到的圖像具有更高的像素密度，同時包含更豐富的細(xì)節(jié)信息以及更細(xì)膩的畫質(zhì)。目前超分辨率技術(shù)領(lǐng)域較為熱門的兩個研究方向為圖像超分辨率技術(shù)和視頻超分辨率技術(shù)，兩者都受到了較為廣泛的關(guān)注。2.1.2圖像降質(zhì)模型研究圖像超分辨率重建問題的重點就是研究如何從低分辨率圖像中恢復(fù)出高頻細(xì)節(jié)信息，對于重建出這些高頻細(xì)節(jié)信息我們首先需要了解這些高頻信息是如何丟失的，也就是需要了解高分辨率圖像是如何降質(zhì)成為低分辨率圖像的。在現(xiàn)實生活中，人們在獲取圖像的過程中通常會受到許多外界因素的干擾，例如在圖像的獲娶存儲和傳輸過程中都可能受到外界噪聲的污染等，這些原因?qū)е铝藞D像質(zhì)量的降低。通常圖像的降質(zhì)過程可用圖2-1中的示意圖進(jìn)行描述，圖像的降質(zhì)過程用數(shù)學(xué)表達(dá)式可以表示為：y=MBDx+n(2-1)其中x表示原始高分辨率圖像；y表示經(jīng)過降質(zhì)過程后得到的低分辨率圖像；M表示圖像的運動矩陣，主要包含平移、旋轉(zhuǎn)等運動模式；B為模糊矩陣，包含運動模糊、光學(xué)模糊等；D表示的是下采樣矩陣；n表示的是圖像獲取過程中受到的噪聲。圖2-1圖像降質(zhì)過程示意圖圖2-1展示了高分辨率圖像降質(zhì)退化中可能導(dǎo)致高頻信息丟失的相關(guān)過程，而圖像

【參考文獻(xiàn)】：
期刊論文
[1]基于多尺度特征殘差學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的視頻超分辨率方法[J]. 林琦,陳婧,曾煥強,朱建清,蔡燦輝.  信號處理. 2020(01)

博士論文
[1]基于學(xué)習(xí)的圖像超分辨率重建方法研究[D]. 岳波.西安電子科技大學(xué) 2018

碩士論文
[1]基于深度學(xué)習(xí)的圖像超分辨率重建算法研究[D]. 段君毅.鄭州大學(xué) 2019



本文編號：2934124