視頻圖像超分辨率重構(gòu)算法是提高圖像傳感器分辨率的重要手段。隨著硬件成本以及需求環(huán)境的增加,傳統(tǒng)的超分辨率重構(gòu)算法存在重構(gòu)質(zhì)量較低以及適用范圍有限的缺點(diǎn)。與單幀圖像重構(gòu)不同的是,視頻圖像需要利用多幀圖像的時(shí)空信息,因此視頻圖像重構(gòu)相對(duì)來說更有難度。針對(duì)視頻圖像中出現(xiàn)遮擋和大型運(yùn)動(dòng)時(shí)配準(zhǔn)失真的問題,進(jìn)一步增強(qiáng)圖像的重構(gòu)質(zhì)量和細(xì)節(jié)信息,提出一種基于循環(huán)圖像配準(zhǔn)的視頻圖像超分辨率重構(gòu)算法,采用非局部卷積提取圖像特征,集成圖像去噪和隱式運(yùn)動(dòng)估計(jì)提高配準(zhǔn)精度;引入時(shí)間相關(guān)性和注意力機(jī)制融合配準(zhǔn)特征,結(jié)合金字塔殘差網(wǎng)絡(luò)和并行卷積重構(gòu)高分辨率視頻圖像;通過包含像素?fù)p失和紋理損失的組合損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。由于目前重構(gòu)算法的人眼視覺感知質(zhì)量和時(shí)間一致性較差,提出一種基于生成對(duì)抗網(wǎng)絡(luò)的視頻圖像超分辨率重構(gòu)算法,生成網(wǎng)絡(luò)采用輕量級(jí)的圖像配準(zhǔn)網(wǎng)絡(luò),結(jié)合全局上下文信息配準(zhǔn)相鄰圖像,彌補(bǔ)像素丟失區(qū)域,采用擴(kuò)張卷積提取全局信息;通過改進(jìn)的判別網(wǎng)絡(luò)以及時(shí)間一致性損失增強(qiáng)生成圖像的視覺連貫性,引入全文信息損失在配準(zhǔn)失真時(shí)計(jì)算圖像相似性約束網(wǎng)絡(luò)訓(xùn)練。通過綜合公共數(shù)據(jù)集在Pytorch平臺(tái)上訓(xùn)練和測試提出算法的重構(gòu)質(zhì)量,實(shí)驗(yàn)結(jié)... 

【文章來源】：長春理工大學(xué)吉林省

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

深度細(xì)節(jié)恢復(fù)網(wǎng)絡(luò)VSRnet[29]和CVSRnet[30]中采用Druleas算法[31]進(jìn)行運(yùn)動(dòng)補(bǔ)償

第1章緒論7增長，因此無法有效地將它們的方法應(yīng)用于長視頻序列。Wang[39]為了更好地恢復(fù)圖像中的紋理信息，通過額外的先驗(yàn)信息生成空間變換參數(shù)進(jìn)行特征變換生成更加逼真的圖像紋理。為了減少上采樣過程中帶來的信息損失采用亞像素混合卷積上采樣，利用3D卷積融合特征。為了進(jìn)一步提高顯式運(yùn)動(dòng)估計(jì)的準(zhǔn)確度，進(jìn)一步采用由粗估計(jì)到精確估計(jì)的金字塔光流估計(jì)網(wǎng)絡(luò)[40-41]，如圖1.7所示。網(wǎng)絡(luò)參數(shù)相較于FlowNetS網(wǎng)絡(luò)減少了96%，將其應(yīng)用于圖像超分辨率重構(gòu)中可以提高配準(zhǔn)精度和速度。但是將基于光流估計(jì)的配準(zhǔn)方法用于視頻圖像超分辨率重構(gòu)需要較高的運(yùn)動(dòng)量估計(jì)以及配準(zhǔn)精確度，當(dāng)存在大型運(yùn)動(dòng)的情況下，很難在單個(gè)分辨率范圍內(nèi)顯式或隱式執(zhí)行運(yùn)動(dòng)補(bǔ)償，造成重構(gòu)質(zhì)量的顯著下降。圖1.7金字塔光流估計(jì)網(wǎng)絡(luò)4)基于隱式運(yùn)動(dòng)估計(jì)的重構(gòu)網(wǎng)絡(luò)由于顯示運(yùn)動(dòng)補(bǔ)償?shù)墓烙?jì)精確度和計(jì)算量的限制，出現(xiàn)了許多隱式運(yùn)動(dòng)補(bǔ)償方法將運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償合二為一。Niklaus[42]將運(yùn)動(dòng)核預(yù)測網(wǎng)絡(luò)應(yīng)用于視頻幀插值，通過將光流估計(jì)和圖像融合合并到統(tǒng)一的框架中，如圖1.8所示。圖1.8幀插值重構(gòu)網(wǎng)絡(luò)文獻(xiàn)[43]中為了降低計(jì)算內(nèi)存提出可分離卷積，通過估計(jì)兩個(gè)可分離的一維卷積核近似二維卷積核。但是運(yùn)動(dòng)核的大小受到運(yùn)動(dòng)限制，運(yùn)動(dòng)幅度越大的運(yùn)動(dòng)則需要更大的運(yùn)動(dòng)量估計(jì)核，同時(shí)會(huì)增加計(jì)算負(fù)擔(dān)和內(nèi)存占用，實(shí)際應(yīng)用中受到限制。Young[44]

第1章緒論7增長，因此無法有效地將它們的方法應(yīng)用于長視頻序列。Wang[39]為了更好地恢復(fù)圖像中的紋理信息，通過額外的先驗(yàn)信息生成空間變換參數(shù)進(jìn)行特征變換生成更加逼真的圖像紋理。為了減少上采樣過程中帶來的信息損失采用亞像素混合卷積上采樣，利用3D卷積融合特征。為了進(jìn)一步提高顯式運(yùn)動(dòng)估計(jì)的準(zhǔn)確度，進(jìn)一步采用由粗估計(jì)到精確估計(jì)的金字塔光流估計(jì)網(wǎng)絡(luò)[40-41]，如圖1.7所示。網(wǎng)絡(luò)參數(shù)相較于FlowNetS網(wǎng)絡(luò)減少了96%，將其應(yīng)用于圖像超分辨率重構(gòu)中可以提高配準(zhǔn)精度和速度。但是將基于光流估計(jì)的配準(zhǔn)方法用于視頻圖像超分辨率重構(gòu)需要較高的運(yùn)動(dòng)量估計(jì)以及配準(zhǔn)精確度，當(dāng)存在大型運(yùn)動(dòng)的情況下，很難在單個(gè)分辨率范圍內(nèi)顯式或隱式執(zhí)行運(yùn)動(dòng)補(bǔ)償，造成重構(gòu)質(zhì)量的顯著下降。圖1.7金字塔光流估計(jì)網(wǎng)絡(luò)4)基于隱式運(yùn)動(dòng)估計(jì)的重構(gòu)網(wǎng)絡(luò)由于顯示運(yùn)動(dòng)補(bǔ)償?shù)墓烙?jì)精確度和計(jì)算量的限制，出現(xiàn)了許多隱式運(yùn)動(dòng)補(bǔ)償方法將運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償合二為一。Niklaus[42]將運(yùn)動(dòng)核預(yù)測網(wǎng)絡(luò)應(yīng)用于視頻幀插值，通過將光流估計(jì)和圖像融合合并到統(tǒng)一的框架中，如圖1.8所示。圖1.8幀插值重構(gòu)網(wǎng)絡(luò)文獻(xiàn)[43]中為了降低計(jì)算內(nèi)存提出可分離卷積，通過估計(jì)兩個(gè)可分離的一維卷積核近似二維卷積核。但是運(yùn)動(dòng)核的大小受到運(yùn)動(dòng)限制，運(yùn)動(dòng)幅度越大的運(yùn)動(dòng)則需要更大的運(yùn)動(dòng)量估計(jì)核，同時(shí)會(huì)增加計(jì)算負(fù)擔(dān)和內(nèi)存占用，實(shí)際應(yīng)用中受到限制。Young[44]

【參考文獻(xiàn)】：
博士論文
[1]基于深度學(xué)習(xí)的視頻超分辨率算法研究[D]. 李定一.中國科學(xué)技術(shù)大學(xué) 2019



本文編號(hào)：3069443