視頻幀率轉(zhuǎn)換技術(shù)是利用視頻中相鄰兩幀之間的相關(guān)信息并應(yīng)用插值的方法將中間幀重建出來(lái)的一種技術(shù)。由于該技術(shù)能在編碼中去除冗余信息并降低視頻傳輸過(guò)程中的幀率,減少視頻網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,因此可應(yīng)用于視頻壓縮或增強(qiáng)視頻連續(xù)性。傳統(tǒng)的視頻插幀方法主要包括兩個(gè)步驟,即光流估計(jì)和像素合成。在該方法中視頻插幀技術(shù)的效果往往取決于光流估計(jì)的質(zhì)量,而光流估計(jì)的過(guò)程容易受到遮擋、模糊的影響出現(xiàn)明顯的錯(cuò)誤。隨著深度學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)的視頻插幀技術(shù)也有了新的突破,一些研究人員利用卷積神經(jīng)網(wǎng)絡(luò)嘗試進(jìn)行視頻插幀取得了一定的成功。本文將傳統(tǒng)方法中的光流估計(jì)與深度學(xué)習(xí)相結(jié)合,提出了一種將運(yùn)動(dòng)估計(jì)和遮擋處理聯(lián)合建模的視頻幀插值的端到端卷積神經(jīng)網(wǎng)絡(luò)模型。本文首先使用改進(jìn)的FCN網(wǎng)絡(luò)模型計(jì)算輸入圖像之間的雙向光流,根據(jù)估計(jì)到的雙向光流信息與輸入圖像進(jìn)行warp操作得到兩個(gè)翹曲圖像,為解決遮擋問(wèn)題,本文使用另一個(gè)GridNet網(wǎng)絡(luò)模型重新估計(jì)圖像的雙向光流信息并預(yù)測(cè)插值幀的像素的可見(jiàn)性,最后將估計(jì)到的信息與原圖像通過(guò)線性融合以形成中間幀。本文還嘗試了多種損失函數(shù),最終確定了將L1損失、感知損失、warp損失、平滑度損失等... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

全局感知與局部感知

卷積計(jì)算示意圖

池化層示意圖

【參考文獻(xiàn)】：
期刊論文
[1]基于LMS自適應(yīng)濾波器的設(shè)計(jì)[J]. 姜泉璐,汪立新,呂永佳,吳玉彬,葉軍.  電子設(shè)計(jì)工程. 2011(14)



本文編號(hào)：3076874