自風格遷移算法被提出以來,相關的研究層出不窮,該研究在圖像渲染、上色、藝術創(chuàng)作以及實際應用問題中具有重要的需求。而在視頻風格遷移問題中,人們發(fā)現生成的風格化視頻常常出現重影、偽影以及閃爍現象,并且具有算法速度緩慢、效率低下的問題。因此,研究如何同時提高視頻風格遷移算法的時域穩(wěn)定性和算法速度具有重要的研究意義。傳統(tǒng)的視頻風格遷移算法基于迭代優(yōu)化,通過相鄰兩幀之間的正反向光流來約束風格化視頻的時域一致性,雖然能生成效果較好的風格化視頻,但耗時較長,算法速度遠遠達不到實際應用的需求。而現有的基于深度學習的視頻風格遷移算法,利用前饋卷積網絡對視頻進行風格化,這樣雖然可以實時地生成風格化視頻,然而生成的風格化視頻的時域連續(xù)性較低,閃爍現象嚴重,因此,本文主要針對基于深度學習的視頻風格遷移算法進行研究,并提出改進。本文主要的研究點和貢獻如下:1.提出了一種基于光流約束和前饋卷積神經網絡的視頻風格遷移方法。本文將傳統(tǒng)方法與基于深度學習的視頻風格遷移方法相結合,利用傳統(tǒng)方法中使用光流約束前后視頻時域一致性的思想,設計時域損失函數以增強網絡模型對視頻相鄰幀之間時域相關性的學習能力,從而提高風格化視頻的連...

【文章頁數】：76 頁

【學位級別】：碩士

【部分圖文】：

圖3.3Septuplets視頻組示例

后的結果做均方誤差，采用逐像素計算的方法約束時域損失。該網絡僅在訓練過程中需要用到光流計算以約束時域損失，由于訓練時已經加入了對時域一致性的限制，訓練出的風格轉換網絡可以直接應用于各種視頻序列，產生連貫的風格化視頻。因此，在測試階段直接通過風格轉換網絡便可以實時得到轉換后的結果，....

圖3.4DAVIS數據集視頻示例

西安電子科技大學碩士學位論文包括90組視頻，每組視頻大概有70幀，這樣既可以用來對比風格化視頻的短時一致性，又可以對比長時一致性。從DAVIS數據集和MPI-Sintel數據集中各選取五組視頻，視頻樣例如圖3.4、圖3.5所示。

圖3.5MPI-Sintel數據集視頻示例

視頻樣例如圖3.4、圖3.5所示。圖3.4DAVIS數據集視頻示例

圖3.6不同風格的藝術作品示例

(c)Shipwreck(d)RainPrincess(e)CompositionVII(f)TheStarryNight圖3.6不同風格的藝術作品示例

本文編號：3911415