基于深度神經網絡的視覺媒體風格轉換方法研究
發(fā)布時間:2021-03-02 12:27
隨著物質生活的豐富,人們對精神文化生活的需求越來越強烈。藝術創(chuàng)作與娛樂消費作為精神文化的重要一部分,也得到了越來越多的關注。傳統(tǒng)藝術和娛樂作品的創(chuàng)作嚴重依賴于相關的專業(yè)人員,需要耗費巨大的人力成本和時間成本。近幾年,人工智能技術得到了巨大的發(fā)展,如何利用人工智能技術進行藝術和娛樂內容創(chuàng)作也成為了一個重要的研究問題。在傳統(tǒng)計算機視覺領域和圖形學領域,該問題也曾經吸引了眾多研究者的關注。這不僅是因為其背后深厚的理論價值,也因為其廣泛的應用前景和巨大的潛在商業(yè)價值。最近,Gatys,Johnson等人開始嘗試將深度神經網絡技術應用于圖片的藝術風格轉換,并取得了巨大的成功。這些基于深度神經網絡的風格轉換算法不僅克服了傳統(tǒng)方法只能處理特定紋理風格的缺陷,其產生的風格轉換結果也具有很強的語義對應性。但對于不同的視覺媒體格式,目前這些方法仍然面對以下幾點挑戰(zhàn):1)對于圖片,目前基于前饋網絡的風格轉換方法單個模型只能處理單個紋理風格;2)對于視頻,如果直接將圖片的風格轉換網絡應用到視頻的風格轉換,其轉換的結果會傷害原始視頻的時間連續(xù)性并產生抖動的效果;3)對于立體內容,目前仍然沒有算法能夠有效處理立體...
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:125 頁
【學位級別】:博士
【部分圖文】:
圖1.1視覺媒體三種主要形式的發(fā)展歷史??1??
1.1.1風格轉換的定義??給定一張內容圖片和風格圖片,風格轉換旨在使用風格圖片的紋理風格對??內容圖片進行重渲染的同時保證不修改其原始的語義結構。例如在圖1.2中,左??圖為德國圖賓根市的一張普通河邊彩屋圖,中圖為著名畫家梵高的藝術作品“星??空”,右圖則是風格轉換算法根據(jù)梵高“星空”的風格對左圖進行風格化的結果,使??其看上去仿佛是由梵高親自作畫一般,具有和“星空”相同的藝術風格。整個過程??完全自動化,不需要任何人工的干預。??內容圖片?風格圖片?風格化結果??圖1.2風格轉換的定義??風格轉換其實可以被看作是傳統(tǒng)紋理合成(Texture?Synthesis)技術的一種??特殊形式,背后的核心問題都是先對風格或者紋理圖片進行統(tǒng)計建模,然后在某??些約束下進行重取樣。只不過對于傳統(tǒng)紋理合成,它要求采樣結果中兩個相鄰樣??本之間的邊界必須具有平滑過渡;而對于風格轉換,則是要求采樣結果保持內容??圖片的語義結構。??風格轉換也和傳統(tǒng)計算機圖形學中的非真實感渲染(Non-Photorealistic?Ren-??dering
?近幾年,隨著4G和智能手機的發(fā)展,大量的直播平臺和短視頻應用(如??圖1.3所示)變得非常流行。如何將風格轉換推廣到視頻的實時藝術風格??化便成為了一個非常重要的研究課題。一種最簡單的視頻風格轉換方法是??直接將圖片的風格化方法逐幀地應用在視頻上,然而Ruder等人[8?22]證明??這會使得風格化后的結果產生強烈的抖動效果,嚴重破壞原始視頻的時序??連續(xù)性。實際上對于視頻的風格化來說,本質上存在一個相互矛盾的問題:??為了保證原始紋理風格的保真度,現(xiàn)有圖片風格化算法會對原始內容圖片??的紋理細節(jié)進行加強,然而這也會導致即使不同幀圖片之間有一個非常微??小的光照、運動等變化,其產生的風格化結果也會有非常大的差異。為了??解決這個問題,Ruder等人[221首次引入光流的信息對相鄰兩幀或者多幀的??風格化結果進行約束
【參考文獻】:
碩士論文
[1]基于圖像風格變換的邊信息隱寫技術研究[D]. 孫曦.中國科學技術大學 2017
本文編號:3059260
【文章來源】:中國科學技術大學安徽省 211工程院校 985工程院校
【文章頁數(shù)】:125 頁
【學位級別】:博士
【部分圖文】:
圖1.1視覺媒體三種主要形式的發(fā)展歷史??1??
1.1.1風格轉換的定義??給定一張內容圖片和風格圖片,風格轉換旨在使用風格圖片的紋理風格對??內容圖片進行重渲染的同時保證不修改其原始的語義結構。例如在圖1.2中,左??圖為德國圖賓根市的一張普通河邊彩屋圖,中圖為著名畫家梵高的藝術作品“星??空”,右圖則是風格轉換算法根據(jù)梵高“星空”的風格對左圖進行風格化的結果,使??其看上去仿佛是由梵高親自作畫一般,具有和“星空”相同的藝術風格。整個過程??完全自動化,不需要任何人工的干預。??內容圖片?風格圖片?風格化結果??圖1.2風格轉換的定義??風格轉換其實可以被看作是傳統(tǒng)紋理合成(Texture?Synthesis)技術的一種??特殊形式,背后的核心問題都是先對風格或者紋理圖片進行統(tǒng)計建模,然后在某??些約束下進行重取樣。只不過對于傳統(tǒng)紋理合成,它要求采樣結果中兩個相鄰樣??本之間的邊界必須具有平滑過渡;而對于風格轉換,則是要求采樣結果保持內容??圖片的語義結構。??風格轉換也和傳統(tǒng)計算機圖形學中的非真實感渲染(Non-Photorealistic?Ren-??dering
?近幾年,隨著4G和智能手機的發(fā)展,大量的直播平臺和短視頻應用(如??圖1.3所示)變得非常流行。如何將風格轉換推廣到視頻的實時藝術風格??化便成為了一個非常重要的研究課題。一種最簡單的視頻風格轉換方法是??直接將圖片的風格化方法逐幀地應用在視頻上,然而Ruder等人[8?22]證明??這會使得風格化后的結果產生強烈的抖動效果,嚴重破壞原始視頻的時序??連續(xù)性。實際上對于視頻的風格化來說,本質上存在一個相互矛盾的問題:??為了保證原始紋理風格的保真度,現(xiàn)有圖片風格化算法會對原始內容圖片??的紋理細節(jié)進行加強,然而這也會導致即使不同幀圖片之間有一個非常微??小的光照、運動等變化,其產生的風格化結果也會有非常大的差異。為了??解決這個問題,Ruder等人[221首次引入光流的信息對相鄰兩幀或者多幀的??風格化結果進行約束
【參考文獻】:
碩士論文
[1]基于圖像風格變換的邊信息隱寫技術研究[D]. 孫曦.中國科學技術大學 2017
本文編號:3059260
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3059260.html
最近更新
教材專著