發(fā)布時(shí)間：2021-03-20 08:57

　　傳統(tǒng)的圖像風(fēng)格遷移方法由于需要手動(dòng)建模實(shí)現(xiàn),而且常用的歸一化方法是批量歸一化,導(dǎo)致訓(xùn)練損失函數(shù)收斂速度較慢,同時(shí)圖像紋理在遷移過程中表現(xiàn)不穩(wěn)定,紋理形狀發(fā)生改變。針對(duì)以上問題,本文提出了一種基于組歸一化的圖像實(shí)時(shí)風(fēng)格遷移方法。首先,在感知損失函數(shù)的實(shí)時(shí)風(fēng)格遷移模型的基礎(chǔ)上,設(shè)計(jì)出一種更加簡(jiǎn)練高效的圖像生成網(wǎng)絡(luò)。其次,在圖像生成網(wǎng)絡(luò)的歸一化層,使用組歸一化代替批量歸一化,加快損失函數(shù)收斂速度。最后,在風(fēng)格損失函數(shù)的基礎(chǔ)上加入直方圖損失作約束。通過以上方法,旨在訓(xùn)練高效的圖像實(shí)時(shí)風(fēng)格遷移模型。實(shí)驗(yàn)結(jié)果表明,在小batch size下訓(xùn)練模型,提出的方法在損失函數(shù)的收斂速度上比使用批量歸一化的方法要快,并且不會(huì)因?yàn)閎atch size大小的改變而影響模型的性能。在風(fēng)格損失函數(shù)中加入直方圖損失可以有效解決紋理遷移不穩(wěn)定問題。通過主觀對(duì)比和調(diào)查分析,提出的方法可以產(chǎn)生令人滿意的視覺效果。在遷移速度方面可以滿足實(shí)時(shí)遷移的需求,并且在視頻風(fēng)格遷移中得到了實(shí)際的應(yīng)用。論文有圖44幅,表2個(gè),參考文獻(xiàn)50篇。 

【文章來源】：遼寧工程技術(shù)大學(xué)遼寧省

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖像風(fēng)格遷移效果

占淦?頻姆椒ǘ蘊(yùn)卣魍冀?斜浠唬?傭?鑰占湫畔⒔??了約束。產(chǎn)生的風(fēng)格化效果遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的方法。1.2.2國外研究現(xiàn)狀國外研究主要是從非真實(shí)感圖像渲染的傳統(tǒng)方法過渡到基于深度學(xué)習(xí)的圖像風(fēng)格遷移方法。Efros等人[17]提出了一種簡(jiǎn)單的圖像紋理拼接的方法，利用一塊塊小的紋理圖像不斷地進(jìn)行合并，最終形成新的紋理圖像，使用這個(gè)過程作為快速簡(jiǎn)單的紋理合成算法，對(duì)各種紋理的合成有一種可觀的效果。Hertzmann等人[18]提出了基于畫筆繪制的圖像風(fēng)格遷移方法，一幅畫分為不同的層次，呈金字塔式序列，逐層進(jìn)行繪制，如圖1.2所示，繪制的過程中逐層減小畫筆的尺寸，最終使得紋理更加接近想要的樣式風(fēng)格。隨后，JamsHays[19]根據(jù)Hertzmann的方法，提出了不同畫筆模型的繪制方法。Bae等人[20]提出了基于圖像的雙尺度非線性分解方法，基于直方圖對(duì)不同圖層進(jìn)行修改，引入一種細(xì)節(jié)空間變化控制技術(shù)，并且加入了泊松校正，避免了可能存在的梯度反轉(zhuǎn)，同時(shí)引入了直接控制參數(shù)，還可以將模型照片的外觀轉(zhuǎn)移到正在編輯的圖片上，不過在處理高分辨率圖像時(shí)效果較差。Sunkavalli等人[21]提出了以多尺度為核心的圖像協(xié)調(diào)方法來實(shí)現(xiàn)風(fēng)格的遷移，如圖1.3所示，通過仔細(xì)地操縱圖像的金字塔分解的比例，可以對(duì)不同的圖像特征進(jìn)行匹配，同時(shí)避免圖像偽像，將一個(gè)圖像的外觀轉(zhuǎn)移到另一個(gè)圖像。圖1.2畫筆繪制技術(shù)Figure1.2Brushdrawingtechnology

遼寧工程技術(shù)大學(xué)碩士學(xué)位論文5圖1.3多尺度圖像協(xié)調(diào)框架Figure1.3Multiscaleimagecoordinationframework2015年，Gatys等人[7]首次運(yùn)用了卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)圖像風(fēng)格遷移，標(biāo)志著深度學(xué)習(xí)技術(shù)正式應(yīng)用在圖像風(fēng)格遷移領(lǐng)域中。在這之前，Gatys還發(fā)表過一篇文獻(xiàn)[22]為此做了鋪墊，研究表明，利用卷積神經(jīng)網(wǎng)絡(luò)建立一種新的紋理合成模型，在模型內(nèi)部，紋理的表示采用網(wǎng)絡(luò)各層特征圖之間的相關(guān)性，在紋理特征提取方面也更符合風(fēng)格化圖像。方法如圖1.4所示，把原始圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，在不同的卷積層上進(jìn)行特征提取，計(jì)算對(duì)應(yīng)的特征圖格萊姆矩陣(GramMatrix)[23]，在右側(cè)輸入白噪聲圖像，在此基礎(chǔ)上計(jì)算紋理模型每層的損失函數(shù)，根據(jù)損失函數(shù)計(jì)算梯度下降，直至合成符合原始圖像的紋理。隨后發(fā)表的第二篇文獻(xiàn)[7]主要是把第一篇中所提到的方法應(yīng)用到了圖像風(fēng)格遷移上。運(yùn)用預(yù)訓(xùn)練好的VGG19卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像的抽象特征進(jìn)行提取，然后進(jìn)行分離和重組，得到相較于傳統(tǒng)方法更好的風(fēng)格遷移效果，不過還是會(huì)在遷移時(shí)間上會(huì)花費(fèi)大量的時(shí)間。Yin[24]等人發(fā)現(xiàn)Gatys方法中并沒有對(duì)內(nèi)容圖像的語義進(jìn)行考慮，基于這個(gè)原因，他們提出了一種使用區(qū)域分割來提取圖像語義再進(jìn)行風(fēng)格遷移方法。2016年，Johnson等人[25]提出了一種基于感知損失函數(shù)的圖像實(shí)時(shí)風(fēng)格遷移方法，該方法通過使用感知損失函數(shù)訓(xùn)練出一個(gè)特定風(fēng)格的遷移模型，使用得到的模型不僅生成效果可觀，而且在遷移速度上還較Gatys的方法提升了三個(gè)數(shù)量級(jí)，自此，圖像實(shí)時(shí)風(fēng)格遷移便正式闖入了人們的視線。之后的圖像風(fēng)格遷移方法基本上繼承了Johnson等人的思想，在圖像遷移速度方面達(dá)到了實(shí)時(shí)性的需求。Ulyanov等人[26]根據(jù)Johnson的框架進(jìn)行了改進(jìn)，使用實(shí)例歸一化替代批量歸一化，

【參考文獻(xiàn)】：
期刊論文
[1]零樣本圖像識(shí)別[J]. 蘭紅,方治嶼.  電子與信息學(xué)報(bào). 2020(05)
[2]多尺度紅外超像素圖像模型的小目標(biāo)檢測(cè)[J]. 劉忠林,吳一全,鄒宇.  中國圖象圖形學(xué)報(bào). 2019(12)
[3]基于多任務(wù)學(xué)習(xí)的方言語種識(shí)別[J]. 秦晨光,王海,任杰,鄭杰,袁璐,趙子鑫.  計(jì)算機(jī)研究與發(fā)展. 2019(12)
[4]多級(jí)跳線連接的深度殘差網(wǎng)絡(luò)超分辨率重建[J]. 趙小強(qiáng),宋昭漾.  電子與信息學(xué)報(bào). 2019(10)
[5]卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化綜述[J]. 林景棟,吳欣怡,柴毅,尹宏鵬.  自動(dòng)化學(xué)報(bào). 2020(01)
[6]智能車道路場(chǎng)景數(shù)字字符識(shí)別技術(shù)[J]. 白睿,徐友春,李永樂,李炯,謝楓.  激光與光電子學(xué)進(jìn)展. 2019(19)
[7]改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割上的應(yīng)用[J]. 劉辰,肖志勇,杜年茂.  計(jì)算機(jī)科學(xué)與探索. 2019(09)
[8]一種具有空間約束的快速神經(jīng)風(fēng)格遷移方法[J]. 劉洪麟,帥仁俊.  計(jì)算機(jī)科學(xué). 2019(03)
[9]基于深度學(xué)習(xí)的圖像語義分割方法綜述[J]. 田萱,王亮,丁琪.  軟件學(xué)報(bào). 2019(02)
[10]基于深度學(xué)習(xí)的數(shù)字幾何處理與分析技術(shù)研究進(jìn)展[J]. 夏清,李帥,郝愛民,趙沁平.  計(jì)算機(jī)研究與發(fā)展. 2019(01)



本文編號(hào)：3090733