圖像著色任務(wù)的目的是將灰度圖像的每個像素轉(zhuǎn)換成合適的色彩像素,以使生成的著色圖像具有感知上的意義和視覺吸引力。圖像著色可協(xié)助視覺理解和對象跟蹤等高級任務(wù)。在我們的日常生活中,無論是重燃塵封的回憶還是表達(dá)藝術(shù)創(chuàng)造,著色技術(shù)都能夠起到關(guān)鍵作用。因此它一直是圖像處理和計算機(jī)圖形學(xué)研究領(lǐng)域中的活躍主題。圖像著色是一種病態(tài)且模棱兩可的問題。由于許多顏色共享同一灰度像素值,解決方案空間中存在的多模式性使得圖像著色成為一項極富挑戰(zhàn)性的任務(wù)且沒有獨特的標(biāo)準(zhǔn)解決方案。作為一種無需人工干預(yù)即可自動為灰度圖像自動上色的圖像著色技術(shù),自動著色一直是圖像著色研究領(lǐng)域中的一個活躍分支。與現(xiàn)有的大多數(shù)方法都集中在監(jiān)督學(xué)習(xí)和色彩空間轉(zhuǎn)換技術(shù)上以恢復(fù)原始圖像的顏色不同,本文認(rèn)為合理的解決方案是生成一些看起來很自然的著色結(jié)果,并且應(yīng)避免成對的訓(xùn)練數(shù)據(jù),以免數(shù)據(jù)收集不便。此外,本文認(rèn)為無論要分配哪種顏色的區(qū)域,著色區(qū)域都應(yīng)在語義和空間上保持一致。由于對應(yīng)于灰度值的顏色值不是唯一的,因此嚴(yán)格的監(jiān)督學(xué)習(xí)可能會導(dǎo)致不飽和著色。基于GAN的生成方案需要在語義空間上保持高度一致。為此,本文提出了一種基于非成對樣本的無監(jiān)督自動著色方案... 

【文章來源】：江西師范大學(xué)江西省

【文章頁數(shù)】：48 頁

【學(xué)位級別】：碩士

【圖文】：

一個簡單的圖像分類神經(jīng)網(wǎng)絡(luò)，圖片來源2

基于語義引導(dǎo)的循環(huán)一致對抗圖像自動著色9是生成和目標(biāo)分布所接近的分布。GAN的訓(xùn)練是一個尋求極大極小的博弈問題[40]，其最終的目的是使得生成器G所生成的樣本輸入給判別器D時，判別器D很難判斷所給出的樣本是來真實還是偽造的即生成器G生成的樣本。在優(yōu)化過程中，GAN需要極大化判別器D的判斷能力，極小化將生成器G的輸出判斷為偽造的概率。在零和博弈思想下，生成器G與判別器D通過對抗訓(xùn)練互相優(yōu)化以尋求達(dá)到均什平衡。此時，生成器G所生成的樣本能夠使得判別器D無法判斷被給出的樣本來自生成的還是真實的，即生成器G所生成的樣本分布與真實樣本分布高度一致。圖2-2生成式對抗網(wǎng)絡(luò)（GAN）原理示意圖具體來說，給定先驗分布()，生成器G盡量生成和真實數(shù)據(jù)分布()接近的分布(,)，其中由網(wǎng)絡(luò)參數(shù)決定，因此需要找到使得生成器生成真實樣本概率最大化的，如圖2-2所示。由于對于生成器的生成樣本的結(jié)果難以估計，模型很難通過極大似然估計得到結(jié)果。通過使用判別器D來取代極大似然估計衡量(,)與()之間的差距。對于判別器D而言，需要盡量提供給生成器生成的假樣本與真實樣本的不同以優(yōu)化生成器下一步輸出。為此，判別器D只需最小化(,)與()之間的距離，這一過程與生成器最大化形成對抗。定義GAN目標(biāo)函數(shù)(,)，如公式(2-1):(,)=~[()]+~[log(1())](2-1)最終模型通過公式(2-2)求解最優(yōu)生成模型：=argmaxmin(,)(2-2)Radford等人[41]提出深度卷積生成對抗網(wǎng)絡(luò)（DCGAN）用于自然圖像生成獲

工程碩士學(xué)位論文10得了成功，GAN開始被應(yīng)用于各種圖像處理任務(wù)中。但GAN的訓(xùn)練往往比較困難，通常表現(xiàn)為：如果判別器D訓(xùn)練得太好，生成器G的損失趨近于常數(shù)，梯度為0，無法進(jìn)行梯度下降；另一方面，如果判別器D訓(xùn)練得不好，生成器G的梯度不穩(wěn)，難以收斂。原始GAN的判別器D作為真假分類器一般使用交叉熵作為損失函數(shù)計算，研究人員發(fā)現(xiàn)使用交叉熵作為損失函數(shù)在訓(xùn)練時容易發(fā)生梯度彌散，使得生成器G訓(xùn)練不充分。Arjovsjy等人提出WGAN[42]，通過使用Wasserstein距離替代原損失函數(shù)，提高了GAN訓(xùn)練的穩(wěn)定性。Mao等人進(jìn)一步提出了最小二乘生成對抗網(wǎng)絡(luò)（LSGAN）[43]，利用最小二乘（LeastSquares）作為損失計算替代交叉熵來穩(wěn)定訓(xùn)練，并進(jìn)一步改善了圖片生成質(zhì)量。隨著GAN理論的不斷完善，生成式對抗模型廣泛用于圖像處理領(lǐng)域。2.3.循環(huán)一致生成對抗網(wǎng)絡(luò)2017年，Zhu等人提出循環(huán)一致生成對抗網(wǎng)絡(luò)CycleGAN[30]用于無監(jiān)督非成對圖像到圖像翻譯任務(wù)獲得了驚艷的效果。相對于傳統(tǒng)GAN，CycleGAN本質(zhì)上是由兩個鏡像GNA組成并形成循環(huán)結(jié)構(gòu)，如圖2-3。與傳統(tǒng)GAN接受隨機(jī)噪聲向量作為輸入不同，CycleGAN以圖像數(shù)據(jù)作為輸入。圖2-3CycleGAN原理示意圖（引自CycleGAN原文[30]）在CycleGAN中，對于完成→轉(zhuǎn)換任務(wù)來說，生成器G通過輸入域圖像,盡量輸出與域圖像相似的圖像,通過將生成的域圖像輸入到生成器F中，期望能夠重建域圖像，即→→≈，形成一個循環(huán)結(jié)構(gòu)。→任務(wù)同理。由此，對于→任務(wù)GAN損失函數(shù)可以被定義如公式(2-3)：(,,,)=~()[()]+~()[(1())](2-3)最終模型通過公式(2-4)求解最優(yōu)生成器：

【參考文獻(xiàn)】：
期刊論文
[1]圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 常亮,鄧小明,周明全,武仲科,袁野,楊碩,王宏安.  自動化學(xué)報. 2016(09)
[2]深度卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺中的應(yīng)用研究綜述[J]. 盧宏濤,張秦川.  數(shù)據(jù)采集與處理. 2016(01)
[3]Image recoloring using geodesic distance based color harmonization[J]. Xujie Li,Hanli Zhao,Guizhi Nie,Hui Huang.  Computational Visual Media. 2015(02)



本文編號：3310634