圖像翻譯是將圖像的一種表示場(chǎng)景轉(zhuǎn)換成另一種場(chǎng)景的圖像域變化任務(wù),主要應(yīng)用在交通、醫(yī)療和日常生活等多個(gè)方面,是計(jì)算機(jī)圖像處理領(lǐng)域的研究熱點(diǎn)之一。本文針對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的無(wú)監(jiān)督圖像翻譯方法展開研究和改進(jìn),提高生成圖像與輸入圖像的內(nèi)容一致性、圖像域一致性,增強(qiáng)翻譯圖像的翻譯效果與真實(shí)性,具體內(nèi)容如下:（1）研究單圖像域無(wú)監(jiān)督圖像翻譯方法。針對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的單圖像域無(wú)監(jiān)督圖像翻譯中訓(xùn)練過(guò)程不穩(wěn)定、無(wú)關(guān)域改變較大而導(dǎo)致翻譯圖像細(xì)節(jié)模糊、真實(shí)性低的問(wèn)題,基于對(duì)偶學(xué)習(xí)提出了一種融合自注意力機(jī)制和相對(duì)鑒別的無(wú)監(jiān)督圖像翻譯方法。在模型的生成器中引入自注意力機(jī)制加強(qiáng)圖像生成過(guò)程中像素間遠(yuǎn)近距離的關(guān)聯(lián)關(guān)系,在低、高卷積層間增加跳躍連接,降低無(wú)關(guān)圖像域特征信息損失;在判別器中使用譜規(guī)范化防止因鑒別能力突變?cè)斐傻奶荻认?增強(qiáng)訓(xùn)練過(guò)程中整體模型的穩(wěn)定性。在損失函數(shù)中基于循環(huán)重構(gòu)增加自我重構(gòu)一致性約束條件,專注目標(biāo)域的轉(zhuǎn)變,設(shè)計(jì)相對(duì)鑒別對(duì)抗損失指導(dǎo)生成器和判別器之間的零和博弈,完成單圖像域的無(wú)監(jiān)督圖像翻譯。實(shí)驗(yàn)驗(yàn)證了該方法提高了翻譯圖像的質(zhì)量。（2）研究多圖像域無(wú)監(jiān)督圖像翻譯方法。針對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的多圖... 

【文章來(lái)源】：武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖像翻譯示例

11確度等合適的客觀評(píng)價(jià)對(duì)實(shí)驗(yàn)進(jìn)行分析。1.4本文組織結(jié)構(gòu)本文共分為五章，具體組織結(jié)構(gòu)如圖1-2所示。圖1-2章節(jié)組織結(jié)構(gòu)第1章為緒論部分。該章首先介紹了本文的研究背景及意義，然后從生成對(duì)抗網(wǎng)絡(luò)和無(wú)監(jiān)督圖像翻譯兩個(gè)方面對(duì)研究現(xiàn)狀進(jìn)行分析，并詳細(xì)闡述了本課題的主要研究?jī)?nèi)容和本文的章節(jié)安排。第2章闡述了本文提出的融合自注意力機(jī)制和相對(duì)鑒別的單圖像域無(wú)監(jiān)督圖像翻譯方法。首先分析了無(wú)監(jiān)督圖像翻譯的特點(diǎn)以及已有方法的不足，在此基礎(chǔ)上研究自注意力機(jī)制和相對(duì)鑒別對(duì)抗的原理，設(shè)計(jì)了基于對(duì)偶學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)圖像翻譯方法。第3章闡述了本文提出的融合屬性類別標(biāo)簽與雙尺度判別的多圖像域無(wú)監(jiān)督圖像翻譯方法。首先分析了多圖像域無(wú)監(jiān)督圖像翻譯的特點(diǎn)以及已有方法的不足，在此基礎(chǔ)上研究自適應(yīng)實(shí)例歸一化技術(shù)在圖像翻譯中的應(yīng)用，提出了基于屬性類別標(biāo)簽的多圖像域無(wú)監(jiān)督圖像翻譯方法。第4章實(shí)驗(yàn)結(jié)果及分析。首先構(gòu)建了實(shí)驗(yàn)環(huán)境和訓(xùn)練所用圖像數(shù)據(jù)集，并描述了幾種主觀評(píng)價(jià)與客觀評(píng)價(jià)標(biāo)準(zhǔn)，然后對(duì)本文改進(jìn)的單圖像域無(wú)監(jiān)督圖像翻譯方法和多圖像域無(wú)監(jiān)督圖像翻譯方法分別與現(xiàn)有方法進(jìn)行實(shí)驗(yàn)及結(jié)果分析。第5章總結(jié)與展望。闡述了本文的主要研究工作及對(duì)成果的總結(jié)，并指出本文方法存在的不足和進(jìn)一步發(fā)展的方向，對(duì)未來(lái)后續(xù)研究工作做出展望。

13圖2-1配對(duì)與非配對(duì)數(shù)據(jù)示例基于非配對(duì)的訓(xùn)練數(shù)據(jù)集中，在保證圖像內(nèi)容一致性和圖像域一致性的條件下，完成圖像翻譯工作，成為無(wú)監(jiān)督圖像翻譯研究的主要內(nèi)容。在圖像內(nèi)容一致性方面，有監(jiān)督的圖像翻譯有明確的目標(biāo)圖像，因此可以使用輸出圖像與目標(biāo)圖像的差異作為損失函數(shù)，以訓(xùn)練數(shù)據(jù)集中的目標(biāo)圖像為樞紐建立輸入圖像與輸出圖像的映射關(guān)系，保證翻譯過(guò)程中內(nèi)容的一致性。無(wú)監(jiān)督圖像翻譯中，訓(xùn)練數(shù)據(jù)集中缺少明確的目標(biāo)圖像，不能直接指導(dǎo)生成器在翻譯過(guò)程中保留結(jié)構(gòu)、內(nèi)容等固有圖像屬性信息。圖像翻譯中圖像在圖像域之間進(jìn)行變換時(shí)，僅指定的圖像域信息發(fā)生了改變，不同圖像域中的圖像共享潛在的圖像固有屬性及無(wú)關(guān)圖像域等特征信息。因此，無(wú)監(jiān)督的圖像翻譯可以通過(guò)提取潛在特征向量和循環(huán)重構(gòu)兩種方法保證圖像內(nèi)容一致性。使用編碼器和解碼器結(jié)構(gòu)共同構(gòu)成生成器網(wǎng)絡(luò)，通過(guò)編碼器提取不同圖像域中圖像共享的潛在特征向量，再通過(guò)各個(gè)圖像域特定的解碼器完成特征向量到真實(shí)圖像的生成工作。但是對(duì)數(shù)據(jù)的編碼不能保證特征向量的完整性，會(huì)改變圖像內(nèi)容。基于對(duì)偶學(xué)習(xí)的思想，將圖像先映射到目標(biāo)域再映射回原域，構(gòu)成循環(huán)重構(gòu)過(guò)程，可以更好地保證翻譯過(guò)程中的內(nèi)容一致性，但是僅有循環(huán)重構(gòu)并不能準(zhǔn)確定位翻譯的指定圖像域，無(wú)關(guān)圖像域信息也會(huì)發(fā)生變化。在圖像域一致性方面，有監(jiān)督的圖像翻譯根據(jù)明確的目標(biāo)圖像即可確定輸出圖像的圖像域信息，判別器的真?zhèn)闻卸ㄟM(jìn)一步指導(dǎo)生成器生成清晰真實(shí)的圖像。無(wú)監(jiān)督的圖像翻譯則需要充分利用判別器的判別能力，限制生成器的輸出圖像為指定圖像域圖像。判別器在進(jìn)行真?zhèn)舞b定的過(guò)程中，是將輸入的真實(shí)圖像作為對(duì)比，進(jìn)而對(duì)生成圖像進(jìn)行評(píng)判。因此，在無(wú)監(jiān)督的圖像翻譯中通常使用多個(gè)

【參考文獻(xiàn)】：
期刊論文
[1]人工智能研究的新前線:生成式對(duì)抗網(wǎng)絡(luò)[J]. 林懿倫,戴星原,李力,王曉,王飛躍.  自動(dòng)化學(xué)報(bào). 2018(05)
[2]生成式對(duì)抗網(wǎng)絡(luò)研究進(jìn)展[J]. 王萬(wàn)良,李卓蓉.  通信學(xué)報(bào). 2018(02)



本文編號(hào)：3474724