半監(jiān)督學(xué)習(xí)是當(dāng)前深度學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)和難點(diǎn)之一,它是一種基于大量無標(biāo)簽樣本以及少量無標(biāo)簽樣本進(jìn)行圖像分類的方法。傳統(tǒng)的半監(jiān)督學(xué)習(xí)的主要方法有協(xié)同訓(xùn)練、半監(jiān)督支持向量機(jī)和圖論半監(jiān)督學(xué)習(xí)等。隨著深度學(xué)習(xí)的發(fā)展,越來越多的專家學(xué)者開始采用深度學(xué)習(xí)的方法解決半監(jiān)督學(xué)習(xí)問題,其中最具代表性的就是半監(jiān)督生成對抗網(wǎng)絡(luò)。作為一種新興的深度學(xué)習(xí)方法,生成對抗網(wǎng)絡(luò)在圖形生成、圖形修復(fù)及圖像分類等問題上表現(xiàn)出了良好的性能,然而,其在半監(jiān)督分類問題上仍存在模式崩塌、分類精度不足等問題。針對半監(jiān)督生成對抗網(wǎng)絡(luò)存在的不足,本文提出兩種基于改進(jìn)的半監(jiān)督生成對抗網(wǎng)絡(luò)圖像分類方法,具體研究內(nèi)容如下:第一,針對半監(jiān)督生成對抗網(wǎng)絡(luò)分布匹配能力較弱,在數(shù)據(jù)復(fù)雜度增加的情況下不可避免地會(huì)在流形外產(chǎn)生樣本的問題,采用一種基于流形正則化的方法。流形正則化鼓勵(lì)分類器對生成器參數(shù)的局部擾動(dòng)保持不變,即對數(shù)據(jù)流形中距離較近的點(diǎn)賦予相似的標(biāo)簽,提高模型泛化能力。同時(shí)針對有標(biāo)簽樣本,采用可伸縮SVM損失函數(shù)代替Softmax,提高對有標(biāo)簽樣本的分類準(zhǔn)確率。第二,全局流形正則化對局部數(shù)據(jù)流形的擾動(dòng)不敏感的問題,采用局部流形正則化方法,通過在... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【圖文】：

DCGAN的生成器結(jié)構(gòu)

重慶郵電大學(xué)碩士學(xué)位論文第2章生成對抗網(wǎng)絡(luò)與半監(jiān)督生成對抗網(wǎng)絡(luò)模型13DCGAN對GAN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，除了使用卷積神經(jīng)網(wǎng)絡(luò)外，還加入了一些訓(xùn)練的技巧，從而提高了GAN的生成和判別能力。圖2.3普通卷積示意圖圖2.4微步幅卷積示意圖2.3.2Wasserstein生成對抗網(wǎng)絡(luò)與DCGAN不同的是，WGAN主要是從損失函數(shù)的角度對GAN進(jìn)行了改進(jìn)。根據(jù)2.2.3的目標(biāo)函數(shù)，由于生成器一方面要減小KL散度，另一方面卻要增大JS散度，因此訓(xùn)練一個(gè)好的生成器是一件非常困難的事。由于KL散度的不對稱性，導(dǎo)致兩種對生成器的懲罰：一是生成器生成缺乏準(zhǔn)確性的圖像時(shí)懲罰較高，二是生成缺乏多樣性的圖像時(shí)懲罰較低，從而導(dǎo)致生成器更傾向于生成有把握但相似的圖像，而不去生成沒把握的新圖像，即模式崩潰現(xiàn)象。這種情況的出現(xiàn)實(shí)際上與GAN在目標(biāo)函數(shù)中使用JS散度相關(guān)，由于高維空間中大部分空間是多余的，不是每一個(gè)數(shù)據(jù)點(diǎn)都映射一個(gè)樣本，真實(shí)數(shù)據(jù)實(shí)際上是高維空間上的低維流形，導(dǎo)致生成器模型的訓(xùn)練異常。

重慶郵電大學(xué)碩士學(xué)位論文第2章生成對抗網(wǎng)絡(luò)與半監(jiān)督生成對抗網(wǎng)絡(luò)模型13DCGAN對GAN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，除了使用卷積神經(jīng)網(wǎng)絡(luò)外，還加入了一些訓(xùn)練的技巧，從而提高了GAN的生成和判別能力。圖2.3普通卷積示意圖圖2.4微步幅卷積示意圖2.3.2Wasserstein生成對抗網(wǎng)絡(luò)與DCGAN不同的是，WGAN主要是從損失函數(shù)的角度對GAN進(jìn)行了改進(jìn)。根據(jù)2.2.3的目標(biāo)函數(shù)，由于生成器一方面要減小KL散度，另一方面卻要增大JS散度，因此訓(xùn)練一個(gè)好的生成器是一件非常困難的事。由于KL散度的不對稱性，導(dǎo)致兩種對生成器的懲罰：一是生成器生成缺乏準(zhǔn)確性的圖像時(shí)懲罰較高，二是生成缺乏多樣性的圖像時(shí)懲罰較低，從而導(dǎo)致生成器更傾向于生成有把握但相似的圖像，而不去生成沒把握的新圖像，即模式崩潰現(xiàn)象。這種情況的出現(xiàn)實(shí)際上與GAN在目標(biāo)函數(shù)中使用JS散度相關(guān)，由于高維空間中大部分空間是多余的，不是每一個(gè)數(shù)據(jù)點(diǎn)都映射一個(gè)樣本，真實(shí)數(shù)據(jù)實(shí)際上是高維空間上的低維流形，導(dǎo)致生成器模型的訓(xùn)練異常。

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)理論綜述與研究展望[J]. 張沛陽.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2020(04)
[2]深度學(xué)習(xí)技術(shù)及其應(yīng)用[J]. 方蕓,馬林梓.  電腦知識與技術(shù). 2020(05)
[3]半監(jiān)督學(xué)習(xí)理論及其研究進(jìn)展概述[J]. 屠恩美,楊杰.  上海交通大學(xué)學(xué)報(bào). 2018(10)
[4]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計(jì)算機(jī)學(xué)報(bào). 2017(06)
[5]Where Does AlphaGo Go: From Church-Turing Thesis to AlphaGo Thesis and Beyond[J]. Fei-Yue Wang,Jun Jason Zhang,Xinhu Zheng,Xiao Wang,Yong Yuan,Xiaoxiao Dai,Jie Zhang,Liuqing Yang.  IEEE/CAA Journal of Automatica Sinica. 2016(02)



本文編號：3305831