近年來,深度學(xué)習(xí)一直是計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn),隨著研究的不斷深入,深度學(xué)習(xí)目前在理論上達(dá)到瓶頸期。數(shù)據(jù)集的質(zhì)量和大小對(duì)于深度學(xué)習(xí)模型最終性能的影響至關(guān)重要。生成對(duì)抗網(wǎng)絡(luò)GAN是一種新的無監(jiān)督生成式模型,以其新穎的博弈思想來訓(xùn)練神經(jīng)網(wǎng)絡(luò),自提出后便受到研究人員的廣泛關(guān)注。GAN中存在一個(gè)生成器網(wǎng)絡(luò)和一個(gè)判別器網(wǎng)絡(luò),通過生成器和判別器之間不斷相互對(duì)抗進(jìn)行學(xué)習(xí),直至達(dá)到納什平衡,從而可以從無到有生成圖像數(shù)據(jù),因此可以依靠GAN強(qiáng)大的生成能力擴(kuò)充圖像數(shù)據(jù)集。但是在實(shí)驗(yàn)中GAN存在訓(xùn)練不穩(wěn)定、模型難以收斂、訓(xùn)練過程高度自由不可控等問題,使得生成的圖像質(zhì)量效果往往不盡人意。深度卷積生成對(duì)抗網(wǎng)絡(luò)DCGAN是GAN的一種衍生模型,通過引入卷積神經(jīng)網(wǎng)絡(luò)對(duì)GAN原有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),使得網(wǎng)絡(luò)模型的訓(xùn)練過程更加穩(wěn)定,成為后續(xù)GAN各種變體的標(biāo)準(zhǔn)結(jié)構(gòu)。在實(shí)驗(yàn)中,DCGAN生成64×64分辨率的圖像樣本時(shí)會(huì)出現(xiàn)一些無意義的圖像,或者圖像某些特征過于相似、缺乏多樣性。DCGAN中是以交叉熵函數(shù)作為損失函數(shù),而理論上最小二乘法作為損失函數(shù)時(shí),其可以對(duì)被判別器判別為真,但距離判別器的決策邊界較遠(yuǎn)的偽造樣本進(jìn)行懲罰,使... 

【文章來源】：西安理工大學(xué)陜西省

【文章頁數(shù)】：63 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

卷積運(yùn)算Fig.2-5Convolutionoperation

徊閌淙脛?湮?咝怨叵擔(dān)?蘼劬??嗌倬砘?悖??出都只是輸入的簡(jiǎn)單線性組合，無法學(xué)習(xí)到復(fù)雜的特征信息。激活層通過對(duì)上層的輸出數(shù)據(jù)使用一些非線性函數(shù)進(jìn)行處理，使得網(wǎng)絡(luò)層之間的輸入輸出不再是簡(jiǎn)單的線性關(guān)系。在加入激活層后，網(wǎng)絡(luò)可以通過不斷的學(xué)習(xí)，逐漸逼近任意非線性函數(shù)，從而使得網(wǎng)絡(luò)模型越來越靠近設(shè)計(jì)需求[37-39]。激活函數(shù)的選擇對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來說至關(guān)重要，下面對(duì)一些常用激活函數(shù)進(jìn)行簡(jiǎn)單的介紹。（1）Sigmoid函數(shù)Sigmoid函數(shù)的表達(dá)式如下式（2-2）所示，函數(shù)圖像如圖2-6所示。()=11+（2-2）圖2-6Sigmoid圖形Fig.2-6SigmoidgraphicalSigmoid函數(shù)將輸入數(shù)據(jù)映射到（0,1）的區(qū)間內(nèi)，可以被用來表示概率或者做數(shù)據(jù)歸一化操作。Sigmoid函數(shù)曾經(jīng)被廣泛使用，后來由于它固有的一些缺點(diǎn)，被使用的越來越少。由它的函數(shù)圖形圖2-6可以看出，當(dāng)輸入Sigmoid函數(shù)的數(shù)據(jù)很大或者很小時(shí)，其梯度將變得很小，而如果網(wǎng)絡(luò)中間層特別多，原本的梯度就不大，當(dāng)梯度經(jīng)反向傳播算法從后向前傳播到達(dá)前面的網(wǎng)絡(luò)層時(shí)，通過一層層的計(jì)算，其將逐漸變得越來越小接近于0，從而導(dǎo)致網(wǎng)絡(luò)很容易出現(xiàn)梯度消失的情況，一般在5層以內(nèi)就會(huì)出現(xiàn)這樣的問題。另外一方面，Sigmoid函數(shù)的輸出不是0的均值，這樣網(wǎng)絡(luò)在更新參數(shù)時(shí)會(huì)出現(xiàn)朝某一特定方向發(fā)展的問題，不利于網(wǎng)絡(luò)的學(xué)習(xí)。且Sigmoid函數(shù)中含有冪函數(shù)，在求解時(shí)相對(duì)比較復(fù)雜，不利于下一層的運(yùn)算。因此后來很少將Sigmoid函數(shù)使用在隱藏層中，通常用于在網(wǎng)絡(luò)最

相關(guān)理論和算法介紹11后一層獲得二分類概率，來說明網(wǎng)絡(luò)的訓(xùn)練情況。（2）Tanh函數(shù)Tanh函數(shù)相較于Sigmoid函數(shù)更為常見，它將輸入的數(shù)據(jù)壓縮到（-1,1）的范圍內(nèi)，其收斂速度相較后者來說更為快速。Tanh公式如（2-3）所示，函數(shù)圖像如圖2-7所示。()=+（2-3）圖2-7Tanh圖形Fig.2-7TanhgraphicalTanh函數(shù)輸出是0的均值，但由圖2-7可以看出，當(dāng)輸入的數(shù)據(jù)很小或者很大時(shí)，Tanh函數(shù)的梯度同樣會(huì)趨近于0。因此在網(wǎng)絡(luò)的梯度傳遞過程中，依然會(huì)發(fā)生梯度消失的問題。（3）ReLU函數(shù)ReLU函數(shù)全稱為線性整流單元函數(shù)（RectifiedLinearUnits），其公式如（2-4）所示，函數(shù)圖像如圖2-8所示。()=(0,)（2-4）圖2-8ReLU圖形Fig.2-8ReLUgraphical

【參考文獻(xiàn)】：
期刊論文
[1]生成對(duì)抗網(wǎng)絡(luò)的研究進(jìn)展綜述[J]. 吳少乾,李西明.  計(jì)算機(jī)科學(xué)與探索. 2020(03)
[2]生成對(duì)抗網(wǎng)絡(luò)研究綜述[J]. 鄒秀芳,朱定局.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(11)
[3]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計(jì)算機(jī)學(xué)報(bào). 2017(06)
[4]圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J]. 常亮,鄧小明,周明全,武仲科,袁野,楊碩,王宏安.  自動(dòng)化學(xué)報(bào). 2016(09)
[5]幾種圖像縮放算法的研究[J]. 李秀英,袁紅.  現(xiàn)代電子技術(shù). 2012(05)
[6]激活函數(shù)對(duì)BP網(wǎng)絡(luò)性能的影響及其仿真研究[J]. 王雪光,郭艷兵,齊占慶.  自動(dòng)化技術(shù)與應(yīng)用. 2002(04)
[7]關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J]. 張學(xué)工.  自動(dòng)化學(xué)報(bào). 2000(01)
[8]前饋神經(jīng)網(wǎng)絡(luò)中的反向傳播算法及其改進(jìn):進(jìn)展與展望[J]. 劉曙光,鄭崇勛,劉明遠(yuǎn).  計(jì)算機(jī)科學(xué). 1996(01)



本文編號(hào)：3321964