卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是深度學(xué)習(xí)領(lǐng)域重要的模型之一,近些年來(lái)被廣泛應(yīng)用在圖像視頻處理等場(chǎng)景中。在圖像識(shí)別任務(wù)中,CNN對(duì)圖像特征的不變性和良好的特征提取能力,使其不需要經(jīng)過(guò)繁瑣的預(yù)處理就能取得較好的識(shí)別效果。而模型識(shí)別精度主要是由其結(jié)構(gòu)和參數(shù)的共同作用,因此對(duì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)優(yōu)化方法的研究具有重要的意義。本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)的基本原理結(jié)構(gòu)、還存在的問(wèn)題以及國(guó)內(nèi)外改進(jìn)方法和成果進(jìn)行了分析與總結(jié)。一方面,典型的CNN在卷積層輸入與輸出特征通道之間存在很多冗余的連接,不僅不利于卷積層的特征提取,還會(huì)增加模型復(fù)雜度。而現(xiàn)有的改進(jìn)方法需要根據(jù)經(jīng)驗(yàn)設(shè)計(jì),并不具有普適性;另一方面,反向傳播算法由于諸多超參數(shù)需要設(shè)置,導(dǎo)致模型參數(shù)訓(xùn)練不徹底。因此開(kāi)展了以下工作:1.提出了一種基于自適應(yīng)遺傳算法優(yōu)化CNN特征通道連接結(jié)構(gòu)的方法。首先預(yù)訓(xùn)練CNN并保存預(yù)訓(xùn)練參數(shù),然后使用自適應(yīng)遺傳算法對(duì)預(yù)訓(xùn)練CNN卷積層的特征通道連接結(jié)構(gòu)進(jìn)行優(yōu)化,最后使用反向傳播算法微調(diào)最優(yōu)連接結(jié)構(gòu)的CNN參數(shù),使參數(shù)適應(yīng)新的連接結(jié)構(gòu)。將優(yōu)化后的CNN用于Fashion-MN... 

【文章來(lái)源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

卷積計(jì)00111卷積核5×5卷積運(yùn)算

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)13且梯度為0，在參數(shù)更新時(shí)會(huì)造成對(duì)應(yīng)的權(quán)重?zé)o法更新，導(dǎo)致神經(jīng)元出現(xiàn)“壞死”的現(xiàn)象。由于ReLU函數(shù)的輸出均值大于0，會(huì)出現(xiàn)偏移的現(xiàn)象，而神經(jīng)元“壞死”和偏移現(xiàn)象會(huì)共同影響網(wǎng)絡(luò)的收斂性。(2.5)圖2.3Sigmoid&Tanh&ReLU激活函數(shù)圖像2.其他改進(jìn)的激活函數(shù)(Softplus&Leaky-ReLU)除了以上最常用的非線性激活函數(shù)，近些年還針對(duì)常用激活函數(shù)存在的問(wèn)題進(jìn)行了一些改進(jìn)，這里介紹幾種改進(jìn)的非線性激活函數(shù)。Softplus函數(shù)是一種和ReLU函數(shù)類似的激活函數(shù)[48]，從函數(shù)式如式2.6來(lái)看，Softplus是Sigmoid函數(shù)的原函數(shù)，從圖像上來(lái)看，Softplus是ReLU函數(shù)的一種平滑方式，神經(jīng)學(xué)科研究人員認(rèn)為ReLU函數(shù)和Softplus函數(shù)是最接近生物神經(jīng)元激活方式的函數(shù)。(2.6)Leaky-ReLU函數(shù)是在ReLU函數(shù)的基礎(chǔ)上進(jìn)行改進(jìn)的[49]，如式2.7所示。Leaky-ReLU在負(fù)半軸將自變量乘以一個(gè)取值為(0，1)的系數(shù)，使x<0時(shí)具有一個(gè)較小的非零斜率，從而解決神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)會(huì)出現(xiàn)“神經(jīng)元死亡”的問(wèn)題。f(x)=max(0,x)f(x)=log(1+ex)α

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)14(2.7)圖2.4Softplus&Leaky-ReLU激活函數(shù)圖像除了以上提到的一些有代表性的激活函數(shù)外，近些年還出現(xiàn)了各種各樣的改進(jìn)型激活函數(shù)[50-52]，而隨著深度神經(jīng)網(wǎng)絡(luò)研究的不斷深入，激活函數(shù)的研究也仍然在進(jìn)行著。在實(shí)際應(yīng)用中，需要根據(jù)應(yīng)用場(chǎng)景的不同來(lái)選擇合適的非線性激活函數(shù)。2.2.3常用的池化方式池化層的主要作用是降低特征圖分辨率，池化層能有效減少模型參數(shù)，增強(qiáng)模型的魯棒性和避免模型過(guò)擬合。更重要的是池化層能實(shí)現(xiàn)旋轉(zhuǎn)，平移和縮放的不變性。下面將介紹幾種常見(jiàn)的池化方式。1.Mean-pooling方式平均池化方式是計(jì)算采樣鄰域內(nèi)特征點(diǎn)的均值。在特征提取的過(guò)程中由于鄰域大小受限制，會(huì)造成估計(jì)值方差增大的誤差，而平均池化能夠減小這種誤差，從而使圖像的背景信息得到較好的保留。在反向傳播時(shí)，則是將采樣點(diǎn)中的值平均分配到采樣鄰域的每個(gè)特征點(diǎn)中。2.Max-pooling方式f(x)=xx≥0αxx<0

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)背景下機(jī)器學(xué)習(xí)研究[J]. 胡永祥.  信息與電腦(理論版). 2019(24)
[2]基于深度學(xué)習(xí)的圖像分類研究綜述[J]. 蘇賦,呂沁,羅仁澤.  電信科學(xué). 2019(11)
[3]關(guān)于深度學(xué)習(xí)的綜述與討論[J]. 胡越,羅東陽(yáng),花奎,路海明,張學(xué)工.  智能系統(tǒng)學(xué)報(bào). 2019(01)
[4]基于人工智能技術(shù)的大數(shù)據(jù)分析方法研究進(jìn)展[J]. 王萬(wàn)良,張兆娟,高楠,趙燕偉.  計(jì)算機(jī)集成制造系統(tǒng). 2019(03)
[5]大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法綜述[J]. 何清,李寧,羅文娟,史忠植.  模式識(shí)別與人工智能. 2014(04)
[6]差分進(jìn)化算法的參數(shù)研究[J]. 高岳林,劉軍民.  黑龍江大學(xué)自然科學(xué)學(xué)報(bào). 2009(01)



本文編號(hào)：3398092