卷積核是卷積神經(jīng)網(wǎng)絡(luò)中提取圖像特征的主要組成部分,它通過對(duì)樣本的局部區(qū)域進(jìn)行卷積計(jì)算檢測(cè)出相鄰像素之間的相似性,以此來達(dá)到識(shí)別圖像內(nèi)容的目的。因此,卷積核是影響卷積神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)度的重要因素,同時(shí)也是使網(wǎng)絡(luò)能否快速收斂的原因之一。如何初始化卷積核成為了提高卷積神經(jīng)網(wǎng)絡(luò)模型性能的關(guān)鍵問題。為此本文進(jìn)行了如下研究:（1）分析了卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),圖像卷積的過程以及卷積核提取特征的過程,研究了目前常用的3種初始化方法:隨機(jī)初始化方法、Xavier初始化方法和主成分分析方法（Principle Component Analysis,PCA）,針對(duì)這3種初始化方法存在的問題,提出了核主成分分析（Kernel Principle Component Analysis,KPCA）初始化卷積核權(quán)重值的方法,KPCA能夠有效地提取圖像中的非線性特征,使卷積核的權(quán)重值能夠包含樣本中更多的非線性特征,從而能更加充分地初始化卷積核。（2）為了驗(yàn)證本文提出的KPCA初始化方法,選取了MNIST,FashionMNIST和Cifar10進(jìn)行訓(xùn)練測(cè)試。首先在原始數(shù)據(jù)集上進(jìn)行測(cè)試,之后對(duì)原始數(shù)據(jù)集進(jìn)行平移、旋轉(zhuǎn)、彈性... 

【文章來源】：寧夏大學(xué)寧夏回族自治區(qū) 211工程院校

【文章頁數(shù)】：61 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

神經(jīng)網(wǎng)絡(luò)模型

期望結(jié)果一致。??隱含層??圖２－２神經(jīng)網(wǎng)絡(luò)模型??２．１．２卷積神經(jīng)網(wǎng)絡(luò)??雖然人工神經(jīng)網(wǎng)絡(luò)可以解決很多復(fù)雜的非線性問題，但是這種多層感知機(jī)的結(jié)構(gòu)仍然存在??著一些問題。第一，在這種結(jié)構(gòu)中每層神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元均采用全連接的方式，即每個(gè)神經(jīng)??元都與卜一層神經(jīng)兀相連接，當(dāng)網(wǎng)絡(luò)深度較抹、輸入數(shù)據(jù)量相對(duì)龐大時(shí)就會(huì)導(dǎo)致神經(jīng)元參數(shù)較??多，消耗大量?jī)?nèi)存，網(wǎng)絡(luò)難度增加計(jì)算量過大等一系列問題出現(xiàn)；第二，傳統(tǒng)的ＡＮＮ并沒有??考慮輸入圖像樣本的像素值之間的相關(guān)性問題，這樣導(dǎo)致在完成識(shí)別和分類任務(wù)時(shí)性能較差，??出現(xiàn)準(zhǔn)確度不高等問題。??針對(duì)上述問題，ＣＮＮ可以良好的解決這些問題。早期的ＣＮＮ結(jié)構(gòu)是由Ｈｕｂｅｉ和Ｗｉｅｓｅｌ發(fā)??現(xiàn)動(dòng)物腦皮層中存在的局部敏感與方向選擇神經(jīng)元后，通過對(duì)這種特殊神經(jīng)結(jié)構(gòu)的利用使ＡＮＮ??中神經(jīng)元之間的全連接形式變?yōu)榫植窟B接的形式

、?——＼?｜—Ｑ￣ｃ?，??圖２－４卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化圖??ＣＮＮ相對(duì)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)主要增加了兩層，分別為卷積層（Ｃｏｎｖｏｌｕｔｉｏｎ?Ｌａｙｅｒ）字母Ｃ表示也被稱為Ｃ層；池化層，也叫下采樣層（Ｐｏｏｌｉｎｇ?Ｌａｙｅｒ）常用大寫字母ＳＳ層。在圖２－４中先在輸入層輸入圖像樣本集送至卷積層（Ｃ〗，表示第一層卷積層），層中的每個(gè)卷積核（也被稱為濾波器）分別與圖像進(jìn)行卷積運(yùn)算獲取圖像集的特征信圖形式來表達(dá)，將由Ｃ１輸出的特征圖作為池化層（Ｓ１，表示第一層池化層）的輸入特征圖進(jìn)行降維操作減少內(nèi)存的消耗并降低計(jì)算量；隨后將降維后的特征圖也就是Ｓ作為下一卷積層Ｃ２的輸入再次與Ｃ２層中的卷積核進(jìn)行卷積運(yùn)算獲�。茫矊拥奶卣鲌D入Ｓ２進(jìn)行降維操作獲得新特征圖；反復(fù)重復(fù)上述操作直到通過所有的Ｃ層與Ｓ層之來就和傳統(tǒng)的ＡＮＮ?—樣送入全連接層和分類器中完成識(shí)別與分類任務(wù)，就表示為ＮＮ。??池化層中有兩種常見的池化方式，分別為：最大池化，平均池化。最大池化（Ｍａｘ是指在池化窗口中選擇最大的值作為輸出，其他值均舍去，池化過程如圖２－５所示；（Ｍｅａｎ?Ｐｏｏｌｉｎｇ）是指在池化窗口中計(jì)算窗口所采集數(shù)據(jù)的平均值作為池化層的輸出程如圖２－６所示［３０］。??

【參考文獻(xiàn)】：
期刊論文
[1]用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 王紅霞,周家奇,辜承昊,林泓.  浙江大學(xué)學(xué)報(bào)(工學(xué)版). 2019(07)
[2]卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的一種改進(jìn)[J]. 劉小文,郭大波,李聰.  測(cè)試技術(shù)學(xué)報(bào). 2019(02)
[3]基于KPCA初始化卷積神經(jīng)網(wǎng)絡(luò)的方法[J]. 蔡楠,李萍.  計(jì)算機(jī)技術(shù)與發(fā)展. 2019(07)
[4]基于TensorFlow手寫數(shù)字識(shí)別模型設(shè)計(jì)與實(shí)現(xiàn)[J]. 邢萌.  電子技術(shù)與軟件工程. 2019(02)
[5]基于KPCA的圖像壓縮方法[J]. 蔡楠,李萍.  無線電工程. 2018(12)
[6]基于PCA初始化卷積核的CNN手寫數(shù)字識(shí)別算法[J]. 馬義超,趙運(yùn)基,張新良.  計(jì)算機(jī)工程與應(yīng)用. 2019(13)
[7]基于集成學(xué)習(xí)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的手寫字符識(shí)別[J]. 黎育權(quán).  電子技術(shù)與軟件工程. 2018(09)
[8]智能配電房危險(xiǎn)情況的圖像特征識(shí)別方法[J]. 朱正國(guó),何斌斌,薛榮,鄧琨,魏恩偉.  電源技術(shù). 2018(04)
[9]基于粒子群優(yōu)化核主元分析的軸承狀態(tài)識(shí)別[J]. 謝鋒云,陳紅年,謝三毛,江煒文,劉博文,李雪萌.  測(cè)控技術(shù). 2018(03)
[10]卷積神經(jīng)網(wǎng)絡(luò)及其研究進(jìn)展[J]. 翟俊海,張素芳,郝璞.  河北大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(06)

碩士論文
[1]基于PCA的人臉識(shí)別系統(tǒng)的設(shè)計(jì)與研究[D]. 苑軍科.河北科技大學(xué) 2019
[2]一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)及其權(quán)值初始化方法研究[D]. 劉晴.河北大學(xué) 2018
[3]基于數(shù)據(jù)（序列模式）挖掘的醫(yī)院物資使用量預(yù)測(cè)模型研究[D]. 柴龍凱.青島科技大學(xué) 2018
[4]基于深度學(xué)習(xí)的圖像語義分割方法研究與實(shí)現(xiàn)[D]. 張學(xué)鵬.電子科技大學(xué) 2018
[5]卷積神經(jīng)網(wǎng)絡(luò)算法及應(yīng)用研究[D]. 趙井飛.沈陽航空航天大學(xué) 2018
[6]基于深度卷積神經(jīng)網(wǎng)絡(luò)的實(shí)體關(guān)系抽取[D]. 王林玉.太原理工大學(xué) 2017
[7]基于深度學(xué)習(xí)的對(duì)話系統(tǒng)主題分配技術(shù)研究[D]. 裘實(shí).哈爾濱工業(yè)大學(xué) 2017
[8]遙感影像分類的并行化及智能化研究[D]. 范迎迎.新疆大學(xué) 2017
[9]圖像卷積算法的隱私保護(hù)和應(yīng)用研究[D]. 袁鵬.西安電子科技大學(xué) 2017
[10]卷積神經(jīng)網(wǎng)絡(luò)權(quán)值初始化方法研究[D]. 沈成愷.北京工業(yè)大學(xué) 2017



本文編號(hào)：3485905