隨著大數(shù)據(jù)時(shí)代的到來(lái),卷積神經(jīng)網(wǎng)絡(luò)（CNN）因在圖像分類(lèi)方面顯示了優(yōu)越的性能成為深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn),但基于深度學(xué)習(xí)模型是由大量數(shù)據(jù)訓(xùn)練得到的,常被視為“黑盒子”,缺乏對(duì)模型決策做出合理的解釋。因此,本文將結(jié)合理論分析、實(shí)驗(yàn)驗(yàn)證和可視化研究三方面詳細(xì)地分析CNN模型,得出影響卷積神經(jīng)網(wǎng)絡(luò)性能的因素,并實(shí)現(xiàn)對(duì)模型的可解釋。由于卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計(jì)和參數(shù)選擇對(duì)圖像分類(lèi)效果和模型收斂效率方面有很大影響,因此本文通過(guò)大量的對(duì)比實(shí)驗(yàn)和數(shù)值分析得出最優(yōu)激活函數(shù)、梯度下降算法、批量歸一化以及模型結(jié)構(gòu)中參數(shù)的優(yōu)化選擇,并將其運(yùn)用到典型的兩類(lèi)數(shù)據(jù)集中。同時(shí)使用Tensorboard可視化CNN模型結(jié)構(gòu)和參數(shù)變化過(guò)程,為實(shí)際應(yīng)用中優(yōu)化模型具體參數(shù)提供理論支持,輔助調(diào)參工作獲得最優(yōu)模型。針對(duì)MNIST數(shù)據(jù)集提出改進(jìn)的CNN結(jié)構(gòu)模型,用卷積層替換池化層,得到9層網(wǎng)絡(luò)結(jié)構(gòu)模型,通過(guò)設(shè)置最優(yōu)參數(shù)提高模型性能。針對(duì)Cifar-10數(shù)據(jù)集,從最簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)開(kāi)始逐步通過(guò)調(diào)參過(guò)程來(lái)優(yōu)化模型,實(shí)驗(yàn)結(jié)果表明適當(dāng)增加網(wǎng)絡(luò)層數(shù)可以提高準(zhǔn)確率,但層數(shù)更多并不一定效果更好,較深層的網(wǎng)絡(luò)中梯度在反向傳播時(shí)會(huì)逐漸消失,因此... 

【文章來(lái)源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

機(jī)器學(xué)習(xí)領(lǐng)域熱點(diǎn)流變沖積圖

哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文-7-第2章深度學(xué)習(xí)基礎(chǔ)理論近年來(lái)，深度學(xué)習(xí)極大地促進(jìn)了人工智能領(lǐng)域的發(fā)展，已應(yīng)用于語(yǔ)音、圖像和自然語(yǔ)言處理等方面。其中，卷積神經(jīng)網(wǎng)絡(luò)因具有局部連接特性和權(quán)值共享屬性在圖像分類(lèi)任務(wù)中表現(xiàn)出了優(yōu)越性。本章針對(duì)圖像分類(lèi)問(wèn)題，重點(diǎn)說(shuō)明了相關(guān)理論知識(shí)。首先闡述了神經(jīng)網(wǎng)絡(luò)的基本概念及模型結(jié)構(gòu)，然后對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的特有結(jié)構(gòu)進(jìn)行簡(jiǎn)要說(shuō)明，包含卷積層的稀疏連接和權(quán)值共享，池化層的采樣方法，Softmax分類(lèi)器等，最后從如何優(yōu)化模型性能的角度介紹了模型防止過(guò)擬合的方法以及評(píng)估模型分類(lèi)性能的指標(biāo)。2.1人工神經(jīng)網(wǎng)絡(luò)2.1.1基本概念人工神經(jīng)網(wǎng)絡(luò)是一種模仿人類(lèi)大腦神經(jīng)元工作原理的非線(xiàn)性模型，將復(fù)雜的神經(jīng)元結(jié)構(gòu)進(jìn)行了高度抽象的數(shù)學(xué)表達(dá)。神經(jīng)元模型包括多個(gè)輸入，多個(gè)輸入分別被不同的權(quán)值相乘，然后經(jīng)過(guò)一個(gè)數(shù)學(xué)函數(shù)計(jì)算來(lái)決定是否激活神經(jīng)元，最后計(jì)算輸出。一個(gè)神經(jīng)元結(jié)構(gòu)如圖2-1。圖2-1神經(jīng)元結(jié)構(gòu)相應(yīng)的數(shù)學(xué)表達(dá)式為：)()()(31T,iiibwffhbxwbxwx（2-1）其中w為權(quán)重，b為偏置，f為激活函數(shù)，激活函數(shù)有多種選擇，以Sigmoid函數(shù)為例，其數(shù)學(xué)表達(dá)式為：Zezf11)(（2-2）

哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文-8-其函數(shù)圖如下圖2-2。圖2-2sigmoid函數(shù)圖形其中z是一個(gè)線(xiàn)性組合。從上圖可知，若輸入的值很大或很小時(shí)，fz分別趨近于1或0�？梢钥闯鯯igmoid函數(shù)將輸入實(shí)數(shù)都映射到了[0,1]范圍內(nèi)，輸出值的大小可以解釋為是正樣本概率的大小，例如激活函數(shù)的輸出為0.95則說(shuō)明有95%的概率是正樣本[39]。神經(jīng)網(wǎng)絡(luò)是由圖2-1所示的基本神經(jīng)元組成的多層結(jié)構(gòu)，其包含輸入層，若干隱藏層和輸出層。如圖2-3是一個(gè)含有多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，層與層之間相互聯(lián)系。圖2-3三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2.1.2反向傳播算法在訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的過(guò)程中，反向傳播算法（BackPropagation，BP）是目前最常用且最有效的算法[40]。BP算法主要包含前向傳播和權(quán)重更新兩個(gè)步驟，通過(guò)不斷地循環(huán)迭代，直到最后的輸出結(jié)果滿(mǎn)足預(yù)先設(shè)定的目標(biāo)為止。下面以圖2-3為例介紹反向傳播算法的推導(dǎo)過(guò)程。首先，定義神經(jīng)網(wǎng)絡(luò)中的變量：設(shè)ljkw為l1層第k個(gè)神經(jīng)元與l層的第j個(gè)神經(jīng)元間的權(quán)重，ljb為l層的第j個(gè)神經(jīng)元的偏置，ljz為l層的第j個(gè)神經(jīng)元的輸入，即：ljlkkljkljbawz1（2-3）L1輸入層L2隱藏層L3輸出層

【參考文獻(xiàn)】：
期刊論文
[1]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽(yáng)明,王正.  計(jì)算機(jī)應(yīng)用研究. 2012(08)

碩士論文
[1]基于深度學(xué)習(xí)的圖像分類(lèi)研究[D]. 雷曉靜.西安電子科技大學(xué) 2017
[2]基于深度學(xué)習(xí)的圖像分類(lèi)算法研究[D]. 房雪鍵.遼寧大學(xué) 2016
[3]卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)中的應(yīng)用研究[D]. 吳正文.電子科技大學(xué) 2015
[4]基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D]. 陳先昌.浙江工商大學(xué) 2014



本文編號(hào)：3280635