當(dāng)前位置：主頁(yè) > 科技論文 > 自動(dòng)化論文 >

無(wú)監(jiān)督學(xué)習(xí)和多重采樣對(duì)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究

發(fā)布時(shí)間：2020-08-23 17:03

【摘要】：圖像分類(lèi)對(duì)于人工智能和計(jì)算機(jī)視覺(jué)等研究領(lǐng)域的發(fā)展都是十分重要的,近年來(lái),卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)研究上占據(jù)著主導(dǎo)地位。但卷積神經(jīng)網(wǎng)絡(luò)仍然面臨著幾大問(wèn)題,主要表現(xiàn)在兩方面:其一,卷積操作提取的特征在網(wǎng)絡(luò)中傳遞的時(shí)候容易在池化操作過(guò)程中丟失;其二,網(wǎng)絡(luò)參數(shù)的初始化值狀態(tài)以及網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)會(huì)對(duì)網(wǎng)絡(luò)性能造成較大影響。本文圍繞圖像分類(lèi)算法精度不高,速度不快等問(wèn)題,對(duì)卷積神經(jīng)網(wǎng)絡(luò)展開(kāi)系統(tǒng)的研究并對(duì)其進(jìn)行優(yōu)化,主要貢獻(xiàn)包括:1.多重采樣池化對(duì)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究。針對(duì)傳統(tǒng)的池化方法容易忽略特征圖中有效信息的問(wèn)題,本文研究了如何在采樣過(guò)程中減少訓(xùn)練參數(shù)的同時(shí)能夠保留細(xì)節(jié)特征的方法,并提出了多重采樣池化對(duì)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方案。方案通過(guò)構(gòu)建基函數(shù)能夠提取到全面有效的圖像特征從而達(dá)到提高網(wǎng)絡(luò)識(shí)別率的效果。2.自動(dòng)編碼器優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的初始值狀態(tài)會(huì)對(duì)網(wǎng)絡(luò)性能造成較大影響的問(wèn)題,在前人的研究基礎(chǔ)上,運(yùn)用棧式卷積自動(dòng)編碼器來(lái)初始化網(wǎng)絡(luò)參數(shù)。通過(guò)棧式卷積自動(dòng)編碼器預(yù)先訓(xùn)練數(shù)據(jù)集從而提取到有用的特征,由于提取到的特征是棧式卷積自動(dòng)編碼器的隱式表現(xiàn),因此將該特征作為卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的初始化值,能使得網(wǎng)絡(luò)朝著更好的方向訓(xùn)練。3.多尺度深度可分離卷積學(xué)習(xí)網(wǎng)絡(luò)。受到MobileNet的啟發(fā),針對(duì)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)多、計(jì)算量大的問(wèn)題,我們提出了多尺度學(xué)習(xí)網(wǎng)絡(luò)并將其用于圖像分類(lèi)。該方法有兩個(gè)優(yōu)點(diǎn):(1)它使用具有深度可分離卷積的多尺度塊,該網(wǎng)絡(luò)允許在同一模型內(nèi)形成多個(gè)子網(wǎng)絡(luò);(2)它將多尺度塊與殘差結(jié)構(gòu)相結(jié)合,顯著加速網(wǎng)絡(luò)的訓(xùn)練。三種優(yōu)化方法從不同的角度出發(fā),針對(duì)相應(yīng)的問(wèn)題尋找了不同的解決方法,以提高網(wǎng)絡(luò)性能為根本出發(fā)點(diǎn)。提出的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法在圖像分類(lèi)領(lǐng)域公開(kāi)數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明:多重采樣池化對(duì)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化加快了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度并提高了其測(cè)試精度;通過(guò)卷積自動(dòng)編碼器初始化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)方法能夠增強(qiáng)網(wǎng)絡(luò)模型的穩(wěn)定性,其測(cè)試精度優(yōu)于常用的Xavier算法和MSRA算法;多尺度深度可分離卷積學(xué)習(xí)網(wǎng)絡(luò)在網(wǎng)絡(luò)性能和訓(xùn)練量之間能夠找到合適的平衡點(diǎn),使得卷積神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)更多的應(yīng)用場(chǎng)景。
【學(xué)位授予單位】：湖北工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP391.41;TP183
【圖文】：