無監(jiān)督學(xué)習(xí)和多重采樣對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究

發(fā)布時間：2020-08-23 17:03

【摘要】：圖像分類對于人工智能和計算機(jī)視覺等研究領(lǐng)域的發(fā)展都是十分重要的,近年來,卷積神經(jīng)網(wǎng)絡(luò)在圖像分類研究上占據(jù)著主導(dǎo)地位。但卷積神經(jīng)網(wǎng)絡(luò)仍然面臨著幾大問題,主要表現(xiàn)在兩方面:其一,卷積操作提取的特征在網(wǎng)絡(luò)中傳遞的時候容易在池化操作過程中丟失;其二,網(wǎng)絡(luò)參數(shù)的初始化值狀態(tài)以及網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計會對網(wǎng)絡(luò)性能造成較大影響。本文圍繞圖像分類算法精度不高,速度不快等問題,對卷積神經(jīng)網(wǎng)絡(luò)展開系統(tǒng)的研究并對其進(jìn)行優(yōu)化,主要貢獻(xiàn)包括:1.多重采樣池化對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究。針對傳統(tǒng)的池化方法容易忽略特征圖中有效信息的問題,本文研究了如何在采樣過程中減少訓(xùn)練參數(shù)的同時能夠保留細(xì)節(jié)特征的方法,并提出了多重采樣池化對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化方案。方案通過構(gòu)建基函數(shù)能夠提取到全面有效的圖像特征從而達(dá)到提高網(wǎng)絡(luò)識別率的效果。2.自動編碼器優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)。針對卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的初始值狀態(tài)會對網(wǎng)絡(luò)性能造成較大影響的問題,在前人的研究基礎(chǔ)上,運(yùn)用棧式卷積自動編碼器來初始化網(wǎng)絡(luò)參數(shù)。通過棧式卷積自動編碼器預(yù)先訓(xùn)練數(shù)據(jù)集從而提取到有用的特征,由于提取到的特征是棧式卷積自動編碼器的隱式表現(xiàn),因此將該特征作為卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的初始化值,能使得網(wǎng)絡(luò)朝著更好的方向訓(xùn)練。3.多尺度深度可分離卷積學(xué)習(xí)網(wǎng)絡(luò)。受到MobileNet的啟發(fā),針對卷積神經(jīng)網(wǎng)絡(luò)參數(shù)多、計算量大的問題,我們提出了多尺度學(xué)習(xí)網(wǎng)絡(luò)并將其用于圖像分類。該方法有兩個優(yōu)點:(1)它使用具有深度可分離卷積的多尺度塊,該網(wǎng)絡(luò)允許在同一模型內(nèi)形成多個子網(wǎng)絡(luò);(2)它將多尺度塊與殘差結(jié)構(gòu)相結(jié)合,顯著加速網(wǎng)絡(luò)的訓(xùn)練。三種優(yōu)化方法從不同的角度出發(fā),針對相應(yīng)的問題尋找了不同的解決方法,以提高網(wǎng)絡(luò)性能為根本出發(fā)點。提出的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法在圖像分類領(lǐng)域公開數(shù)據(jù)集上進(jìn)行了測試。實驗結(jié)果表明:多重采樣池化對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化加快了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度并提高了其測試精度;通過卷積自動編碼器初始化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)方法能夠增強(qiáng)網(wǎng)絡(luò)模型的穩(wěn)定性,其測試精度優(yōu)于常用的Xavier算法和MSRA算法;多尺度深度可分離卷積學(xué)習(xí)網(wǎng)絡(luò)在網(wǎng)絡(luò)性能和訓(xùn)練量之間能夠找到合適的平衡點,使得卷積神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)更多的應(yīng)用場景。
【學(xué)位授予單位】：湖北工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP183
【圖文】：

無監(jiān)督學(xué)習(xí)和多重采樣對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究