卷積神經(jīng)網(wǎng)絡(luò)發(fā)展至今,在圖像分類方面取得不俗的成就。隨著硬件的迭代更新,卷積神經(jīng)網(wǎng)絡(luò)的研究發(fā)展依舊存在廣闊的發(fā)展前景。當(dāng)前的研究表明,卷積神經(jīng)網(wǎng)絡(luò)的深度和精度依舊是研究的難點。深層網(wǎng)絡(luò)的分類精度高,但是復(fù)雜度和冗長性會導(dǎo)致實驗的難度加大,而淺層網(wǎng)絡(luò)的泛化性弱。為了解決這一難題,本文圍繞優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),降低網(wǎng)絡(luò)的復(fù)雜度的角度展開研究。主要工作包括:1、提出了在dense block結(jié)構(gòu)中添加多分辨率因子的優(yōu)化方法,提高了各層網(wǎng)絡(luò)輸出特征泛化能力和特征提取的效率,使重要特征更為顯著,優(yōu)化了特征提取過程中特征丟失的問題,提高future maps傳遞過程中的完整性,進一步提高網(wǎng)絡(luò)模型的性能。解決了卷積神經(jīng)網(wǎng)絡(luò)在提取特征的過程中,特征提取不充分、特征丟失的問題。2、設(shè)計了在dense block結(jié)構(gòu)間添加殘差注意力機制網(wǎng)絡(luò)的優(yōu)化方案,增強了dense block結(jié)構(gòu)間的顯著特征,提高了特征提取的優(yōu)化效果。解決了當(dāng)前的深度學(xué)習(xí)通常需要從頭開始訓(xùn)練,使用Finetune來學(xué)習(xí)新任務(wù)達不到預(yù)期效果的問題。3、利用蒸餾學(xué)習(xí)的特性,提出了自我蒸餾的優(yōu)化方法,將網(wǎng)絡(luò)層數(shù)較深的網(wǎng)絡(luò)的權(quán)重模型移植到網(wǎng)... 

【文章來源】：湖北工業(yè)大學(xué)湖北省

【文章頁數(shù)】：52 頁

【學(xué)位級別】：碩士

【部分圖文】：

神經(jīng)元結(jié)構(gòu)圖

湖北工業(yè)大學(xué)碩士學(xué)位論文6多個神經(jīng)元組合在一起，并形成一定的分層結(jié)構(gòu)，我們稱之為神經(jīng)網(wǎng)絡(luò)模型，如圖2.2所示，這里是一個具有一個隱含層的神經(jīng)網(wǎng)絡(luò)。圖2.2含有隱含層的神經(jīng)網(wǎng)絡(luò)圖2.2是一個簡單的神經(jīng)網(wǎng)絡(luò)模型，包含了三個輸入端X1，X2，X3，另一個+1輸入端表示閾值參與計算。三個輸入端的輸入數(shù)據(jù)分別與權(quán)重相乘，再與閾值相加，即得到我們的輸出。其對應(yīng)的公式為：)(a13132121111bxwxwxwf（2.2）)(a23232221212bxwxwxwf（2.3）)(a33332321313bxwxwxwf（2.4）)(aaa)(332211321,bxwxwxwfxhbw（2.5）其中X1，X2，X3作為輸入，b，b1，b2，b3作為閾值，W1，W2，W11，W12，W13等是權(quán)重，hw,b(x)是輸出。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)的顯著特點是具有卷積計算和深度結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)通過一層一層的節(jié)點組織起來的，網(wǎng)絡(luò)中的每一個節(jié)點都是一個神經(jīng)元，并且相鄰的兩層之間只有部分節(jié)點有連接。一方面減少參數(shù)數(shù)量、降低運算復(fù)雜性，裁掉重復(fù)冗長的無關(guān)計算，另一方面，提取關(guān)鍵信息和主體信息，使網(wǎng)絡(luò)整體更為高效。如圖2.3所示，卷積神經(jīng)網(wǎng)絡(luò)從架構(gòu)上可以分為五個部分：輸入層、卷積層、池化層、全連接層以及softmax層。這里先簡單介紹輸入層、卷積層、池化層、全連接層、softmax層的定義。后面著重介紹卷積層、池化層的基本原理。卷積神經(jīng)網(wǎng)絡(luò)最重要的結(jié)構(gòu)是卷積層，能夠?qū)崿F(xiàn)卷積計算的卷積核是網(wǎng)絡(luò)的關(guān)鍵部分。而池化層與之密切相關(guān)，在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷發(fā)展的前提下，卷積層和池化層仍然是需要密切關(guān)注的部分。

湖北工業(yè)大學(xué)碩士學(xué)位論文7圖2.3卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖如圖2.3所示，是卷積神經(jīng)網(wǎng)絡(luò)的一般性結(jié)構(gòu)，各個結(jié)構(gòu)的定義如下。1、輸入層：我們把神經(jīng)網(wǎng)絡(luò)中的第一層稱之為輸入層，這一層的主要功能是將輸入信號傳遞到神經(jīng)網(wǎng)絡(luò)當(dāng)中，我們可以發(fā)現(xiàn)這一層本身不會對輸入數(shù)據(jù)有任何運算，而是輸入數(shù)據(jù)在從輸入層傳遞到隱含層的過程中，與權(quán)重及閾值的計算中，發(fā)生了輸入數(shù)據(jù)的傳遞與更新。在圖像處理的學(xué)習(xí)中，我們發(fā)現(xiàn)圖像數(shù)據(jù)通常作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，而圖像通常分為灰色圖像和彩色圖像。我們在把圖像數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)時，是把圖像數(shù)據(jù)分解成像素矩陣，即我們用矩陣形式的像素值來表示對應(yīng)的圖像數(shù)據(jù)。在卷積神經(jīng)網(wǎng)絡(luò)中，為了展現(xiàn)每一層神經(jīng)元的維度信息，通常將每一層卷積層的節(jié)點組成一個三維矩陣。與此同時，像素矩陣也是以三維矩陣的形式參與網(wǎng)絡(luò)數(shù)據(jù)的傳遞和更新，保證了數(shù)據(jù)運算的一致性。在三維矩陣中，長和寬可以直接理解為圖像的大小，而深度則理解為圖像的色彩通道。比如黑白圖像的深度為1，RBG彩色圖像的深度為3，可以理解為顏色的三原色可以組成任意色彩，三種原色即需要三個通道。輸入層要傳遞的圖像數(shù)據(jù)實際上就是三維像素矩陣。2、卷積層：卷積層是卷積神經(jīng)網(wǎng)絡(luò)最重要的組成部分,卷積層的核心元素是卷積核，卷積核常用的大小一般為3×3或者5×5。神經(jīng)網(wǎng)絡(luò)利用卷積核將上一層的特征映射到下一層中，從而得到抽象程度更高的特征。一般來說，通過卷積層處理過的節(jié)點矩陣會變得更深，所以在上圖中，可以看到經(jīng)過卷積層之后的節(jié)點矩陣的深度會增加。3、池化層：池化層也是神經(jīng)網(wǎng)絡(luò)重要的組成部分，但是它不想卷積層那樣，改變?nèi)S矩陣的深度，但是可以縮小矩陣的大校池化操作可以視作將一張高分辨率圖像轉(zhuǎn)化為低分辨率圖像，整個神

【參考文獻】：
期刊論文
[1]基于知識蒸餾方法的行人屬性識別研究[J]. 凌弘毅.  計算機應(yīng)用與軟件. 2018(10)
[2]基于增強監(jiān)督知識蒸餾的交通標(biāo)識分類[J]. 趙勝偉,葛仕明,葉奇挺,羅朝,李強.  中國科技論文. 2017(20)

碩士論文
[1]基于Tensorflow的Android端本地圖像分類的應(yīng)用設(shè)計與實現(xiàn)[D]. 莊寧.浙江工業(yè)大學(xué) 2019
[2]復(fù)雜背景下多車牌識別算法的研究與軟件系統(tǒng)實[D]. 梁大寬.太原理工大學(xué) 2016



本文編號：3324234