近些年來,卷積神經(jīng)網(wǎng)絡(luò)在許多與計(jì)算機(jī)視覺相關(guān)的任務(wù)（如目標(biāo)檢測(cè)和圖像識(shí)別）上均取得了顯著的成就。但是多數(shù)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)異性能都以計(jì)算和內(nèi)存成本的顯著增加作為代價(jià),因此很難將它們部署在資源受限的環(huán)境（如移動(dòng)設(shè)備和嵌入式設(shè)備）中。因此,對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮和加速,降低其對(duì)計(jì)算和內(nèi)存資源的消耗,已逐漸成為一個(gè)熱門的研究領(lǐng)域。剪枝是卷積神經(jīng)網(wǎng)絡(luò)壓縮的主要方法之一,它可以有效識(shí)別并剔除網(wǎng)絡(luò)的冗余部分,同時(shí)最小化網(wǎng)絡(luò)性能的損失。本文圍繞剪枝提出兩種結(jié)構(gòu)化的剪枝方法用于對(duì)現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮,進(jìn)而達(dá)到加速的目的。本文具體的貢獻(xiàn)總結(jié)如下:1.為了解決現(xiàn)有的非結(jié)構(gòu)化剪枝方法難以獲得實(shí)際加速的問題,本文提出了一種結(jié)構(gòu)化的基于重要性的全局濾波器剪枝方法。該方法首先通過引入梯度信息,對(duì)多批次樣本訓(xùn)練過程中生成的梯度進(jìn)行統(tǒng)計(jì),并將歸一化后的統(tǒng)計(jì)值作為最終的濾波器重要性分?jǐn)?shù),利用重要性分?jǐn)?shù)可以評(píng)估移除濾波器對(duì)網(wǎng)絡(luò)性能帶來的影響。然后在此基礎(chǔ)上設(shè)置全局剪枝率構(gòu)建一個(gè)全局排名,通過全局排名可以高效的完成單次修剪。最后在重訓(xùn)練的過程中恢復(fù)網(wǎng)絡(luò)的性能。此外,該方法使用了一種分組剪枝的方式來解決剪枝Res Net時(shí)... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

被修剪的卷積濾波器與下一層特征映射圖和相關(guān)濾波器的關(guān)系

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論9第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論2.1卷積神經(jīng)網(wǎng)絡(luò)的基本概念2.1.1卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)最初是受到生物自然視覺認(rèn)知機(jī)制的啟發(fā)而來的。在上個(gè)世紀(jì)60年代左右，D.H.Hubel和T.N.Wiesel[42]提出貓的初級(jí)視覺系統(tǒng)中，單個(gè)神經(jīng)元僅在被稱為“感受野”的視野受限區(qū)域內(nèi)對(duì)刺激做出反應(yīng)。在此基礎(chǔ)上，K.Fukushima等[43]仿造生物的視覺皮層，提出了一種以“神經(jīng)認(rèn)知”命名的多層人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)認(rèn)知模型也被認(rèn)為是啟發(fā)了卷積神經(jīng)網(wǎng)絡(luò)的開創(chuàng)性研究。隨后，Y.LeCun等人利用反向傳播(BackPropagation,BP)算法來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，并將其成功用于手寫數(shù)字字符識(shí)別，從而形成了經(jīng)典的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)如圖2.1[7]所示。與傳統(tǒng)圖像識(shí)別算法需要分為預(yù)處理、特征提取與選擇等若干步驟不同，LeNet-5采用了“端到端”的學(xué)習(xí)方式，通過不同模塊的層層堆疊使得網(wǎng)絡(luò)可以直接從原始數(shù)據(jù)中學(xué)習(xí)其特征并最終完成任務(wù)，從此形成了當(dāng)代卷積神經(jīng)網(wǎng)絡(luò)的雛形。圖2.1LeNet-5結(jié)構(gòu)描述總體來說，卷積神經(jīng)網(wǎng)絡(luò)是一種層次結(jié)構(gòu)模型。它的輸入是圖像、音頻或文本等原始數(shù)據(jù)，通過卷積、池化和非線性激活函數(shù)映射等運(yùn)算操作的層層堆疊和組合，從原始數(shù)據(jù)輸入層中逐層抽取高層語(yǔ)義信息并進(jìn)行抽象，這一過程稱為“前向傳播”。其中，不同類型的運(yùn)算操作在卷積神經(jīng)網(wǎng)絡(luò)中通常被稱為“層”：卷積操作對(duì)應(yīng)“卷積層”，池化操作對(duì)應(yīng)“池化層”等。最后，卷積神經(jīng)網(wǎng)絡(luò)的最后一層將目標(biāo)任務(wù)（分類、回歸等）形式化為目標(biāo)函數(shù)，然后通過計(jì)算預(yù)測(cè)值和真實(shí)值之間的誤差或

重慶郵電大學(xué)碩士學(xué)位論文第2章卷積神經(jīng)網(wǎng)絡(luò)壓縮基礎(chǔ)理論13(a)第一次卷積操作與輸出特征(b)第二次卷積操作與輸出特征(c)第三次卷積操作與輸出特征(d)第九次卷積操作與輸出特征圖2.2卷積操作示例2.2.2池化層當(dāng)圖像數(shù)據(jù)的尺寸較大時(shí)，池化(pooling)層可以對(duì)其進(jìn)行“下采樣”(down-sampling)操作。池化結(jié)果中的一個(gè)元素對(duì)應(yīng)于原輸入數(shù)據(jù)的一塊子區(qū)域，因此池化操作相當(dāng)于在空間范圍內(nèi)進(jìn)行了維度約減，從而使模型可以提取更廣范圍的特征，同時(shí)壓縮了輸入的特征圖，導(dǎo)致下一層的參數(shù)減少，進(jìn)而簡(jiǎn)化了卷積神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)的復(fù)雜度。值得注意的是，在池化層中并沒有可以學(xué)習(xí)的參數(shù)，而池化操作與卷積操作類似，都需要設(shè)置窗口大小和步長(zhǎng)。池化操作最常用的形式是最大值池化(maxpooling)。如圖2.3所示，最大值池化從輸入特征圖中選取窗口，在每個(gè)窗口中選擇最大值，并丟棄所有其他值。在實(shí)踐中最大值池化通常使用2×2大小且步長(zhǎng)為2的過濾器，這會(huì)將原始特征圖的平面尺寸下采樣2倍。與高度和寬度不同，特征圖的深度尺寸是保持不變的。圖2.3最大值池化操作


本文編號(hào)：3292217