近年來,深度神經(jīng)網(wǎng)絡在計算機視覺、自然語言處理和文本數(shù)據(jù)等各個領域取得卓越成就。但隨之而來的問題是深度神經(jīng)網(wǎng)絡隨著模型加深和過度參數(shù)化,其網(wǎng)絡規(guī)模、計算量、耗電量、存儲量都在成倍增加,最終導致超大體系結(jié)構(gòu)計算效率較低。尤其是對于具有受限計算和能力資源的應用程序,例如Web服務、移動和嵌入式設備。針對深度學習架構(gòu)在計算上昂貴且占用大量內(nèi)存,無法部署在內(nèi)存資源低的設備(如手機)或移動端的問題,本文提出了一種基于剪枝與乘積量化組合使用對多種不同深度神經(jīng)網(wǎng)絡進行深度壓縮的方法,解決深度神經(jīng)網(wǎng)絡中冗余參數(shù)過多,模型存儲量大等問題。本文壓縮網(wǎng)絡的第一步是先正常搭建并訓練好網(wǎng)絡保存最佳參數(shù)模型。第二步即利用剪枝方法先閾值掃描確定閾值將網(wǎng)絡權重矩陣中低于確定閾值的權重連接剪開減少深度神經(jīng)網(wǎng)絡中冗余參數(shù),然后重新再訓練網(wǎng)絡補償損失的性能,再利用乘積量化聚類實現(xiàn)權值共享,犧牲少部分精度,使得神經(jīng)網(wǎng)絡模型的參數(shù)量化為8bit,節(jié)省了網(wǎng)絡的內(nèi)存開銷,提高了網(wǎng)絡的壓縮比和加速比。在基于GPU的Pytorch框架環(huán)境下,本文提出的方法在盡量不損失精度的前提下將LeNet-5、MLP、AlexNet、ResNet 和 VggNet-16 網(wǎng)絡模型在 Mnist 或 CIFAR-10 等數(shù)據(jù)集實驗下壓縮至23至59倍,同時實現(xiàn)了 1.52至3.3倍的加速比,比單獨剪枝壓縮提高了至少一倍的壓縮率,同時乘積量化相比Kmeans量化加速比提高了一倍以上。實驗結(jié)果表明通過基于乘積量化結(jié)合剪枝的壓縮方法,使得卷積神經(jīng)網(wǎng)絡在盡量不損失精度的要求下壓縮比和加速比得到大幅度提升,從而讓深度神經(jīng)網(wǎng)絡方法應用于嵌入式平臺成為了可能。
【學位單位】：西安理工大學
【學位級別】：碩士
【學位年份】：2020
【中圖分類】：TP391.41;TP183
【部分圖文】：

西安理工大學工程碩士專業(yè)學位論文8腦（神經(jīng)網(wǎng)絡），大腦不間斷地獲取信息并整合后發(fā)出合適的指令，神經(jīng)網(wǎng)絡的效應器接收到中樞的電信號后作出輸出反應。圖2-1神經(jīng)系統(tǒng)的框圖圖Fig.2-1NervousSystem按照這個原理，激發(fā)了研究學者用神經(jīng)系統(tǒng)作為類比的靈感，在已知的神經(jīng)系統(tǒng)的結(jié)構(gòu)和工作原理基礎上，1943年，McCulloch，Pitts等人引入PM模型[49]（取自兩個提出者的姓名首字母）的概念，它的數(shù)學模型如圖2-2所示。模擬神經(jīng)細胞行為，該模型雖然簡單但證明了PM模型可以實現(xiàn)簡單的邏輯表達式，為后來開發(fā)新的的神經(jīng)網(wǎng)絡研究步驟奠定了基矗當前的神經(jīng)網(wǎng)絡最開始就是以PM模型為參考來深入的。圖2-2人工神經(jīng)元數(shù)學模型Fig.2-2Artificialneuronmathematicalmodel具體的數(shù)學公式見式（2-1）：jiniijjTtxwftO)]([)1(1（2-1）其中，nix),...2,1(i是多個輸入數(shù)據(jù)，ijw代表從神經(jīng)元i到神經(jīng)元j的連接權值，權值為神經(jīng)元之間連接的強度，權值大小有正有負。正為加強，負為抑制。sigma表示求和，用于求全部輸入信號得到的累加整合，jO為輸出。f)(稱為激活函數(shù)，它可以看作濾波器，接收外界各種各樣的信號，通過調(diào)整函數(shù)，使神經(jīng)元輸出的期望值固定在一定范圍內(nèi)，所以也叫壓制函數(shù)。典型的壓制函數(shù)有閾值函數(shù)、分段函數(shù)、雙極性連續(xù)函數(shù)sigmoid函數(shù)和tanh函數(shù)、徑向基函數(shù)、ReLU函數(shù)、softplus函數(shù)等，它是神經(jīng)網(wǎng)絡的重要組成部分。對應的公式為：xexsigmoid11)(（2-2）

相關理論基礎9xxxxeeeextanh(）（2-3）xxLU),0max()(Re（2-4）)1log()(xexsoftplus（2-5）表2-1可以看到生物神經(jīng)元和PM模型的類比：表2-1生物神經(jīng)元與MP模型比較Tab.2-1ComparisonofbiologicalneuronsandMPmodels生物神經(jīng)元神經(jīng)元輸入信號權值輸出總和膜電位閾值MP模型jixijwjo)(1txwiniijjT由PM模型的示意圖，我們可以看到與生物神經(jīng)元的相似之處，往后誕生的各種神經(jīng)元模型都是由PM模型演變過來。1957年Rosenblatt將兩層神經(jīng)元搭建成單層神經(jīng)網(wǎng)絡，這就是感知機[50]的初步由來。感知機的提出引發(fā)了神經(jīng)網(wǎng)絡的深入研究，為之后很多機器學習算法如支持向量機甚至深度學習算法提供了新思路。區(qū)別于PM模型的是感知機的權值能夠變化，如此便可訓練學習。具體模型結(jié)構(gòu)如圖2-3所示。它包含三個過程：首先是輸入信號線性加權求和過程，然后是非線性激活函數(shù)壓制過程，同時利用偏差b來調(diào)整激活函數(shù)的網(wǎng)絡輸入，最后輸出jO過程。因為感知機的返回值只有兩種情況，所以單層感知機被設計用來對輸入進行二分類，當感知器輸出1時，輸入為一類；當輸出為1-時，輸入為另一類。另外，感知機是一種最簡潔的前饋型神經(jīng)網(wǎng)絡，沒有任何隱藏層，其缺點是只能學習線性決策邊界，只能用于二類線性分類的情況。最簡單的XOR函數(shù)也不能被線性分類器分類。這是激活函數(shù)限制的原因，所以解決辦法就是通過改進激活函數(shù)（將分類線由直線改為如橢圓線的曲線）或者加深神經(jīng)網(wǎng)絡的層數(shù)（增加1條或多條直線條數(shù)來分類）。普遍做法是增加層數(shù)，于是有了多層感知器[51]。圖2-3感知機的基本結(jié)構(gòu)單元Fig.2-3Thebasicstructuralunitoftheperceptron

西安理工大學工程碩士專業(yè)學位論文10通過在輸入層和輸出層之間增加一個或多個隱含層，且每層的神經(jīng)元都與下一層中的所有其他神經(jīng)元相連，這種結(jié)構(gòu)稱作多層感知器如圖2-4所示，起源于1958年。其中隱藏層儲存了無法直接在訓練數(shù)據(jù)中觀察到的值，顯然隱藏層的加入，可以形成將樣本正確分類的凸域，相比單層感知器，多層感知器將不同的方法連接作用在不同的激活函數(shù)上，方便網(wǎng)絡學習非線性決策邊界，從而使多層感知器具有更強大的擬合能力，為復雜問題提供了簡單的解決方案。但層數(shù)的增多帶來隱含層的權值訓練問題，單層感知器通過更新權重和修正誤差來學習確定連接，然而，多層感知器因為層數(shù)多，不能跨層調(diào)整，無法進行多層訓練。直到出現(xiàn)誤差反向傳播算法[52]圖2-4多層感知機Fig.2-4MultilayerPerceptron直到誤差反向傳播神經(jīng)網(wǎng)絡即BP神經(jīng)網(wǎng)絡誕生，神經(jīng)網(wǎng)絡多層難訓練才有了解決辦法。簡單來說，BP神經(jīng)網(wǎng)絡引入了前向傳播和反向傳播的概念提升了網(wǎng)絡訓練的計算能力。具體過程如圖2-5所示，網(wǎng)絡訓練的過程如下：1）隨機分配所有邊的權重；2）前饋階段：將訓練集樣本特征輸入，計算激活函數(shù)，經(jīng)過輸入層、隱藏層、輸出層直到輸出預測值hatY；3）反饋階段：將輸出值hatY與樣本值Y比較，使用梯度下降法優(yōu)化代價函數(shù)2)(211),hatYYn（bwJ，利用差異反向傳播調(diào)整連接權重，更新權重；4）重復2）到3）直到輸出誤差低于制定標準。
【相似文獻】

相關期刊論文 前10條

1 段秉環(huán);文鵬程;李鵬;;面向嵌入式應用的深度神經(jīng)網(wǎng)絡壓縮方法研究[J];航空計算技術;2018年05期

2 姜懿家;;卷積神經(jīng)網(wǎng)絡的壓縮研究[J];電子制作;2019年02期

3 李杰;孫仁誠;;幾種典型卷積神經(jīng)網(wǎng)絡的權重分析與研究[J];青島大學學報(自然科學版);2019年04期

4 劉佩林;張鈺玲;;基于卷積神經(jīng)網(wǎng)絡的語音識別分析[J];電腦迷;2017年01期

5 代耀彬;朱燕燕;黃雙華;;基于卷積神經(jīng)網(wǎng)絡的群眾留言分類[J];無線互聯(lián)科技;2020年12期

6 馮偉業(yè);廖可非;歐陽繕;牛耀;;基于膠囊神經(jīng)網(wǎng)絡的合成孔徑雷達圖像分類方法[J];科學技術與工程;2019年28期

7 李蓮;丁文寬;;基于卷積神經(jīng)網(wǎng)絡的辣椒識別[J];天津理工大學學報;2017年03期

8 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡大會述評[J];國際學術動態(tài);1996年01期

9 王方;苗放;陳墾;;基于優(yōu)化神經(jīng)網(wǎng)絡的地質(zhì)災害監(jiān)測預警仿真[J];計算機仿真;2019年11期

10 馬猛;王明紅;;基于進化神經(jīng)網(wǎng)絡的304不銹鋼車削加工表面粗糙度預測[J];輕工機械;2019年06期

相關博士學位論文 前10條

1 肖理業(yè);基于機器學習的電磁場建模與設計研究[D];電子科技大學;2019年

2 陳涵瀛;核電站熱工水力系統(tǒng)工況預測與診斷方法研究[D];哈爾濱工程大學;2018年

3 梁智杰;聾啞人手語識別關鍵技術研究[D];華中師范大學;2019年

4 劉昂;微結(jié)構(gòu)硅基光子學器件性能的研究[D];南京大學;2019年

5 趙博雅;基于卷積神經(jīng)網(wǎng)絡的硬件加速器設計及實現(xiàn)研究[D];哈爾濱工業(yè)大學;2018年

6 杜昌順;面向細分領域的輿情情感分析關鍵技術研究[D];北京交通大學;2019年

7 陳科海;機器翻譯上下文表示方法研究[D];哈爾濱工業(yè)大學;2019年

8 饒紅霞;信息受限下神經(jīng)網(wǎng)絡的狀態(tài)估計和擬同步研究[D];廣東工業(yè)大學;2019年

9 張馬路;Spiking機器學習算法研究[D];電子科技大學;2019年

10 付錢華;憶阻神經(jīng)網(wǎng)絡的動力學研究[D];電子科技大學;2019年

相關碩士學位論文 前10條

1 方秀勤;基于乘積量化的深度神經(jīng)網(wǎng)絡壓縮方法[D];西安理工大學;2020年

2 李永禮;基于脈沖神經(jīng)網(wǎng)絡的視覺圖像分類方法研究[D];北京化工大學;2019年

3 王征韜;深度神經(jīng)網(wǎng)絡壓縮與優(yōu)化研究[D];電子科技大學;2017年

4 張繼剛;基于神經(jīng)網(wǎng)絡編解碼的遠程桌面的設計與實現(xiàn)[D];山東大學;2020年

5 何龍;網(wǎng)約車用戶滿意度的LDA-神經(jīng)網(wǎng)絡分類[D];重慶大學;2019年

6 樊志文;基于深度卷積神經(jīng)網(wǎng)絡的CS-MRI重建方法研究[D];廈門大學;2019年

7 馮冰;基于深度學習的環(huán)境聲音分類研究[D];廈門大學;2017年

8 柴志忠;基于深度卷積神經(jīng)網(wǎng)絡的病理影像研究[D];廈門大學;2019年

9 代光海;基于神經(jīng)網(wǎng)絡的運動想象腦電信號識別技術研究[D];電子科技大學;2020年

10 劉曉瑜;基于卷積神經(jīng)網(wǎng)絡的新鮮-冷凍豬肉近紅外光譜檢測研究[D];湖南大學;2019年

本文編號：2889212