本文提出了一種基于深度學(xué)習(xí)模型壓縮的竹種分類方法,旨在將壓縮后的模型移植到手機端進(jìn)行竹種自動分類.首先動態(tài)設(shè)置閾值刪除已經(jīng)訓(xùn)練的竹種分類模型中不重要權(quán)重,迭代剪枝與再訓(xùn)練同時進(jìn)行.再通過K-Means++聚類算法對神經(jīng)網(wǎng)絡(luò)各層的權(quán)值聚類,從而實現(xiàn)權(quán)值共享,最后再經(jīng)過量化模型的參數(shù)值壓縮神經(jīng)網(wǎng)絡(luò)模型.實驗結(jié)果表明:剪枝后的模型相較剪枝前的模型內(nèi)存占用降低了46.4%.剪枝后模型進(jìn)行量化后模型壓縮了75%.壓縮后的模型整體運行速度提升,其中基于AlexNet網(wǎng)絡(luò)結(jié)構(gòu)相較于VGGNet-16的竹種分類模型壓縮后可更好應(yīng)用到移動端,為離線狀態(tài)下基于移動端進(jìn)行分類提供支撐. 

【文章來源】：復(fù)旦學(xué)報(自然科學(xué)版). 2020,59(06)北大核心CSCD

【文章頁數(shù)】：8 頁

【部分圖文】：

基于VGGNet-16深度竹種網(wǎng)絡(luò)結(jié)構(gòu)

本文通過動態(tài)設(shè)置閾值的方法，避免在某些卷積層不必要的閾值保留．標(biāo)識為true的權(quán)值即為之前剪枝過程中被剪除的，在重新訓(xùn)練的過程中，這一部分權(quán)值不會隨著訓(xùn)練而更新，這樣，其他權(quán)值可以繼續(xù)得到訓(xùn)練，而模型依然保持剪枝的稀疏性．剪除對神經(jīng)網(wǎng)絡(luò)模型影響較小的權(quán)值，從而降低模型中的不重要權(quán)值，減少模型存儲的容量，提高竹種分類模型的運行效率．通過實驗表明，權(quán)值的減少會帶來竹種分類精度的減低．本文試驗通過掩膜矩陣的方式實現(xiàn)了剪枝模型的重新學(xué)習(xí)，對于每一個被修剪的層，在被剪枝的層中，會加入一個二元掩碼矩陣，該矩陣是和此層權(quán)重大小形狀相同．該矩陣的作用是標(biāo)志該位置的權(quán)值在之前的剪枝過程中是否被剪除，該矩陣的內(nèi)容隨之前的剪枝過程而保存．圖2是掩膜矩陣的原理圖．在重新訓(xùn)練的過程中，權(quán)值會按照絕對值大小排列，在訓(xùn)練過程中通過將掩碼置0來達(dá)到期望的稀疏度．掩碼置0的權(quán)值會被剪除，不會隨著訓(xùn)練更新．M沒有被剪除的權(quán)重繼續(xù)訓(xùn)練，剪枝和訓(xùn)練同時進(jìn)行．可以保存竹種分類剪枝模型的稀疏性．指定好稀疏度后，下一步是閾值的設(shè)定．在剪枝過程中閾值是動態(tài)變化的，可自動設(shè)置剪枝從哪一步開始到哪一步結(jié)束，并且可設(shè)置多少步剪一次即剪枝頻率．本文在不斷試驗中，得到初始稀疏度為0.5到最終稀疏度0.9，從開始步數(shù)到結(jié)束步數(shù)剪枝，且每100步剪枝效果相對最好．公式（7）是結(jié)束步數(shù)計算公式．

訓(xùn)練竹種圖像數(shù)據(jù)分類實驗中，采用Python編程，Python是一種簡單易懂，功能強大的腳本編程語言[19]．在實驗室服務(wù)器上運行．服務(wù)器硬件環(huán)境為Intel(R)Xeon(R)CPU E5-2630v4@2.20GHz,128G內(nèi)存，兩張16G顯存，使用VGGNet-16網(wǎng)絡(luò)結(jié)構(gòu)和AlexNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練．本實驗中竹種圖像數(shù)據(jù)集來源于徽省宣城市廣德縣橫山國家森林公園，共計9類竹種（圖3）．為了使分類結(jié)果更具有普遍性，本實驗的竹種圖片采取各種角度拍攝，竹種高矮，粗細(xì)，竹竿大小，竹葉紋理，距離遠(yuǎn)近皆有，每種拍攝40張．對40張原圖片進(jìn)行旋轉(zhuǎn)、平移、錯切變換、放大、翻轉(zhuǎn)5種增強操作以增加竹種樣本的多樣性，這樣每張原圖片擴充為14張，加上原圖一共15張。增強后的數(shù)據(jù)集中訓(xùn)練集有圖片3 780張，測試集有圖片1 620張。3.2 模型訓(xùn)練與壓縮分析

【參考文獻(xiàn)】：
期刊論文
[1]一種優(yōu)化的SVM竹類屬種識別方法[J]. 李欣,許高建,李紹穩(wěn).  重慶科技學(xué)院學(xué)報(自然科學(xué)版). 2017(05)
[2]卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 周飛燕,金林鵬,董軍.  計算機學(xué)報. 2017(06)
[3]深度學(xué)習(xí)研究綜述[J]. 孫志軍,薛磊,許陽明,王正.  計算機應(yīng)用研究. 2012(08)
[4]我國竹類研究展望和竹林生境利用[J]. 傅懋毅,楊校生.  竹子研究匯刊. 2003(02)
[5]《中國植物志》九卷一分冊（禾本科－竹亞科）編后記[J]. 耿伯介,王正平.  竹子研究匯刊. 1996(01)

碩士論文
[1]深度神經(jīng)網(wǎng)絡(luò)壓縮與優(yōu)化研究[D]. 王征韜.電子科技大學(xué) 2017



本文編號：3238564