隨著深度學(xué)習(xí)的研究和發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺等領(lǐng)域取得了突破性的進(jìn)展。然而卷積神經(jīng)網(wǎng)絡(luò)中存在大量參數(shù),需要占用較多的計算和存儲資源,這導(dǎo)致模型難以部署在資源有限的移動設(shè)備上。為了減少模型對硬件資源的消耗,卷積神經(jīng)網(wǎng)絡(luò)剪枝壓縮技術(shù)被廣泛研究。目前關(guān)于剪枝方法的研究中,基于參數(shù)重要性的剪枝和基于參數(shù)稀疏性的剪枝是兩個重要的研究方向。本文針對這兩個方向的主要研究內(nèi)容如下:提出一種基于注意力機(jī)制的參數(shù)重要性衡量算法,該算法借助注意力模塊,給卷積神經(jīng)網(wǎng)絡(luò)中同層濾波器的輸出通道賦予權(quán)重,并以此計算濾波器重要性,在濾波器級別指導(dǎo)網(wǎng)絡(luò)剪枝。實(shí)驗(yàn)結(jié)果表明,在相同剪枝比例下,本文提出的算法可以獲得更高的準(zhǔn)確率。在基于參數(shù)稀疏性的剪枝方面,提出一種基于正則化的全局剪枝算法,解決如何自適應(yīng)地控制卷積神經(jīng)網(wǎng)絡(luò)中各層剪枝比例的問題。通過對通道權(quán)重應(yīng)用L1正則化,將權(quán)重趨近于0的通道移除。使卷積神經(jīng)網(wǎng)絡(luò)自主地進(jìn)行通道級別的特征選擇,增強(qiáng)結(jié)構(gòu)稀疏性。此外,針對Tensorflow框架下基于掩膜運(yùn)算的剪枝在性能上的缺陷,本文提出一種能夠有效實(shí)現(xiàn)參數(shù)裁剪效果的剪枝方法。實(shí)驗(yàn)結(jié)果表明,基于正則化的全局剪枝方法能夠進(jìn)一... 

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 基于參數(shù)重要性剪枝的研究現(xiàn)狀
        1.2.2 基于參數(shù)稀疏性剪枝的研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文組織架構(gòu)
第二章 基于注意力機(jī)制的參數(shù)重要性衡量方法
    2.1 問題描述
    2.2 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 全連接層
        2.2.2 卷積層
        2.2.3 池化層
        2.2.4 損失函數(shù)
    2.3 濾波器級別的剪枝
    2.4 濾波器重要性衡量方法
        2.4.1 注意力模塊
        2.4.2 通道重要性得分計算
        2.4.3 剪枝步驟
    2.5 實(shí)驗(yàn)和結(jié)果分析
        2.5.1 數(shù)據(jù)集和模型
        2.5.2 CIFAR-10數(shù)據(jù)集結(jié)果
        2.5.3 CIFAR-100數(shù)據(jù)集結(jié)果
    2.6 本章小結(jié)
第三章 基于正則化的全局剪枝方法
    3.1 問題描述
    3.2 基于正則化的全局剪枝方法
        3.2.1 正則化技術(shù)
        3.2.2 剪枝步驟
    3.3 改進(jìn)的Tensorflow剪枝方法
    3.4 實(shí)驗(yàn)和結(jié)果分析
        3.4.1 數(shù)據(jù)集和模型
        3.4.2 縮放因子分布
        3.4.3 CIFAR-10數(shù)據(jù)集結(jié)果
    3.5 本章小結(jié)
第四章 基于壓縮神經(jīng)網(wǎng)絡(luò)的植物識別應(yīng)用的設(shè)計與實(shí)現(xiàn)
    4.1 系統(tǒng)需求分析
        4.1.1 開發(fā)環(huán)境
        4.1.2 功能需求
    4.2 系統(tǒng)概要設(shè)計
    4.3 數(shù)據(jù)庫設(shè)計
    4.4 系統(tǒng)詳細(xì)設(shè)計
        4.4.1 植物識別模塊
        4.4.2 動態(tài)發(fā)布和查看模塊
    4.5 系統(tǒng)實(shí)現(xiàn)
        4.5.1 植物識別模塊
        4.5.2 動態(tài)發(fā)布和查看模塊
    4.6 系統(tǒng)測試
        4.6.1 功能測試
        4.6.2 性能測試
    4.7 本章小結(jié)
第五章 總結(jié)和展望
    5.1 總結(jié)
    5.2 展望
參考文獻(xiàn)
致謝
作者攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄


【參考文獻(xiàn)】：
期刊論文
[1]語音識別的研究與發(fā)展[J]. 何湘智.  計算機(jī)與現(xiàn)代化. 2002(03)



本文編號：3693067