近幾年,深度神經(jīng)網(wǎng)絡(luò)因其出色的特征提取能力,在計算機視覺、自然語言處理等領(lǐng)域都取得了突破性的進展。深度神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展也不斷帶動著其在工程領(lǐng)域的廣泛應(yīng)用,但深度神經(jīng)網(wǎng)絡(luò)在性能提升的同時也帶來了模型計算復雜度增加、模型存儲密集等問題,這限制了其在資源受限的嵌入式設(shè)備上的應(yīng)用。模型權(quán)重剪枝作為模型壓縮的一種有效方法,就是為了解決以上問題。本文關(guān)于模型權(quán)重剪枝的工作主要歸納如下:1.介紹了模型壓縮基本框架,并對目前國內(nèi)外模型壓縮研究現(xiàn)狀進行調(diào)研,總結(jié)分析了各種方法的優(yōu)勢和不足。2.提出了基于間隔閾值搜索的自適應(yīng)剪枝及其改進算法。目前的剪枝算法大都以剪枝率指導模型剪枝,這需要不停手動嘗試不同剪枝率以獲得最佳模型,耗時且低效。針對該問題,本文提出的算法以模型準確率指導模型剪枝,通過設(shè)定準確率下降閾值的方法不僅保證了模型準確率損失在給定范圍內(nèi),同時在工程領(lǐng)域?qū)蚀_率要求不同的應(yīng)用場景,也可自適應(yīng)進行準確率調(diào)節(jié)以達到盡可能好的剪枝效果。該算法首先在參數(shù)的絕對值極值范圍內(nèi)設(shè)定等間隔值,然后對這些間隔值通過網(wǎng)格搜索方法找到準確率下降滿足要求的最佳剪枝閾值,從而實現(xiàn)模型自適應(yīng)剪枝。在此基礎(chǔ)上,本文結(jié)合二... 

【文章來源】：電子科技大學四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：73 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 深度學習的研究現(xiàn)狀
        1.2.2 模型壓縮的研究現(xiàn)狀
    1.3 本文研究內(nèi)容
    1.4 本文組織結(jié)構(gòu)
第二章 模型壓縮基礎(chǔ)理論
    2.1 模型壓縮基本框架
    2.2 模型預(yù)訓練
        2.2.1 深度神經(jīng)網(wǎng)絡(luò)基本特點
        2.2.2 深度神經(jīng)網(wǎng)絡(luò)基本組成
    2.3 模型剪枝
        2.3.1 剪枝粒度
        2.3.2 剪枝評價
    2.4 模型存儲
    2.5 本章小結(jié)
第三章 基于閾值搜索的空域剪枝算法
    3.1 空域剪枝算法整體框架介紹
    3.2 基于間隔閾值搜索的自適應(yīng)剪枝
        3.2.1 間隔閾值搜索
        3.2.2 間隔數(shù)設(shè)置
    3.3 基于二分結(jié)合閾值搜索的自適應(yīng)剪枝
        3.3.1 二分結(jié)合的間隔閾值搜索
        3.3.2 誤剪參數(shù)動態(tài)恢復
    3.4 實驗結(jié)果與分析
        3.4.1 實驗數(shù)據(jù)集
        3.4.2 實驗設(shè)置
        3.4.3 實驗結(jié)果
    3.5 本章小結(jié)
第四章 基于離散余弦變換的頻域剪枝算法
    4.1 頻域剪枝算法整體框架介紹
    4.2 深度神經(jīng)網(wǎng)絡(luò)在頻域上的變換
        4.2.1 頻域變換
        4.2.2 頻域剪枝分析
    4.3 基于離散余弦變換的頻域剪枝
        4.3.1 結(jié)合閾值搜索的頻域剪枝
        4.3.2 數(shù)據(jù)驅(qū)動的頻域剪枝
    4.4 實驗結(jié)果與分析
        4.4.1 實驗設(shè)置
        4.4.2 實驗結(jié)果
        4.4.3 稀疏存儲
    4.5 本章小結(jié)
第五章 全文總結(jié)與展望
    5.1 全文總結(jié)
    5.2 后續(xù)工作展望
致謝
參考文獻
攻讀專業(yè)碩士學位期間取得的成果



本文編號：3307922