近年來,深度學習已經成為計算機視覺、語音識別和自然語言處理等機器學習任務的最先進的技術,在這些領域取得了突破性進展。盡管如此,深度學習算法是計算密集型和存儲密集型的,這使得它難以被部署到只有有限硬件資源的嵌入式系統上。因此,減少模型參數和計算量,壓縮模型尺寸,加快模型運算速度,具有重要的現實意義。本文提出了兩種基于通道剪枝的模型壓縮和加速算法和一個統一的通道剪枝壓縮框架。第一種是基于熵的通道剪枝方法,通過計算每層中各通道激活張量的熵值,評估該通道包含信息量的大小,進而評估通道的重要程度,對熵值得分排序,剪去熵值比較低的通道,從而達到壓縮和加速模型的目的。第二種是基于最優(yōu)子集的通道剪枝方法,每層中的激活張量既是上層卷積層的輸出,又是下層卷積層的輸入,通過貪心算法求解它的一個最優(yōu)子集,使得該子集能夠最大限度地近似原來的激活張量,輸入到下層卷積層中產生相同的輸出,這樣就可以剪去其它的通道從而壓縮和加速模型。在剪枝過程中,采用的是逐層剪枝微調的策略,每次只剪枝一層,盡可能地減少性能損失;每次剪枝后對模型進行一次微調訓練,盡可能地恢復模型性能;每層的剪枝交替迭代進行,最后一次剪枝進行一次細致的微... 

【文章來源】：廈門大學福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：75 頁

【學位級別】：碩士

【部分圖文】：

圖１－１量化和權值共享示意圖??

深度學習之所以能夠取得優(yōu)秀的效果，很大程度上在于其強大的非線性表達??能力。深度神經網絡層與層之間相互連接，每層會包含一個非線性的激活函數，??因此每層會提取出復雜的特征，這些特征又會作為下層的輸入數據，產生下一層??的非線性特征，直到最終輸出一組表達能力強大的特征，淺層網絡往往無法表征??如此復雜的函數。實際上，深度神經網絡模擬了一個復雜的非線性函數，它通常??是非凸的，難以進行優(yōu)化，使用隨機梯度下降法可以很好的找到網絡的局部最優(yōu)??解。Ｈｉｎｔｏｎ、ＬｅＣｕｎ、Ｂｅｎｇｉ〇［２８］研宄結果表明，損失函數的局部極值問題對深層??網絡影響甚微，這是因為批量隨機梯度下降法很難陷入局部最優(yōu)，即使陷進去，??其局部最小值與全局最小值也非常接近。一個簡單的三層神經網絡的模型如圖２－??３所示。??

數學模喟?Ｍ??圖２－２深度學習發(fā)展歷程??深度學習之所以能夠取得優(yōu)秀的效果，很大程度上在于其強大的非線性表達??能力。深度神經網絡層與層之間相互連接，每層會包含一個非線性的激活函數，??因此每層會提取出復雜的特征，這些特征又會作為下層的輸入數據，產生下一層??的非線性特征，直到最終輸出一組表達能力強大的特征，淺層網絡往往無法表征??如此復雜的函數。實際上，深度神經網絡模擬了一個復雜的非線性函數，它通常??是非凸的，難以進行優(yōu)化，使用隨機梯度下降法可以很好的找到網絡的局部最優(yōu)??解。Ｈｉｎｔｏｎ、ＬｅＣｕｎ、Ｂｅｎｇｉ〇［２８］研宄結果表明，損失函數的局部極值問題對深層??網絡影響甚微


本文編號：3548690