近年來,隨著深度學(xué)習(xí)的飛速發(fā)展,深度神經(jīng)網(wǎng)絡(luò)受到了越來越多的關(guān)注,在許多應(yīng)用領(lǐng)域取得了顯著效果。通常,在較高的計(jì)算量下,深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力隨著網(wǎng)絡(luò)層深度的增加而不斷提高,因此深度神經(jīng)網(wǎng)絡(luò)在大型數(shù)據(jù)集上的表現(xiàn)非常卓越。然而,由于其計(jì)算量大、存儲成本高、模型復(fù)雜等特性,使得深度學(xué)習(xí)無法有效地應(yīng)用于輕量級移動便攜設(shè)備。因此,壓縮、優(yōu)化深度學(xué)習(xí)模型成為目前研究的熱點(diǎn)。當(dāng)前主要的模型壓縮方法有模型裁剪、輕量級網(wǎng)絡(luò)設(shè)計(jì)、知識蒸餾、量化、體系結(jié)構(gòu)搜索等。對以上方法的性能、優(yōu)缺點(diǎn)和最新研究成果進(jìn)行了分析總結(jié),并對未來研究方向進(jìn)行了展望。 

【文章來源】：計(jì)算機(jī)科學(xué)與探索. 2020,14(09)北大核心

【文章頁數(shù)】：15 頁

【部分圖文】：

模型壓縮分類

在MobileNet網(wǎng)絡(luò)中使用3×3深度卷積，其計(jì)算量比標(biāo)準(zhǔn)卷積下降89%左右，同時(shí)精度下降很少。此外，算法中還引入了一個(gè)寬度因子α來縮減網(wǎng)絡(luò)寬度而不是縮減層數(shù)。與標(biāo)準(zhǔn)卷積相比，深度分離卷積使得模型在ImageNet數(shù)據(jù)集上的精度只降低1個(gè)百分點(diǎn)，同時(shí)參數(shù)規(guī)模減少了86%。MobileNet V2[50]模型是對MobileNet的改進(jìn)，該模型中引入了殘差結(jié)構(gòu)，使用線性激活函數(shù)代替ReLU激活函數(shù)來減少特征損失，從而提升了MobileNet的性能。4.2.2 ShuffleNet

Channel Shuffle結(jié)構(gòu)

【參考文獻(xiàn)】：
期刊論文
[1]一種用于卷積神經(jīng)網(wǎng)絡(luò)壓縮的混合剪枝方法[J]. 靳麗蕾,楊文柱,王思樂,崔振超,陳向陽,陳麗萍.  小型微型計(jì)算機(jī)系統(tǒng). 2018(12)
[2]神經(jīng)網(wǎng)絡(luò)模型壓縮方法綜述[J]. 曹文龍,芮建武,李敏.  計(jì)算機(jī)應(yīng)用研究. 2019(03)
[3]基于權(quán)值相似性的神經(jīng)網(wǎng)絡(luò)剪枝[J]. 黃聰,常滔,譚虎,呂紹和,王曉東.  計(jì)算機(jī)科學(xué)與探索. 2018(08)
[4]帶比例因子的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法[J]. 徐喆,宋澤奇.  計(jì)算機(jī)工程與應(yīng)用. 2018(12)



本文編號：3027150