【摘要】：深度學習,一種利用深度神經網絡(Deep Neural Network,簡稱DNN)從數據中學習的機器學習算法,在最近幾年正成為圖像分類、語音識別和自然語言處理等領域的主流算法。然而現有的深度網絡模型參數眾多,導致其具有占用存儲空間大和推斷速度慢等缺點,從而限制了DNN在硬件條件有限的終端如手機和可穿戴智能設備上的應用。為了解決這個問題研究者提出了很多壓縮和加速DNN的方法,其中剪枝(Pruning)是一類簡單但非常有效的方法。剪枝即在維持DNN性能不下降的條件下刪除某些不重要的部分。根據刪除對象的不同,剪枝可分為權值剪枝和神經元剪枝,前者刪除DNN中不重要的權值,而后者刪除DNN中不重要的神經元。盡管DNN剪枝正受到越來越多研究者的關注,但仍有很多重要問題沒有得到很好的研究。其中有三個問題是本文覺得需要迫切解決的:1)如何使DNN訓練與剪枝同時進行的問題;2)如何設計更高效的神經元剪枝算法的問題;3)如何在特定任務上應用DNN剪枝的問題。本文針對這3個問題展開了研究,本文的主要貢獻有:1.本文提出了一種可以使DNN訓練和剪枝同時進行的方法。以往的DNN剪枝方法依賴于一個預先訓練好的參考模型,即顯式的分為訓練和剪枝兩個階段,然而訓練DNN本身是一個費時費力的過程。本文通過分析剪枝閾值對整個剪枝算法的重要作用,提出了一種基于可變閾值的從頭剪枝方法(Pruning from scratch)。在該方法中,剪枝閾值不僅可以根據DNN訓練進行動態(tài)改變,而且可以自適應于DNN訓練過程中權值的分布變化,從而在訓練完成的同時完成對DNN權值的剪枝。2.本文提出了一種新的基于優(yōu)化非線性重構誤差的逐層剪枝神經元的方法(Layer-wise Neuron Pruning based on Nonlinear Reconstruction Error,簡稱LNP-NRE)。與以往的逐層剪枝神經元方法使用的線性重構誤差不同的是,非線性重構誤差考慮了DNN中的非線性激活函數,因而是一個更加合理的優(yōu)化目標�；诖藘�(yōu)化目標,本文提出了一種新的逐層剪枝神經元算法LNP-NRE。實驗結果證明了LNP-NRE在相同水平的準確率損失下,可以比現有方法剪枝更多的神經元。3.本文針對細粒度圖像分類任務,提出了基于注意力機制的卷積神經網絡通道剪枝的方法(Attention-based Channel Pruning,簡稱ACP)。卷積神經網絡(Convolutional Neural Network,簡稱CNN)是DNN中專門用于處理圖像相關任務的網絡模型,CNN通道剪枝與DNN神經元剪枝相對應。剪枝后的網絡通常運行在像手機或可穿戴設備這樣的個人設備上,這就意味著在剪枝的實際使用場景中,小規(guī)模細粒度分類任務占的比例更大。然而,由于數據量的缺乏,直接在此類任務上訓練CNN會導致嚴重的過擬合,因此本文首先通過遷移學習把在通用任務上訓練的CNN遷移到細粒度分類任務上,然后通過注意力機制與稀疏正則化方法的聯合使用對CNN中的冗余通道進行剪枝。實驗結果驗證了ACP方法的有效性。
【圖文】：

邐邐逡逑議邐國際神經信息處理系統會議（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，簡稱ＮＩＰＳ）的投稿量逐年上漲（如圖１．２所示），在最近６年上漲了近４逡逑倍；近兩年，包括中科院大學、南京大學在內眾多頂尖高校成立了人工智能學院，逡逑深度學習是其中的重要研究內容。在工業(yè)界，一方面?zhèn)鹘y大公司紛紛組建與深逡逑度學習相關的研究機構，如百度成立的深度學習研究院，谷歌收購的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度學習為基礎技術的創(chuàng)業(yè)公司如雨后春筍般層出不窮，如機器視逡逑覺領域的商湯科技、曠視科技，語音識別領域的科大訊飛，智能客服領域的微軟逡逑小冰、蘋果Ｓｉｒｉ，神經網絡芯片領域的寒武紀科技，，以及在智能醫(yī)療領域致力于逡逑將深度學習和醫(yī)療影像相結合的羽醫(yī)甘藍等。逡逑深度學習不僅受到廣泛關注，越來越多與深度學習相關的產品正在走入我逡逑們的生活�，F在的智能手機是人們每天花費時間最多的設備，圖１．３列出了一些逡逑以深度學習為基礎技術的Ａｐｐ�？梢钥吹�，這些Ａｐｐ涉及生活中方方面面，如逡逑在娛樂方面基于圖像理解的美圖秀秀、Ｆａｃｅｕ激萌和Ｐｒｉｓｍａ，在學習方面基于圖逡逑像搜索的小猿搜題，在商務方面有基于語音識別的出門問問�？梢韵胂�，在未來逡逑深度學習將成為我們生活中不可缺少的一部分。逡逑

逑議邐國際神經信息處理系統會議（Ｃｏｎｆｅｒｅｎｃｅ邋ｏｎ邋Ｎｅｕｒａｌ邋Ｉｎｆｏｒｍａｔｉｏｎ邋Ｐｒｏｃｅｓｓｉｎｇ逡逑Ｓｙｓｔｅｍｓ，簡稱ＮＩＰＳ）的投稿量逐年上漲（如圖１．２所示），在最近６年上漲了近４逡逑倍；近兩年，包括中科院大學、南京大學在內眾多頂尖高校成立了人工智能學院，逡逑深度學習是其中的重要研究內容。在工業(yè)界，一方面?zhèn)鹘y大公司紛紛組建與深逡逑度學習相關的研究機構，如百度成立的深度學習研究院，谷歌收購的ＤｅｅｐＭｉｎｄ；逡逑另一方面，以深度學習為基礎技術的創(chuàng)業(yè)公司如雨后春筍般層出不窮，如機器視逡逑覺領域的商湯科技、曠視科技，語音識別領域的科大訊飛，智能客服領域的微軟逡逑小冰、蘋果Ｓｉｒｉ，神經網絡芯片領域的寒武紀科技，以及在智能醫(yī)療領域致力于逡逑將深度學習和醫(yī)療影像相結合的羽醫(yī)甘藍等。逡逑深度學習不僅受到廣泛關注，越來越多與深度學習相關的產品正在走入我逡逑們的生活�，F在的智能手機是人們每天花費時間最多的設備
【學位授予單位】：中國科學技術大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP18

【相似文獻】

相關期刊論文 前10條

1 胡悅;;金融市場中的神經網絡拐點預測法[J];金融經濟;2017年18期

2 陳曉燕;;淺析簡單神經網絡的發(fā)展及簡單模型[J];數字技術與應用;2019年05期

3 遲惠生;陳珂;;1995年世界神經網絡大會述評[J];國際學術動態(tài);1996年01期

4 吳立可;;脈沖神經網絡和行為識別[J];通訊世界;2018年12期

5 林嘉應;鄭柏倫;劉捷;;基于卷積神經網絡的船舶分類模型[J];信息技術與信息化;2019年02期

6 俞頌華;;卷積神經網絡的發(fā)展與應用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經網絡的通用理論建造基石[J];世界科學;2019年04期

8 鮑偉強;陳娟;熊濤;;基于進化神經網絡的短期電力負荷預測研究[J];電工技術;2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設計研究[J];數字技術與應用;2018年04期

10 張庭略;;基于硬件的神經網絡加速[J];通訊世界;2018年08期

相關會議論文 前10條

1 孫軍田;張U

本文編號：2602082