近年來,深度神經網絡（DNN）在計算機視覺、自然語言處理等AI領域中取得了巨大的成功。得益于更深更大的網絡結構,DNN的性能正在迅速提升。然而,更深更大的深度神經網絡需要巨大的計算和內存資源,在資源受限的場景中,很難部署較大的神經網絡模型。如何設計輕量并且高效的深度神經網絡來加速其在嵌入式設備上的運行速度,對于推進深度神經網絡技術的落地意義巨大。對近年來具有代表性的高效深度神經網絡的研究方法和工作進行回顧和總結,包括參數剪枝、模型量化、知識蒸餾、網絡搜索和量化。同時分析了不同方法的優(yōu)點和缺點以及適用場景,并且展望了高效神經網絡設計的發(fā)展趨勢。 

【文章來源】：電信科學. 2020,36(04)

【文章頁數】：10 頁

【部分圖文】：

參數剪枝

低秩分解通過對網絡的參數矩陣進行張量分解，利用其分解得到的低秩矩陣對元參數矩陣進行近似，減少網絡的參數量，主要包括奇異值分解（SVD）、Tucker分解[39]、塊分解（block decomposition)[34]。這一過程如圖2所示。低秩分解出現的時間較早，在未廣泛應用卷積網絡之前，網絡主要是由多層的全連接層構成的。雖然全連接運算量就少，但是所需要的參數量非常多。例如，對于一個秩為r的全連接層的參數矩陣W，其大小為m×n（通常r遠小于m或n）。將W分解一個m×r矩陣W＿1和一個r×n矩陣W＿2之積，W＿1和W＿2所占用的存儲空間為r×(m+n)，遠小于W所需的存儲空間m×n。為了減小全連接層的參數量，大幅度壓縮含有全連接層的CNN模型，Alexander等[40]針對全連接層提出了Tensor Train分解方法，該方法能對VGGNe的全連接層壓縮至原來的1/20 000，極大降低了VGGNet的參數量。

通常大型網絡相對于小網絡具有更高的性能。一個預訓練好的大網絡，其輸出的結果可以表示模型預測的類別分布概率，這一過程如圖3所示。與one-hot類別標簽相比，網絡的預測結果所包含的信息更加豐富。知識蒸餾[48]就是將已訓練好的大模型（通稱教師網絡）輸出值（soft-label，通稱軟標簽）作為額外的監(jiān)督信號，輔助小模型（通稱學生網絡）的訓練過程。其本質是將大網絡學到的知識遷移到小網絡中，具體的做法是讓小網絡模仿大網絡的預測結果，從而提升小型網絡性能。知識蒸餾由Bucilua等[49]提出，其主要目的是對模型進行壓縮。然而，在當時知識蒸餾只局限于淺層網絡，影響力較小。直到2014年Hinton等[48]通過最小化教師網絡和學生網絡輸出值的KL散度來訓練學生網絡，使得學生網絡可以接近甚至超過教師網絡的精度。同時，文章也引入了一個超參數“溫度”來松弛教師網絡的輸出值。此后，知識蒸餾成為提升小網絡性能的主流方法之一。Ba[50]則直接利用優(yōu)化教師網絡和學生網絡logits之間的L2距離，將較深較大的網絡進行壓縮，得到較淺較小的網絡。


本文編號：3257352