近年來,由于卷積神經(jīng)網(wǎng)絡（Convolution Neural Network,CNN）在圖像識別、語音識別、自然語言處理等諸多領(lǐng)域中取得了前所未有的成果而被廣泛應用,CNN模型在不斷逼近計算機視覺任務的精度極限的同時,其深度和尺寸也在成倍增長。模型體積龐大、對硬件資源要求高、存儲開銷大以及功耗驚人等問題都非常不利于其在移動端和嵌入式端的部署和應用。在這樣的情形下,對CNN模型進行壓縮顯得尤為重要。早期就有學者提出了一系列CNN模型壓縮方法,如權(quán)值量化、低秩分解等,但是壓縮率和效率遠不能令人滿意。目前,針對CNN模型參數(shù)冗余問題,研究者們通過設計高效的卷積結(jié)構(gòu)代替?zhèn)鹘y(tǒng)的卷積層,以達到減少參數(shù)量和計算量的目的,但是此類方法仍然存在神經(jīng)元（或特征）退化嚴重、模型泛化能力低等問題;另外,針對特征冗余問題,研究人員提出了以逐層的方式對通道進行剪枝的方法,此類方法對常規(guī)卷積層堆疊而成的結(jié)構(gòu)剪枝效果較好,但不適用于高效卷積結(jié)構(gòu)（如深度可分離卷積,高效殘差單元等）,具有較大的局限性。針對以上問題,本論文提出了一種基于非均勻分組逐點卷積的神經(jīng)網(wǎng)絡模型壓縮方法及一種基于特征冗余分析的神經(jīng)網(wǎng)絡跨層剪枝方法... 

【文章來源】：西安電子科技大學陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：71 頁

【學位級別】：碩士

【部分圖文】：

常規(guī)卷積操作

2c 。圖3.2 均勻分組卷積操作因此，均勻分組卷積過程中卷積核的參數(shù)量為：1 1 1 22 ( h w c / 2 c/ 2)；總的計算量為：1 1 1 22 ( h w c / 2 c / 2 H W)；所以均勻分組卷積和常規(guī)卷積的計算量比值為：1 21 11 1 1 22 ( )12 22c ch w H Wh w c c H W(3-1)根據(jù)式（3-1）可知，當分組數(shù)為 2 時，分組卷積的計算量為常規(guī)卷積的1/2。以此類推，當分組數(shù)為 g 時，則為1/ g 。由此可見分組數(shù)越多，參數(shù)量越少。使用均勻分組卷積結(jié)構(gòu)，模型的參數(shù)量和計算量都大幅度降低，然而這種操作也

勻分組的同時，引入了組間信息交換的機制，提出了“通道重排”的概念，如圖 3.3所示。圖3.3 通道重排[36]圖中 Input 和 Output 分別表示輸入和輸出特征，Channel 表示通道維度，GConv1和 GConv2 表示采用分組卷積的層，F(xiàn)eature 表示第一個分組卷積的輸出組合后的特征。圖中紅綠藍三種顏色分別代表一個組，共有三個組。圖 3.3（a）為只采用了分組卷積沒有采用通道重排策略的效果圖，每個卷積核只接收各自組內(nèi)的特征作為輸入；圖 3.3（b）則采用了通道重排策略，具體是將不同組的子組作為 GConv2 的一個組的輸入，使得 GConv2 的每一個組都能對輸入的所有組的特征圖做卷積；圖 3.3（c）是結(jié)合分組卷積和通道重排后的效果圖。由于通道重排是可導的


本文編號：3313537