隨著智能化的發(fā)展,低成本、低功耗的硬件平臺(tái)設(shè)備已經(jīng)逐步成為人們智能化生活的重要需求之一。卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)是一種很常見(jiàn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),它的主要優(yōu)勢(shì)體現(xiàn)在圖像的特征抽取方面。在FPGA上實(shí)現(xiàn)CNN具有高性能,可重配置,開(kāi)發(fā)周期短等優(yōu)勢(shì)。然而,由于CNN模型中存在大量的浮點(diǎn)型參數(shù)以及較多的乘法運(yùn)算,使得在FPGA上實(shí)現(xiàn)CNN不僅對(duì)FPGA提出了較高的存儲(chǔ)要求,而且在推算的過(guò)程中需要大量的能耗。針對(duì)CNN本身在硬件實(shí)現(xiàn)的過(guò)程中存在的局限性,本文選擇了裁剪的方法對(duì)CNN進(jìn)行壓縮,從而減小CNN中的參數(shù)量。為了避免常用的權(quán)重裁剪法會(huì)在FPGA上引入稀疏矩陣的問(wèn)題,使用了卷積核裁剪法。對(duì)于固定數(shù)量的PE,卷積核裁剪法能夠有效的減少需要進(jìn)行并行計(jì)算的次數(shù)。在本文中提出了一種更為精確的衡量卷積核重要性的方式,使用對(duì)L_1范數(shù)和標(biāo)準(zhǔn)差進(jìn)行加權(quán)求和的方式來(lái)計(jì)算每個(gè)卷積核的重要性,并對(duì)重要性較低的卷積核進(jìn)行裁剪。本課題分別對(duì)VGG16以及ResNet18/34進(jìn)行了實(shí)驗(yàn),在幾乎沒(méi)有精度損失的前提條件下,在卷積層的裁剪率分別能夠達(dá)到60%和40%。受到神經(jīng)網(wǎng)絡(luò)“不可解釋性”的影響,神經(jīng)網(wǎng)絡(luò)的裁剪方法,多為基于“數(shù)學(xué)假設(shè)”的基礎(chǔ)之上對(duì)神經(jīng)網(wǎng)絡(luò)中的權(quán)重或卷積核重要性進(jìn)行計(jì)算。本文提出了通過(guò)最大化激活圖對(duì)CNN進(jìn)行可視化的方法對(duì)CNN進(jìn)行裁剪,通過(guò)最大化激活圖觀察到了卷積核在訓(xùn)練任務(wù)中提取到的特征。在本文中使用圖像熵的方法描述最大化激活圖包含的信息量,并作為衡量卷積核重要性的標(biāo)準(zhǔn)。在進(jìn)行實(shí)驗(yàn)的過(guò)程中,我們使用分層裁剪的方法對(duì)在CIFAR10上進(jìn)行訓(xùn)練的VGG16網(wǎng)絡(luò)進(jìn)行了裁剪實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析和討論。為了驗(yàn)證算法的有效性,在本課題中使用HLS實(shí)現(xiàn)了一個(gè)VGG網(wǎng)絡(luò)的變形,并查看了裁剪之前和裁剪之后網(wǎng)絡(luò)所占用的資源,經(jīng)過(guò)裁剪之后的網(wǎng)絡(luò)能夠?qū)RAM的占用率從203%降低為76%。通過(guò)Vivado進(jìn)行功耗估算得出,經(jīng)過(guò)裁剪之后的網(wǎng)絡(luò)功耗節(jié)省了十倍。另外,裁剪之前的網(wǎng)絡(luò)和裁剪之后的網(wǎng)絡(luò)的精度差異不大,裁剪前的網(wǎng)絡(luò)精度為83.04%,裁剪之后的網(wǎng)絡(luò)精度為82.37%。
【學(xué)位單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TP391.41;TN791;TP183
【部分圖文】：

圖 3-1 CNN 卷積核裁剪示意圖本章中采用了自適應(yīng)多層裁剪法，該方法的主要流程是：對(duì)整個(gè)網(wǎng)絡(luò)設(shè)置一個(gè)裁剪率，將網(wǎng)絡(luò)中所有卷積核的重要性（本章中使用的重要性評(píng)價(jià)標(biāo)準(zhǔn)是對(duì)卷積核的 L1范數(shù)和標(biāo)準(zhǔn)差進(jìn)行加權(quán)求和）放在一起比較，裁剪掉重要性較低的卷積核，然后對(duì)裁剪之后的網(wǎng)絡(luò)進(jìn)行微調(diào)，補(bǔ)償在裁剪過(guò)程中損失的精度。對(duì)于 ResNet 而言，由于其結(jié)構(gòu)較為復(fù)雜，殘差塊中的第一層可以使用前述方法直接進(jìn)行裁剪，而殘差塊中的第二層的輸出特征圖由于需要與 shortcut上的輸出特征圖進(jìn)行對(duì)應(yīng)通道相加，因此不能隨意的進(jìn)行裁剪。如圖 3-2 所示：ShortcutShortcut

圖 3-5 使用三種不同的衡量標(biāo)準(zhǔn)對(duì) VGG16 進(jìn)行裁剪的效果比較們主要對(duì)使用 L1范數(shù)與標(biāo)準(zhǔn)差進(jìn)行加權(quán)求和的方式與 Li Hao 結(jié)果進(jìn)行了比較，對(duì)于 VGG16 而言，當(dāng)裁剪率大于 15%時(shí)，的方式作為衡量卷積核重要性的標(biāo)準(zhǔn)對(duì)網(wǎng)絡(luò)進(jìn)行裁剪，相比相用 L1范數(shù)做裁剪的網(wǎng)絡(luò)，精度大約上升了 10%左右。

圖 3-5 使用三種不同的衡量標(biāo)準(zhǔn)對(duì) VGG16 進(jìn)行裁剪的效果比較們主要對(duì)使用 L1范數(shù)與標(biāo)準(zhǔn)差進(jìn)行加權(quán)求和的方式與 Li Hao 結(jié)果進(jìn)行了比較，對(duì)于 VGG16 而言，當(dāng)裁剪率大于 15%時(shí)，的方式作為衡量卷積核重要性的標(biāo)準(zhǔn)對(duì)網(wǎng)絡(luò)進(jìn)行裁剪，相比相用 L1范數(shù)做裁剪的網(wǎng)絡(luò)，精度大約上升了 10%左右。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孔凡年;卷積核譜零點(diǎn)的剔除[J];電子科學(xué)學(xué)刊;1987年02期

2 姚若河;;時(shí)域卷積反演的一個(gè)新算法[J];桂林電子工業(yè)學(xué)院學(xué)報(bào);1988年02期

3 沈辰;敬忠良;潘漢;;基于卷積核優(yōu)化的運(yùn)動(dòng)圖像盲去模糊算法[J];信息與控制;2014年01期

4 汪濟(jì)洲;魯昌華;查長(zhǎng)軍;;基于卷積核補(bǔ)償ECG檢測(cè)分類(lèi)算法[J];自動(dòng)化與儀器儀表;2009年04期

5 李妍;金士琪;多國(guó)帥;涂春蓉;戴旭;;迭代重建算法聯(lián)合不同卷積核應(yīng)用于冠脈雙低掃描支架顯示的比較研究[J];中國(guó)臨床醫(yī)學(xué)影像雜志;2019年02期

6 梅習(xí)龍;吳雄;蔣博;鄧凱;顏敏;胡躍群;;第3代雙源CT卷積核的選擇對(duì)肺磨玻璃結(jié)節(jié)圖像質(zhì)量的影響[J];中南大學(xué)學(xué)報(bào)(醫(yī)學(xué)版);2019年09期

7 勞保強(qiáng);王俊義;王錦清;符杰林;仇洪冰;;基于卷積核網(wǎng)格化二維近程微波全息[J];微波學(xué)報(bào);2014年05期

8 孫鳳琪,多曉蜜;一類(lèi)含卷積核的對(duì)偶型奇異積分方程的非正則型解法[J];松遼學(xué)刊(自然科學(xué)版);2001年04期

9 朱繼洪;裴繼紅;趙陽(yáng);;卷積神經(jīng)網(wǎng)絡(luò)(CNN)訓(xùn)練中卷積核初始化方法研究[J];信號(hào)處理;2019年04期

10 張軍陽(yáng);郭陽(yáng);扈嘯;;二維矩陣卷積的并行計(jì)算方法[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2018年03期

相關(guān)會(huì)議論文 前3條

1 李春鵬;郭杰;康學(xué)凈;;基于DeepLab的二階段人像分割方法[A];第十三屆全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2019年

2 李盈達(dá);魯建壯;陳小文;;基于滾球模型的卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)復(fù)用方法及硬件實(shí)現(xiàn)[A];第二十二屆計(jì)算機(jī)工程與工藝年會(huì)暨第八屆微處理器技術(shù)論壇論文集[C];2018年

3 郝曉辰;楊躍;楊黎明;郭f萬(wàn)

本文編號(hào)：2823865