殘差網(wǎng)絡(luò)(Residual Network,Res Net)因在圖像分類、對象檢測等領(lǐng)域中表現(xiàn)出優(yōu)異的成績而被廣泛應(yīng)用.但是由于Res Net模型結(jié)構(gòu)的高度不規(guī)則和復(fù)雜度,使得其在移動終端的部署仍是一個具有挑戰(zhàn)性的工作.本文設(shè)計(jì)一種基于現(xiàn)場可編程門陣列(Field Programmable Gate Array,FPGA)的殘差網(wǎng)絡(luò)硬件加速器.首先,采用k-means聚類算法對網(wǎng)絡(luò)參數(shù)進(jìn)行量化,降低參數(shù)的存儲需求.其次,通過流水線和并行計(jì)算策略實(shí)現(xiàn)各計(jì)算單元的加速計(jì)算,并通過殘差計(jì)算單元的復(fù)用降低對計(jì)算資源的需求.所提出的加速器能夠有效地在Zynq-ZCU102上實(shí)現(xiàn)Res Net,其系統(tǒng)時(shí)鐘可達(dá)到300MHz,延時(shí)為26.47ms,DSP占用率為60.4%,LUTRAM占用率為4%.

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1殘差塊結(jié)構(gòu)圖

對于經(jīng)典的CNN，在不斷增加神經(jīng)網(wǎng)絡(luò)的深度時(shí)，模型的精度會先上升達(dá)到飽和，此時(shí)再繼續(xù)增加深度則會導(dǎo)致精度下降[1]．針對這個問題，殘差網(wǎng)絡(luò)引入殘差結(jié)構(gòu)，即殘差塊．殘差塊所起到的效果就是在網(wǎng)絡(luò)模型精度已達(dá)到飽和之后，再增加的層只是起到層與層之間的恒等映射作用，這樣就不會因誤差增加而....

圖2具有6個殘差塊的殘差網(wǎng)絡(luò)

定義殘差塊的形式是y=F(x,W)+x,x,y分別是殘差塊的輸入向量和輸出向量．F(x,W)是需要學(xué)習(xí)的殘差映射．殘差函數(shù)F的形式是靈活的，如對于圖1中的標(biāo)準(zhǔn)殘差塊，其殘差映射為F=W2σ(W1x)，其中W1,W2分別為殘差塊中第1層和第2層的權(quán)重參數(shù)，σ為線性整流函數(shù)(Rect....

圖3ResNet硬件實(shí)現(xiàn)的整體架構(gòu)

ResNet的硬件實(shí)現(xiàn)如圖3所示，包括以下模塊:輸入數(shù)據(jù)緩沖器、權(quán)重緩沖器、卷積計(jì)算單元、殘差計(jì)算單元、全連接層計(jì)算單元、控制器和輸出數(shù)據(jù)緩沖器組成．4.1參數(shù)量化

圖4卷積計(jì)算模塊結(jié)構(gòu)圖

卷積層的計(jì)算過程是通過卷積核遍歷二維離散信號，將輸入特征圖的數(shù)值與卷積核對應(yīng)位置的數(shù)值相乘并累加，得到輸出結(jié)果．圖4為卷積核為3×3的卷積計(jì)算單元的結(jié)構(gòu)．卷積計(jì)算單元主要由數(shù)據(jù)緩沖器、權(quán)重緩沖器、乘法器組、加法樹、激活函數(shù)模塊和池化模塊組成．在每次卷積時(shí)，首先將特征圖數(shù)據(jù)加載到數(shù)....

本文編號：3910269