使用硬件平臺實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的計算可以獲得良好的加速效果和功耗,但由于卷積神經(jīng)網(wǎng)絡(luò)模型龐大、計算復(fù)雜、硬件平臺資源有限,在實際應(yīng)用中多個卷積神經(jīng)網(wǎng)絡(luò)任務(wù)之間只能串行計算,這導(dǎo)致系統(tǒng)在處理多個任務(wù)時的實時性較差.為提升硬件系統(tǒng)的實時性,提出一種多卷積神經(jīng)網(wǎng)絡(luò)任務(wù)實時切換方法 .基于FPGA（Field Programmable Gate Array）平臺進行卷積神經(jīng)網(wǎng)絡(luò)部署,根據(jù)功能劃分系統(tǒng)模塊.采用"任務(wù)序列+控制模塊"的設(shè)計結(jié)構(gòu),控制系統(tǒng)根據(jù)卷積神經(jīng)網(wǎng)絡(luò)任務(wù)的優(yōu)先級進行計算和切換;在計算模塊中,復(fù)用可配置的卷積單元減少資源開銷;提出一種多任務(wù)層級切換機制以提升系統(tǒng)的實時性.利用手寫數(shù)字識別網(wǎng)絡(luò)進行驗證,實驗結(jié)果表明:可配置的設(shè)計減少了除BRAM（Block Random Access Memory）外50%以上的資源開銷;在50 MHz的工作頻率下,FPGA的識別速度是CPU（Central Processing Unit）的4. 51倍,功耗比為CPU的2. 84倍;采用實時切換機制最快可使最高優(yōu)先級任務(wù)提前57. 26 ms被響應(yīng),提升了串行計算系統(tǒng)的實時性. 

【文章來源】：南京大學學報(自然科學). 2020年02期 北大核心

【文章頁數(shù)】：8 頁

【部分圖文】：

手寫數(shù)字識別網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)研究的內(nèi)容和卷積神經(jīng)網(wǎng)絡(luò)的計算特點，本文設(shè)計的總體架構(gòu)如圖2所示，共包含CPU、任務(wù)序列、控制模塊、計算模塊、片上存儲[16]以及片外存儲六個模塊，其中APB(Advanced Peripheral Bus）與AXI(Advanced eXtensible Interface）為總線協(xié)議.由于FPGA的存儲空間有限，卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)和隱藏層的計算結(jié)果均存放在片外存儲DDR(Double Data Rate）中.當有任務(wù)請求時，CPU會將待識別的圖像任務(wù)存儲到片外存儲DDR中，并在任務(wù)序列中添加一個任務(wù)；控制模塊在檢測到任務(wù)序列中有待執(zhí)行的任務(wù)后，開始配置計算模塊，并從片外存儲中讀取輸入圖像，進行卷積神經(jīng)網(wǎng)絡(luò)的推理，計算和數(shù)據(jù)讀寫操作由控制模塊發(fā)起和控制.通常在設(shè)計中CPU會參與卷積神經(jīng)網(wǎng)絡(luò)計算的整個過程，包括計算數(shù)據(jù)的讀取與存儲、計算控制等，是控制的核心.而在本文設(shè)計中的CPU僅用于輸入圖像的存儲和任務(wù)序列的配置，其余工作由硬件實現(xiàn)的控制模塊完成.在卷積神經(jīng)網(wǎng)絡(luò)的推理計算過程中，硬件控制的引入使得CPU可以處于空閑狀態(tài)或者執(zhí)行其他操作.

任務(wù)序列用來存儲待計算的卷積神經(jīng)網(wǎng)絡(luò)任務(wù)的相關(guān)信息.每個卷積神經(jīng)網(wǎng)絡(luò)任務(wù)在任務(wù)序列中都對應(yīng)一組寄存器，如圖3所示，主要存儲卷積神經(jīng)網(wǎng)絡(luò)任務(wù)的優(yōu)先級、配置計算模塊所需的網(wǎng)絡(luò)參數(shù)、輸入存儲地址和輸出存儲地址等信息.其中任務(wù)優(yōu)先級是系統(tǒng)進行任務(wù)切換的判斷依據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)信息包含了輸入特征圖通道數(shù)、輸入特征圖尺寸、卷積核或采樣核數(shù)量、卷積核或采樣核尺寸、步長等內(nèi)容.控制模塊主要負責配置計算模塊、片外存儲的讀寫、各模塊間的狀態(tài)交互以及任務(wù)間的切換.系統(tǒng)遵循高優(yōu)先級任務(wù)先計算的原則，在計算過程中控制模塊會檢查任務(wù)序列中其他待計算任務(wù)的優(yōu)先級，若優(yōu)先級高于當前計算的任務(wù)，則保存當前任務(wù)的計算結(jié)果，切換計算優(yōu)先級更高的任務(wù).圖4為任務(wù)切換流程圖，當計算任務(wù)發(fā)生切換時，控制模塊需根據(jù)任務(wù)序列中的任務(wù)信息重新配置計算模塊.

【參考文獻】：
期刊論文
[1]深度學習FPGA加速器的進展與趨勢[J]. 吳艷霞,梁楷,劉穎,崔慧敏.  計算機學報. 2019(11)
[2]一種基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計與實現(xiàn)[J]. 張榜,來金梅.  復(fù)旦學報(自然科學版). 2018(02)



本文編號：2934113