低功耗、低成本、可編程深度神經(jīng)網(wǎng)絡處理器設計與實現(xiàn)

發(fā)布時間：2020-04-06 16:06

【摘要】：深度卷積神經(jīng)網(wǎng)絡算法近年來迅猛發(fā)展,現(xiàn)已被廣泛應用于圖像識別、醫(yī)療診斷等領域。深度卷積神經(jīng)網(wǎng)絡通常在CPU、GPU、ASIC、FPGA等平臺實現(xiàn),現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡處理器主要被用于高端應用,如自動駕駛汽車,數(shù)據(jù)中心和智能手機,其注重產(chǎn)品性能。而對于物聯(lián)網(wǎng)應用,更注重產(chǎn)品功耗與產(chǎn)品成本。此外可編程性對于處理器支持不同的深度卷積神經(jīng)網(wǎng)絡算法也尤為重要。本文提出一種專用于物聯(lián)網(wǎng)應用的低功耗低成本可編程深度卷積神經(jīng)網(wǎng)絡處理器。本文首先對深度卷積神經(jīng)網(wǎng)絡處理器的國內(nèi)外研究現(xiàn)狀進行分析,介紹在不同平臺實現(xiàn)深度卷積神經(jīng)網(wǎng)絡處理器的最新成果。根據(jù)處理器的應用需求不同,提出本文所設計的低功耗低成本可編程深度神經(jīng)網(wǎng)絡處理器。接下來本文對深度卷積神經(jīng)網(wǎng)絡算法的基本概念、硬件實現(xiàn)、并行性特征進行介紹。從理論層面驗證卷積層、池化層、激活函數(shù)與全連接層硬件實現(xiàn)的可行性,同時從卷積核內(nèi)并行性、輸入通道并行性與輸出通道并行性三個維度對本文深度卷積神經(jīng)網(wǎng)絡處理器并行計算設計進行分析,并提出衡量處理器性能的三種參數(shù)。然后在可編程深度神經(jīng)網(wǎng)絡處理器硬件設計部分,本文采用五種創(chuàng)新技術。在處理器低功耗設計部分,本文采用基于“簇”的“S”型讀取策略與數(shù)據(jù)復用技術,達到對數(shù)據(jù)的最大化復用,減少存儲區(qū)讀取次數(shù)從而降低功耗;本文采用基于“圖”累加的方式完成中間特征圖累加操作,減少輸入特征圖像重復加載次數(shù)從而降低功耗;將近零值過濾與零值跳過技術結(jié)合,屏蔽零值數(shù)據(jù)的傳輸和計算從而降低功耗。在處理器低成本與可編程設計部分,本文采用可編程層處理計算架構(gòu),通過復用層處理計算架構(gòu)完成深度卷積神經(jīng)網(wǎng)絡所有層操作,減少硬件資源降低設計成本,同時其可編程性也增強處理器的靈活性。并且處理器采用基于“行”型數(shù)據(jù)存儲結(jié)構(gòu),加快數(shù)據(jù)讀取速度,在數(shù)據(jù)讀取與計算間取得平衡,提升處理器整體速度。最后本文使用Vivado 2017.1套件作為開發(fā)和仿真工具,給出仿真結(jié)果。并在Xilinx Virtex-7 FPGA VC707評估套件進行硬件驗證。對基于FPGA的可編程深度卷積神經(jīng)網(wǎng)絡處理器進行準確率分析與性能分析,本文處理器獲得了31.01GOPS/W,0.22GOPS/DSP的成績,優(yōu)于現(xiàn)有的幾種深度神經(jīng)網(wǎng)絡處理器。同時針對本文所提出的可編程深度神經(jīng)網(wǎng)絡處理器進行總結(jié),并對后期優(yōu)化提出建議。
【圖文】：