深度神經(jīng)網(wǎng)絡(luò)硬件加速研究

發(fā)布時(shí)間：2020-06-18 08:02

【摘要】：隨著半導(dǎo)體工藝的不斷進(jìn)步,機(jī)器學(xué)習(xí)領(lǐng)域研究的深入,神經(jīng)網(wǎng)絡(luò)成為了近年來實(shí)現(xiàn)人工智能的重要機(jī)器學(xué)習(xí)算法之一。神經(jīng)網(wǎng)絡(luò)尤其是深度神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)的復(fù)雜帶來的計(jì)算復(fù)雜度的上升,使得單純用中央處理器順序串行執(zhí)行耗時(shí)越來越長。這樣不僅給網(wǎng)絡(luò)的訓(xùn)練帶來問題,也給對于實(shí)時(shí)性有一定要求的網(wǎng)絡(luò)計(jì)算任務(wù)帶來了問題。因此人們提出了各種各樣硬件加速的方式。其中一種比較常見的硬件加速方式是取代了過去數(shù)字信號處理器而出現(xiàn)的現(xiàn)場可編程門陣列(Fieled Programmable Gate Array,FPGA)。FPGA以其比較好的并行性和靈活性以及開發(fā)成本相對較低等特性受到高校等研究機(jī)構(gòu)的青睞,甚至在一些應(yīng)用場景直接用于商用產(chǎn)品的開發(fā)。目前,大多數(shù)FPGA的加速主要針對復(fù)雜指令集計(jì)算機(jī),即CPU以X86或AMD64為主的計(jì)算機(jī),并通過PCIe接口與CPU交換數(shù)據(jù)和控制信息。并且目前大多數(shù)FPGA僅僅加速已經(jīng)完成訓(xùn)練的神經(jīng)網(wǎng)絡(luò),而不會加速網(wǎng)絡(luò)的訓(xùn)練過程。為了達(dá)到最佳的加速性能,通常FPGA加速會針對特定的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化,使得神經(jīng)網(wǎng)絡(luò)的FPGA加速的通用性變差。本文提出一種基于ZYNQ的FPGA加速結(jié)構(gòu)。它以ZYNQ內(nèi)部自帶的ARM(Advanced RISC Machine)作為主要計(jì)算核心,ZYNQ自帶的FPGA作為神經(jīng)網(wǎng)絡(luò)的硬件加速部分,兼顧結(jié)構(gòu)中軟硬件的通用性和可擴(kuò)展性,實(shí)現(xiàn)嵌入式神經(jīng)網(wǎng)絡(luò)的計(jì)算加速。本文提出的結(jié)構(gòu)中,將神經(jīng)網(wǎng)絡(luò)中的全連接的矩陣乘法運(yùn)算以及卷積運(yùn)算放到FPGA上進(jìn)行,而ARM負(fù)責(zé)流程控制,池化和激活函數(shù)的運(yùn)算。本文結(jié)構(gòu)在盡量滿足通用性的前提下加速神經(jīng)網(wǎng)絡(luò),因此本文結(jié)構(gòu)中FPGA的互聯(lián)采用標(biāo)準(zhǔn)的AXI系列協(xié)議,并且通過互聯(lián)模塊連接邏輯與處理器。本文中詳細(xì)描述了關(guān)鍵的軟件函數(shù)流程以及硬件加速電路的結(jié)構(gòu)。并且在實(shí)現(xiàn)了整個結(jié)構(gòu)后,通過LeNet-5手寫數(shù)字識別網(wǎng)絡(luò)對加速架構(gòu)進(jìn)行測試。在10000張MNIST圖像的測試下,識別率在92%,使用FPGA加速前后效果不是特別明顯,一張圖片的處理時(shí)間僅僅減少了1%。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP183;TP332
【圖文】：