【摘要】：隨著芯片制造工藝和協(xié)處理器的不斷發(fā)展,FPGA芯片內(nèi)部集成了越來越多的DSP以及片內(nèi)存儲(chǔ)資源,使得FPGA在計(jì)算密集型硬件加速方面具有巨大優(yōu)勢(shì)。作為典型的計(jì)算密集型應(yīng)用,深度神經(jīng)網(wǎng)絡(luò)中的卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別、圖像分割等領(lǐng)域都具有重要的指導(dǎo)意義和應(yīng)用價(jià)值,一直備受學(xué)術(shù)界和工業(yè)界的青睞。然而,目前通用處理器實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的方法,無法充分挖掘網(wǎng)絡(luò)模型內(nèi)部的并行性。在目前對(duì)實(shí)時(shí)性和低功耗的應(yīng)用需求越來越旺盛的前提下,越來越多的研究人員開始采用FPGA對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)行開發(fā)。Alexnet作為卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域內(nèi)具有重要?dú)v史意義的一個(gè)網(wǎng)絡(luò)模型,不僅證明了卷積神經(jīng)網(wǎng)絡(luò)在復(fù)雜模型下的有效性,并使用GPU使大數(shù)據(jù)訓(xùn)練在可接受的時(shí)間范圍內(nèi)得到了結(jié)果。因此,研究Alexnet模型的計(jì)算加速對(duì)復(fù)雜模型下卷積神經(jīng)網(wǎng)絡(luò)加速的研究具有重要意義。論文以此為研究背景,在充分研究和分析了當(dāng)前研究成果的基礎(chǔ)之上,設(shè)計(jì)實(shí)現(xiàn)了一種基于FPGA的Alexnet前向網(wǎng)絡(luò)加速器,通過優(yōu)化模型結(jié)構(gòu)、流水式層間處理以及提高網(wǎng)絡(luò)并行性來提高網(wǎng)絡(luò)的整體識(shí)別速度。本文的主要研究工作包括:1、對(duì)Alexnet前向識(shí)別網(wǎng)絡(luò)性能的主要影響因素進(jìn)行了研究并對(duì)網(wǎng)絡(luò)模型中激活函數(shù)和池化模塊進(jìn)行了優(yōu)化改進(jìn)。論文首先對(duì)網(wǎng)絡(luò)模型中存在的并行性計(jì)算進(jìn)行了研究。其次,給出了前向計(jì)算過程的分析以及乘法計(jì)算量的分析。最后,分析激活函數(shù)和池化模塊的計(jì)算量,并結(jié)合激活函數(shù)和池化模塊比較計(jì)算輸出最大值的特點(diǎn)以及FPGA的特性,對(duì)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化。在保證輸出結(jié)果不變的前提下,減少了 397428次比較運(yùn)算,占激活函數(shù)和池化模塊優(yōu)化前計(jì)算量的76.4%。2、完成了基于FPGA的Alexnet前向網(wǎng)絡(luò)關(guān)鍵模塊的優(yōu)化設(shè)計(jì)。本文首先完成了卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部基本單元的設(shè)計(jì)及其二維并行加速的設(shè)計(jì),分析了二維并行加速的加速比。其次,根據(jù)每層輸出的緩存結(jié)果的數(shù)據(jù)量大小,對(duì)芯片內(nèi)部的塊RAM資源進(jìn)行合理的分配,從而確定了每層網(wǎng)絡(luò)的并行度,完成了網(wǎng)絡(luò)內(nèi)每一層結(jié)構(gòu)的設(shè)計(jì)。3、完成了基于FPGA的Alexnet前向網(wǎng)絡(luò)實(shí)現(xiàn)及性能分析�；贔PGA開發(fā)平臺(tái),完成Alexnet前向網(wǎng)絡(luò)整體框架設(shè)計(jì)及實(shí)現(xiàn),編寫仿真文件進(jìn)行驗(yàn)證,并完成對(duì)資源使用情況以及設(shè)計(jì)性能進(jìn)行分析。給出了前向識(shí)別網(wǎng)絡(luò)中每一層具體所需的計(jì)算時(shí)間,列出了加速器設(shè)計(jì)整體的資源使用情況,完成了與GPU、CPU識(shí)別速率的對(duì)比,并對(duì)識(shí)別結(jié)果的正確性進(jìn)行了驗(yàn)證。
【圖文】：

法中復(fù)雜的數(shù)據(jù)重建和特征提�。郏玻梗葸^程。逡逑２．１．１卷積神經(jīng)網(wǎng)絡(luò)前向傳播網(wǎng)絡(luò)結(jié)構(gòu)逡逑卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，包含多個(gè)隱藏層，如圖２－１所示，每層逡逑由多個(gè)獨(dú)立地神經(jīng)元節(jié)點(diǎn)組成的二維平面組成。逡逑Ｓ＼邋邐逡逑「逡逑＼邐Ａ邐邐—逡逑＼邋ｉ逡逑１邋＿逡逑ｖ—．—＇＇邐，邐＾逡逑Ｉｍａｇｅ邐Ｃｏｎｖｏｌｕｔｉｏｎ邋Ｌａｙｅｒｓ逡逑圖２－１邋—般卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)逡逑首先對(duì)輸入的圖像數(shù)據(jù)進(jìn)行卷積處理，并對(duì)卷積后的數(shù)據(jù)加偏置，得到特征逡逑映射圖譜，如Ｃ１層所示。然后對(duì)特征映射圖中的像素值進(jìn)行池化操作，其中池逡逑化可分為最大池化和均值池化。對(duì)池化的數(shù)據(jù)再進(jìn)行加權(quán)值，加偏置，并通過一逡逑６逡逑

定數(shù)目的特征圖譜（ｆｅａｔｕｒｅｍａｐｓ）構(gòu)成［３１］。特征圖譜上的每一個(gè)節(jié)點(diǎn)與上一層的逡逑鄰近節(jié)點(diǎn)相連，這些相鄰的節(jié)點(diǎn)構(gòu)成的區(qū)域就組成了該節(jié)點(diǎn)在上一層的局部感知逡逑野［３２］。如圖２－２所示，為了得到下一層的特征圖譜，，輸入特征圖譜首先與訓(xùn)練好逡逑的權(quán)值數(shù)據(jù)做卷積運(yùn)算，這些權(quán)值數(shù)據(jù)組成的矩陣又稱為濾波器或特征預(yù)測(cè)器，逡逑然后將得到的特征圖譜傳輸至激活函數(shù)。通過應(yīng)用不同的特征檢測(cè)器得到新的特逡逑征圖譜。卷積運(yùn)算三維卷積公式定義為：逡逑Ｋ－＼邋Ｋ－＼逡逑（２－Ｄ逡逑？＝０邋／／＝０邋＾＇＝０逡逑其中，％是第ｍ幀在位置（Ｕ）處輸出的特征圖譜的值；．是第ｎ幀輸入逡逑圖像在位置處的值；邐是連接第ｎ幀輸入圖像和第ｍ幀輸出圖像的卷積逡逑核在位置（墜方）處的權(quán)重；是在第ｍ幀輸出圖像處添加的偏置。逡逑￣￣｜邐／邋邐邐ｎ＼邋Ｍ逡逑喊喊邐＼逡逑彟＾k 邐邐邐邋＼逡逑■Ｌ４－］N

本文編號(hào)：2611272