發(fā)布時間：2021-07-06 09:12

　　卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中的熱門算法之一,在許多計算機(jī)視覺應(yīng)用中取得了巨大的成功,如圖像識別,語音識別。近年來,隨著卷積神經(jīng)網(wǎng)絡(luò)識別精度的不斷提升,它的計算復(fù)雜性也在大幅增加。由于CPU已經(jīng)很難滿足現(xiàn)代CNN對高并行度計算的需求,各種基于GPU、FPGA、ASIC的卷積神經(jīng)網(wǎng)絡(luò)加速器都陸續(xù)得以實(shí)現(xiàn)。在這些加速器中,FPGA憑借它強(qiáng)大的可重構(gòu)能力和低能耗成為了加速器設(shè)計中備受歡迎的研究平臺。之前基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)加速器主要是使用傳統(tǒng)的卷積算法。然而,傳統(tǒng)的卷積算法的高算術(shù)復(fù)雜度限制了加速器的性能,并且顯著增加了設(shè)計的難度。已有工作證明,將Winograd算法應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中,可以有效地降低計算復(fù)雜度。雖然已有工作實(shí)現(xiàn)了基于Winograd算法的加速器,但他們的工作缺少不同規(guī)模Winograd算法實(shí)現(xiàn)的加速器的性能對比。在本文中,我們首先提出一種適用于卷積層和完全連接層的加速器體系結(jié)構(gòu)。其次,我們使用高級綜合工具來實(shí)現(xiàn)了我們的設(shè)計。最后,我們評估了基于兩個不同規(guī)模Winograd算法實(shí)現(xiàn)的加速器在資源利用率,性能和效率方面的表現(xiàn)。在VUS440平臺上,我們測試了VGG16模型,... 

【文章來源】：國防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

FPGA集群的拓?fù)浣Y(jié)構(gòu)[27]

國防科技大學(xué)研究生院碩士學(xué)位論文第10頁圖2.1卷積神經(jīng)網(wǎng)絡(luò)前向計算過程訓(xùn)練（training）CNN的訓(xùn)練過程就是一個提高前向推理準(zhǔn)確性的一個學(xué)習(xí)過程，通過不斷的訓(xùn)練為前向計算提供一組高準(zhǔn)確率的模型參數(shù)用于推理和判斷。作為有監(jiān)督式算法，CNN的訓(xùn)練數(shù)據(jù)集都是帶有標(biāo)簽的，CNN會將通過網(wǎng)絡(luò)前向計算推理出來的內(nèi)容和這些數(shù)據(jù)的實(shí)際標(biāo)簽進(jìn)行對比，并將它們之間的差異通過反向傳播反應(yīng)到各個權(quán)值，并對權(quán)值進(jìn)行相應(yīng)的調(diào)整，使其在下一輪前向推理中獲得更高的識別精度。將此過程進(jìn)行反復(fù)迭代，訓(xùn)練過程最終會收斂到一個較高的推理正確性水平。權(quán)值輸入圖像輸出圖像圖2.2卷積層卷積層（ConvolutionLayers）卷積層作為卷積神經(jīng)網(wǎng)絡(luò)的主要網(wǎng)絡(luò)層，其卷積操作在卷積神經(jīng)網(wǎng)絡(luò)的所有操作中也是占據(jù)了主要的地位[49]。如圖2.2所示，卷積操作就是將一組權(quán)值在輸入圖像窗口上進(jìn)行從左至右、從上至下的平移，每平移一次，權(quán)值就與其窗口對應(yīng)的部分輸入值做對應(yīng)元素相乘并累加的操作，這每平移一次卷積產(chǎn)生的就是輸出圖像中的一個元素。假設(shè)有N個輸入圖像，就有N個KK大小的權(quán)值矩陣在輸入圖像上滑動和卷積，一次完整的平移就可以得到一個完整的輸出圖像，若這樣的N個KK大小的權(quán)值矩陣總共存在M組，最終就可以得到M個輸出圖像。再假設(shè)每次滑動的步長為S，則圖像的卷積可用如下公式表達(dá)：

國防科技大學(xué)研究生院碩士學(xué)位論文第11頁111000[][][][][][][][][][]NKKnijOutmrcInnSriSrjWmnij====++池化層（PoolingLayers）池化層一般都緊跟在卷積層之后，對卷積層的輸出進(jìn)行降采樣。池化層的目的在于減小特征圖規(guī)模，并保留顯著特征，從效果來看就是將圖像模糊化。如圖2.3所示，池化層采用固定大小的窗口，在特征圖像上滑動，從每次滑動窗口對應(yīng)的部分輸入圖像中提取出一個有效信息，或最大值，或平均值等作為輸出圖的一個元素。InputfeaturemapOutputfeaturemap圖2.3池化層激活函數(shù)（ActivationFunction）激活函數(shù)也是神經(jīng)網(wǎng)絡(luò)中必不可少的環(huán)節(jié)之一。沒有激活函數(shù)的情況下，神經(jīng)網(wǎng)絡(luò)輸出信號僅僅只是一個線性變換的函數(shù)，而作為線性模型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和模擬復(fù)雜類型數(shù)據(jù)的能力是非常有限的，像圖像、語音、視頻等。因此激活函數(shù)的加入，充當(dāng)了神經(jīng)網(wǎng)絡(luò)中的非線性因子，使得神經(jīng)網(wǎng)絡(luò)在理論上可以逼近任何一個函數(shù)。如圖2.4所示，常見的激活函數(shù)有sigmod函數(shù)，tanh函數(shù)和ReLU函數(shù)。(a)sigmod函數(shù)(b)tanh函數(shù)(c)ReLU函數(shù)圖2.4激活函數(shù)全連接層（Fully-connectedLayers）全連接層作為卷積神經(jīng)網(wǎng)絡(luò)的最后階段，在整個神經(jīng)網(wǎng)絡(luò)扮演者“分類器”的角色。它負(fù)責(zé)從依次經(jīng)由卷積層、池化層和激活函數(shù)層等處理得到的特征圖中提取出具有分類信息的特征向量。如圖2.5所


本文編號：3267963