【摘要】：矩陣乘法作為矩陣計(jì)算的基本計(jì)算之一,被廣泛運(yùn)用于人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方案中。作為人工神經(jīng)網(wǎng)絡(luò)的主要實(shí)現(xiàn)平臺(tái)之一,現(xiàn)場(chǎng)可編程門(mén)陣列(Field Programmable Gate Array,FPGA)的矩陣乘法實(shí)現(xiàn)方案,直接決定了相關(guān)硬件實(shí)現(xiàn)方案的計(jì)算效率,并得到了廣泛地研究。目前,有關(guān)基于FPGA平臺(tái)進(jìn)行矩陣乘法的研究?jī)?nèi)容多偏向于具體的硬件實(shí)現(xiàn)方案,有關(guān)硬件設(shè)計(jì)與資源占用的評(píng)估尚較為缺乏。通過(guò)對(duì)三種基于FPGA平臺(tái)的矩陣乘法設(shè)計(jì)方案進(jìn)行參數(shù)化性能評(píng)估,本文對(duì)針對(duì)深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)中的矩陣相乘方案的適用性進(jìn)行了討論。作為實(shí)現(xiàn)DNN前向傳播的基礎(chǔ),基于乘加器和乘累加器的單層神經(jīng)網(wǎng)絡(luò)計(jì)算方案被提出。通過(guò)對(duì)此兩種實(shí)現(xiàn)方法在數(shù)字信號(hào)處理單元(Digital Signal Processor,DSP)、查找表(Look Up Table,LUT)和寄存器(Register,REG)等硬件資源使用情況和時(shí)序表現(xiàn)分析,對(duì)兩種基礎(chǔ)實(shí)現(xiàn)方案的性能進(jìn)行了對(duì)比。通過(guò)對(duì)基礎(chǔ)矩陣乘法設(shè)計(jì)方案進(jìn)行級(jí)聯(lián),可以得到針對(duì)多層DNN前向傳播的矩陣乘法實(shí)現(xiàn)方案。根據(jù)硬件資源耗費(fèi)和時(shí)序表現(xiàn)分析,在實(shí)現(xiàn)同等規(guī)模矩陣乘法的情況下,基于乘累加器的實(shí)現(xiàn)方案較基于乘加器的實(shí)現(xiàn)方案表現(xiàn)更優(yōu)。由于多層DNN與單層DNN前向傳播的資源占用不成線性關(guān)系,通過(guò)對(duì)不同規(guī)模的DNN進(jìn)行硬件實(shí)現(xiàn),可以對(duì)DNN前向傳播實(shí)現(xiàn)方案的資源占用情況進(jìn)行參數(shù)化評(píng)估。綜合乘累加器和乘加器的矩陣乘法實(shí)現(xiàn)方案,一種針對(duì)具有奇數(shù)個(gè)隱含層DNN的混合矩陣乘法實(shí)現(xiàn)方法被提出。通過(guò)手寫(xiě)數(shù)字識(shí)別任務(wù)的驗(yàn)證和基于賽靈思(Xilinx)VC707平臺(tái)的實(shí)測(cè)結(jié)果,該矩陣乘法混合實(shí)現(xiàn)方案準(zhǔn)確有效,并較乘累加器方法節(jié)省了 13%的片上資源。
【圖文】：

據(jù)中的冗余，這是神經(jīng)網(wǎng)絡(luò)能夠解決非線性問(wèn)題的關(guān)鍵。逡逑目前，常用的激活函數(shù)主要有Ｓｉｇｍｏｉｄ，ｔａｎｈ，ＲｅＬＵ以及它們的一些變體。逡逑這三種基本函數(shù)的圖像與公式分別如圖３－２和式（３－１）－式（３－３）所示。逡逑１６逡逑

計(jì)算單元的計(jì)算時(shí)間是可以通過(guò)設(shè)計(jì)的時(shí)序流程計(jì)算出來(lái)的，因此主要通過(guò)逡逑仿真來(lái)驗(yàn)證理論數(shù)據(jù)是否正確。通過(guò)仿真驗(yàn)證的計(jì)算時(shí)間與網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的關(guān)系如逡逑圖３－８所示。逡逑４奍加Ａ？案Ｖｉ點(diǎn)被１ｉｉｌ邐的Ｘ、系逡逑１５０邋１逡逑＾邐／逡逑0邐／逡逑登伽＇邐／逡逑0逡逑0邋／逡逑Ｉ邋５０＇？逡逑３邐／逡逑ｚ邋0、邐／逡逑８０邋／逡逑６０邋８０逡逑４０邋６０逡逑２０邋＼一一一＾邐４0逡逑０邋０逡逑Ｎｕｍｂｅｒ邋ｏｆ邋ｉｎｐｕｔ邋Ｎｏｄｅｓ逡逑Ｎｕｍｂｅｒ邋ｏｆ邋Ｏｕｔｐｕｔ邋Ｎｏｄｅｓ逡逑圖３－８基于乘累加器ＩＰ核的單層網(wǎng)絡(luò)計(jì)算時(shí)間與網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)關(guān)系圖逡逑通過(guò)觀察和分析，并結(jié)合ＩＳＥ提供的資源報(bào)告，可以得出：逡逑１、在該方案中，硬件資源的占用主要與輸出層節(jié)點(diǎn)數(shù)有關(guān)，而與輸入層節(jié)逡逑點(diǎn)數(shù)無(wú)關(guān)，，這與乘累加器ＩＰ核的并行結(jié)構(gòu)設(shè)計(jì)符合。逡逑２２逡逑
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TN791;TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 韓建勛;;并行計(jì)算在矩陣運(yùn)算中的應(yīng)用[J];信息與電腦(理論版);2017年05期

2 山世光;闞美娜;劉昕;劉夢(mèng)怡;鄔書(shū)哲;;深度學(xué)習(xí):多層神經(jīng)網(wǎng)絡(luò)的復(fù)興與變革[J];科技導(dǎo)報(bào);2016年14期

3 尹孟嘉;許先斌;熊曾剛;張濤;;GPU矩陣乘法的性能定量分析模型[J];計(jì)算機(jī)科學(xué);2015年12期

4 喬瑞秀;魯華祥;龔國(guó)良;陳剛;;并行可配置浮點(diǎn)矩陣乘法IP核設(shè)計(jì)[J];網(wǎng)絡(luò)新媒體技術(shù);2015年06期

5 尹寶才;王文通;王立春;;深度學(xué)習(xí)研究綜述[J];北京工業(yè)大學(xué)學(xué)報(bào);2015年01期

6 劉進(jìn)鋒;;一種簡(jiǎn)潔高效的加速卷積神經(jīng)網(wǎng)絡(luò)的方法[J];科學(xué)技術(shù)與工程;2014年33期

7 余凱;賈磊;陳雨強(qiáng);徐偉;;深度學(xué)習(xí)的昨天、今天和明天[J];計(jì)算機(jī)研究與發(fā)展;2013年09期

8 劉沛華;魯華祥;龔國(guó)良;劉文鵬;;基于FPGA的全流水雙精度浮點(diǎn)矩陣乘法器設(shè)計(jì)[J];智能系統(tǒng)學(xué)報(bào);2012年04期

9 孫志軍;薛磊;許陽(yáng)明;王正;;深度學(xué)習(xí)研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2012年08期

10 劉進(jìn)鋒;郭雷;;CPU與GPU上幾種矩陣乘法的比較與分析[J];計(jì)算機(jī)工程與應(yīng)用;2011年19期

相關(guān)碩士學(xué)位論文 前10條

1 曲省衛(wèi);深度非負(fù)矩陣分解算法研究[D];重慶郵電大學(xué);2016年

2 周凱龍;基于深度學(xué)習(xí)的圖像識(shí)別應(yīng)用研究[D];北京工業(yè)大學(xué);2016年

3 余奇;基于FPGA的深度學(xué)習(xí)加速器設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

4 楊程;基于FPGA的人工神經(jīng)網(wǎng)絡(luò)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2016年

5 黃倩;一種基于FPGA的神經(jīng)網(wǎng)絡(luò)分類(lèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];云南大學(xué);2015年

6 張建華;基于深度學(xué)習(xí)的語(yǔ)音識(shí)別應(yīng)用研究[D];北京郵電大學(xué);2015年

7 劉培龍;基于FPGA的神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的研究與設(shè)計(jì)[D];電子科技大學(xué);2012年

8 安婧;基于FPGA的高速矩陣運(yùn)算算法研究[D];中北大學(xué);2009年

9 林皓;基于FPGA的矩陣運(yùn)算實(shí)現(xiàn)[D];南京理工大學(xué);2007年

10 包晗;FPGA器件的應(yīng)用研究[D];大連海事大學(xué);2006年

本文編號(hào)：2603754