本文關(guān)鍵詞：基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)加速器，，由筆耕文化傳播整理發(fā)布。

【摘要】：卷積神經(jīng)網(wǎng)絡(luò)是一種源自人工神經(jīng)網(wǎng)絡(luò)的多層感知器,它對(duì)圖像的平移、比例縮放、傾斜等形式的變形具有高度的適應(yīng)性,是提取圖形特征的靈敏傳感器,近年來得到越來越廣泛的應(yīng)用。目前,卷積神經(jīng)網(wǎng)絡(luò)主要基于通用處理器實(shí)現(xiàn),但基于軟件方式無法充分挖掘卷積神經(jīng)網(wǎng)絡(luò)的并行性,在實(shí)時(shí)性和功耗方面都不能滿足應(yīng)用的需求。由于FPGA計(jì)算資源豐富、靈活可配、開發(fā)周期短,越來越多研究者開始采用FPGA開發(fā)基于卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用。本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)基本模型,從運(yùn)算效率與數(shù)據(jù)重用兩個(gè)角度分析了卷積運(yùn)算的并行特征,并研究了激活函數(shù)的實(shí)現(xiàn)方式。以此為基礎(chǔ),設(shè)計(jì)了基于FPGA的卷積網(wǎng)絡(luò)加速器。該加速器為主機(jī)+FPGA模式,采用流水結(jié)構(gòu)提升運(yùn)行效率；充分利用多種卷積運(yùn)算并行性以平衡運(yùn)算效率和數(shù)據(jù)載入帶寬的需求；通過PWL逼近實(shí)現(xiàn)激活函數(shù),兼顧了靈活性和資源消耗。在手寫數(shù)字識(shí)別的實(shí)驗(yàn)中,該加速器每周期最多運(yùn)行36次乘累加,在75M的頻率下,峰值運(yùn)算速率可達(dá)到0.915GMAC/s,相比通用CPU可實(shí)現(xiàn)5.65倍的加速,而功耗僅為通用CPU的3.07%。
【關(guān)鍵詞】：卷積神經(jīng)網(wǎng)絡(luò) FPGA 加速 并行 流水
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP183;TN791
【目錄】：

• 致謝4-5
• 摘要5-6
• ABSTRACT6-9
• 第一章 緒論9-14
• 1.1 課題研究背景及意義9
• 1.2 國內(nèi)外研究現(xiàn)狀9-12
• 1.2.1 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用9-11
• 1.2.2 卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方式11-12
• 1.3 本文主要工作與內(nèi)容安排12-14
• 第二章 卷積神經(jīng)網(wǎng)絡(luò)計(jì)算模型分析14-34
• 2.1 卷積神經(jīng)網(wǎng)絡(luò)前向傳播模型14-17
• 2.2 卷積計(jì)算并行性分析17-32
• 2.2.1 卷積計(jì)算并行性18-19
• 2.2.2 卷積窗口內(nèi)部并行實(shí)現(xiàn)分析19-21
• 2.2.3 相同特征圖卷積窗口間并行實(shí)現(xiàn)分析21-25
• 2.2.4 不同輸入特征圖卷積窗口并行25-27
• 2.2.5 輸出特征圖并行27-29
• 2.2.6 并行性組合29-32
• 2.3 激活函數(shù)實(shí)現(xiàn)分析32-33
• 2.4 本章小結(jié)33-34
• 第三章 基于FPGA的加速器設(shè)計(jì)34-48
• 3.1 整體框架34
• 3.2 通用的卷積運(yùn)算單元34-45
• 3.2.1 基本結(jié)構(gòu)35-36
• 3.2.2 基本運(yùn)算實(shí)現(xiàn)過程36-37
• 3.2.3 緩存結(jié)構(gòu)37-40
• 3.2.4 并行度提升40-43
• 3.2.5 全連接層優(yōu)化43-45
• 3.3 激活函數(shù)45
• 3.4 CNN計(jì)算單元完整流水線45-46
• 3.5 本章小結(jié)46-48
• 第四章 實(shí)驗(yàn)與結(jié)果分析48-53
• 4.1 實(shí)驗(yàn)應(yīng)用及網(wǎng)絡(luò)結(jié)構(gòu)48-49
• 4.1.1 MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫48
• 4.1.2 手寫數(shù)字字符識(shí)別網(wǎng)絡(luò)48-49
• 4.2 實(shí)驗(yàn)平臺(tái)與實(shí)驗(yàn)環(huán)境49
• 4.3 實(shí)驗(yàn)實(shí)現(xiàn)結(jié)構(gòu)49-51
• 4.4 實(shí)驗(yàn)結(jié)果分析51-52
• 4.5 本章小結(jié)52-53
• 第五章 結(jié)論53-54
• 參考文獻(xiàn)54-57
• 攻讀學(xué)位期間發(fā)表的論文57

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長(zhǎng)沙鐵道學(xué)院學(xué)報(bào);2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計(jì)角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計(jì)教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計(jì)算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報(bào);2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單規(guī)劃的識(shí)別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

5 鐘義信;;知識(shí)論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報(bào)產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報(bào)應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評(píng)估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會(huì)議論文集[C];2010年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 美國明尼蘇達(dá)大學(xué)社會(huì)學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報(bào);2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計(jì)算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報(bào);2003年

4 中國科技大學(xué)計(jì)算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計(jì)算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日?qǐng)?bào);2007年

6 本報(bào)記者 劉霞;美用DNA制造出首個(gè)人造神經(jīng)網(wǎng)絡(luò)[N];科技日?qǐng)?bào);2011年

7 健康時(shí)報(bào)特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時(shí)報(bào);2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報(bào);2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報(bào);2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報(bào);2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時(shí)滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計(jì)算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計(jì)算的神經(jīng)網(wǎng)絡(luò)并行實(shí)現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時(shí)間序列預(yù)測(cè)算法研究[D];北京科技大學(xué);2016年

10 曾U喺

本文編號(hào)：266221