本文選題：卷積神經(jīng)網(wǎng)絡(luò) + 硬件加速　； 參考：《電子科技大學(xué)》2017年碩士論文

【摘要】：隨著計算機性能的不斷發(fā)展,以及對機器學(xué)習(xí)領(lǐng)域的深入研究,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)成為了近年以來最為熱門的機器學(xué)習(xí)算法之一。由于其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法,卷積神經(jīng)網(wǎng)絡(luò)是極為耗費計算資源的一種算法。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是基于通用中央處理器(central processing unit,CPU)執(zhí)行計算的,這樣的計算不但緩慢低效,而且難以滿足實時性的計算要求。由于現(xiàn)場可編程門陣列(field-programmable gate array,FPGA)具有高度的并行性以及靈活性,能夠更好的承擔(dān)卷積神經(jīng)網(wǎng)絡(luò)的計算任務(wù)。本文基于FPGA硬件提出了對卷積神經(jīng)網(wǎng)絡(luò)計算的加速方法,使用該方法對ETL9B手寫日本語數(shù)據(jù)庫進行了識別驗證,獲得了99.7%的識別正確率,同時減少了約90%的時間消耗。首先,本文第一章簡單介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本概念以及應(yīng)用背景。闡述了卷積神經(jīng)網(wǎng)絡(luò)算法的發(fā)展?fàn)顩r,尤其是基于硬件的卷積神經(jīng)網(wǎng)絡(luò)的現(xiàn)狀及不足,提出了基于硬件卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計方案。其次,在第二章中本文詳細介紹了卷積神經(jīng)網(wǎng)絡(luò)的工作原理,包括圖像卷積,池化采樣,激活函數(shù)的計算以及反向傳播的訓(xùn)練方法,文章還簡要介紹了幾種著名的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。再次,本文第三章詳細闡述了基于坐標(biāo)旋轉(zhuǎn)數(shù)字計算方法(coordinate rotation digital computer,CORDIC)的激活函數(shù)計算原理,并且對傳統(tǒng)的CORDIC算法進行了優(yōu)化。提出了一種基于查找表和貪心策略相結(jié)合的綜合旋轉(zhuǎn)策略(unified rotation strategy,URS),加快了傳統(tǒng)CORDIC算法的迭代收斂過程。第四章,詳細分析了基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)硬件加速器的設(shè)計,完成了CORDIC處理器的設(shè)計,卷積核的設(shè)計,池化采樣模塊的設(shè)計,以及控制模塊的設(shè)計。最后,在第五章中給出了設(shè)計系統(tǒng)的仿真及測試結(jié)果,并且使用設(shè)計的系統(tǒng)對ETL9B手寫日本語數(shù)據(jù)庫進行了訓(xùn)練,驗證了系統(tǒng)的可靠性。對比軟件系統(tǒng)的訓(xùn)練結(jié)果,極大的縮減了訓(xùn)練時間,體現(xiàn)出FPGA在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的優(yōu)勢。
[Abstract]:With the continuous development of computer performance and the in-depth study of machine learning, convolutional neural network has become one of the most popular machine learning algorithms in recent years. Because of its complex network structure and training method, convolution neural network is a very expensive algorithm. The traditional convolution neural network is based on the general central processor central processing unit CPU. This kind of computation is not only slow and inefficient, but also difficult to meet the requirements of real-time computing. Because field-programmable gate array (field-programmable gate array FPGA) has high parallelism and flexibility, it can take on the computing task of convolution neural network better. Based on FPGA hardware, an accelerated method for computing convolutional neural networks is proposed in this paper. The method is used to validate the recognition of ETL9B handwritten Japanese language database. The recognition accuracy is 99.7% and the time consumption is reduced by 90%. In the first chapter, the basic concept and application background of convolution neural network are introduced. This paper describes the development of convolution neural network algorithms, especially the current situation and shortcomings of hardware-based convolution neural networks, and puts forward the design scheme of the accelerator based on hardware convolution neural networks. Secondly, in the second chapter, the working principle of convolution neural network is introduced in detail, including image convolution, pool sampling, calculation of activation function and training method of back propagation. Several famous convolution neural networks are also briefly introduced in this paper. Thirdly, in chapter 3, the principle of coordinate rotation digital computer Cordic is discussed in detail, and the traditional CORDIC algorithm is optimized. An integrated rotation strategy based on lookup table and greedy strategy is proposed, which speeds up the iterative convergence of the traditional CORDIC algorithm. In chapter 4, the design of convolution neural network hardware accelerator based on FPGA is analyzed in detail. The design of CORDIC processor, convolution core, pool sampling module and control module are completed. Finally, the simulation and test results of the design system are given in Chapter 5, and the ETL9B handwritten Japanese language database is trained with the designed system to verify the reliability of the system. Compared with the training results of the software system, the training time is greatly reduced, which reflects the advantages of FPGA in the training of convolution neural networks.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TN791;TP183

【相似文獻】

相關(guān)期刊論文 前10條

1 楊曉帥 ,付玫;神經(jīng)網(wǎng)絡(luò)技術(shù)讓管理更輕松[J];軟件世界;2000年11期

2 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

3 唐春明,高協(xié)平;進化神經(jīng)網(wǎng)絡(luò)的研究進展[J];系統(tǒng)工程與電子技術(shù);2001年10期

4 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

5 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機工程與應(yīng)用;2004年21期

6 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

7 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

8 趙奇 ,劉開第 ,龐彥軍;灰色補償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機信息;2005年14期

9 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

10 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

相關(guān)會議論文 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進;保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠;萬強;曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 美國明尼蘇達大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 健康時報特約記者　 張獻懷;干細胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達國際先進水平[N];中國電子報;2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報;2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報;2006年

相關(guān)博士學(xué)位論文 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計算的神經(jīng)網(wǎng)絡(luò)并行實現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 王思陽;基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)加速器設(shè)計[D];電子科技大學(xué);2017年

2 沈陽靖;基于FPGA的脈沖神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計[D];杭州電子科技大學(xué);2017年

3 石強勝;GVM神經(jīng)網(wǎng)絡(luò)的FPGA實現(xiàn)[D];蘭州大學(xué);2017年

4 郭田梅;基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法研究[D];濟南大學(xué);2017年

5 裴子龍;基于卷積神經(jīng)網(wǎng)絡(luò)的人臉性別識別研究[D];山西師范大學(xué);2017年

6 史曉霞;卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用分析[D];廣東工業(yè)大學(xué);2017年

7 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

8 賈文靜;基于改進型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

9 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

10 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

，

本文編號：1990502