【摘要】：近年來神經網絡算法的發(fā)展和進步推動著人工智能領域的興起和發(fā)展。神經網絡算法在計算機視覺、自然語言處理等領域取得了巨大成功,能夠出色的完成圖像識別、目標檢測、語音識別、機器翻譯等各種任務。神經網絡算法由于其算法結構計算量大,為了滿足對數(shù)據(jù)的快速處理和實時應用的要求,需要對神經網絡算法進行加速。對神經網絡算法的加速主要有三種平臺,分別為GPU、ASIC和FPGA。GPU有出色的計算性能,但是GPU的功耗較高,主要應用于神經網絡算法的訓練加速。ASIC能達到較高能效比,但是ASIC的開發(fā)周期長、研發(fā)成本高,而且靈活性差。FPGA相比于GPU能達到更高的能效比,相比于ASIC更加靈活可以進行重構,實現(xiàn)不同算法的硬件加速。因此,本文采用FPGA來進行神經網絡算法的硬件加速研究。另外,由于HLS技術的發(fā)展和成熟,使得FPGA的開發(fā)變得更加便捷。本文采用了OpenCL進行FPGA開發(fā),相比于傳統(tǒng)Verilog的硬件描述語言的開發(fā),大大減少的開發(fā)周期,能更加容易的完成神經網絡算法的FPGA實現(xiàn)。本文對神經網絡算法的FPGA加速研究主要在兩個方面,分別是卷積神經網絡和LSTM循環(huán)神經網絡。針對卷積神經網絡,從優(yōu)化內存訪問和提高并行計算程度兩方面對不同的功能層進行設計。通過設計矩陣乘法模塊完成對卷積層和全連接層的并行計算加速,設計線性緩沖結構使池化層流水線處理,提出并行流水線執(zhí)行策略提高各功能模塊的使用效率提升系統(tǒng)整體性能。本文的設計方案在Stratix-V GXA7 FPGA上卷積神經網絡可以達到73.26GOPS的吞吐量。對于LSTM循環(huán)神經網絡的FPGA加速研究,本文不僅進行了LSTM網絡的FPGA硬件加速設計,還提出了硬件設計友好的結構化剪枝算法。本文針對LSTM網絡提出的結構化剪枝算法可以實現(xiàn)對權值矩陣的列方向的剪枝,不僅可以達到很好的模型剪枝壓縮效果,還可以消除由于稀疏性帶來的不規(guī)則內存訪問和計算。然后,本文對LSTM網絡進行了大量并行計算單元設計并進行了粗粒度的層級流水線優(yōu)化,提高了整體的計算效率,實現(xiàn)了對LSTM網絡的加速。最后,在語言模型和聲學模型的FPGA加速上,本文的設計方法達到了非常好的加速效果。在8倍壓縮的語言模型上可以達到681.6GOPS的有效計算吞吐量和946.63%的計算效率,在4倍壓縮的聲學模型上也能達到339.7GOPS的有效計算吞吐量和482.61%的計算效率。
【圖文】：

ifN 幅輸入特征圖中相應區(qū)域和卷積核進行乘加累加得到。下圖2-1展示的是卷積層計算一幅輸出特征圖的過程，，每幅輸入特征圖對應一個卷積核，輸入圖中不同顏色的虛線框對應著不同的輸出，每一個輸出是由不同輸入圖相同位置和卷積核乘積累加而得到。每一個輸出是輸入的局部信息處理結果，反映了局部的特征信息，同一輸入特征圖使用相同卷積核進行特征處理，這是卷積網絡中的權重共享機制。卷積層計算過程和圖像處理中的濾波處理是相似的，卷積核對應著濾波算子，只是在圖像處理中濾波算子通常是預先設置好的，而在卷積神經網絡中卷積核是要通過訓練后得到。通過構建多層卷積網絡，然后進行網絡訓練得到不同的卷積核

池化計算示意圖
【學位授予單位】：武漢大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TN791;TP183

【相似文獻】

相關期刊論文 前10條

1 李維斌;;神經網絡算法在水泥生產線中的優(yōu)化分析[J];四川水泥;2018年08期

2 劉念;王楓;;深度神經網絡算法研究及應用[J];科技資訊;2017年27期

3 袁冬;林勇;;采用GA-BP神經網絡算法改善壓力傳感器的穩(wěn)定性[J];化工自動化及儀表;2015年11期

4 謝清秀;;計算機網絡連接增強優(yōu)化中的均場神經網絡算法[J];數(shù)碼世界;2017年02期

5 許炎駿;陳端端;;人工智能藝術領域階段性應用調研報告[J];藝術學界;2017年01期

6 劉愛江;黃長慧;胡光俊;;基于改進神經網絡算法的木馬控制域名檢測方法[J];電信科學;2014年07期

7 高堅;計算機網絡連接增強優(yōu)化中的均場神經網絡算法[J];計算機工程;2003年09期

8 汪永元;;基于BP神經網絡算法的超高電梯投資分析[J];鐵道勘測與設計;2017年02期

9 趙健;陶元芳;王愛紅;許增杰;;BP神經網絡算法用于專業(yè)機械快速設計[J];機械設計與制造;2019年07期

10 方芳;;基于神經網絡算法的大數(shù)據(jù)分析方法研究[J];軟件工程;2018年09期

相關會議論文 前10條

1 邱永紅;潘亞漢;;基于神經網絡算法的自適應數(shù)字波束形成技術[A];'99系統(tǒng)仿真技術及其應用學術交流會論文集[C];1999年

2 陳玉敏;萬幼川;;結合矢量的神經網絡算法用于遙感影像分類研究[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 蔡冰清;徐思雅;亓峰;葛維春;周桂平;于波濤;;基于SA-BP神經網絡算法的光接入網絡通道質量評估方法[A];2017電力行業(yè)信息化年會論文集[C];2017年

4 熱合木江;艾尼瓦爾·吐爾地;尼加提·吐爾遜;古麗·吐爾遜;胡得來提;;一種遺傳神經網絡算法及其在石油資源預測中的應用[A];全國第十五屆計算機科學與技術應用學術會議論文集[C];2003年

5 耿兆豐;吳永敢;;基于神經網絡算法的路經規(guī)劃[A];1992年中國控制與決策學術年會論文集[C];1992年

6 嚴雋薇;朱柳明;蕭蘊詩;;高階關聯(lián)神經網絡算法研究[A];1996年中國智能自動化學術會議論文集（上冊）[C];1996年

7 李勇剛;桂衛(wèi)華;陽春華;蔡自興;;基于神經網絡算法的鋅電解過程分時供電優(yōu)化調度系統(tǒng)的研究[A];第二十屆中國控制會議論文集（下）[C];2001年

8 朱喜林;孫海濱;;機械加工參數(shù)的模糊神經網絡算法[A];面向制造業(yè)的自動化與信息化技術創(chuàng)新設計的基礎技術——2001年中國機械工程學會年會暨第九屆全國特種加工學術年會論文集[C];2001年

9 渠展展;王偉;劉峗甲;劉家亮;;改進粒子群-神經網絡算法在中長期電力負荷預測中的應用[A];2017智能電網信息化建設研討會論文集[C];2017年

10 劉慧;許曉鳴;張鐘俊;;CMAC神經網絡算法的研究[A];1995中國控制與決策學術年會論文集[C];1995年

相關重要報紙文章 前4條

1 科大訊飛股份有限公司市場部總經理 任萍萍;人工智能將在三大領域替代人類[N];經濟參考報;2016年

2 黃魚 遙歌 曉中 叢文 蘇曉;細數(shù)人工智能的“新身份”[N];人民郵電;2017年

3 王浩;為藥店追趕人工智能潮獻策[N];醫(yī)藥經濟報;2017年

4 郝卡倫;如何用神經網絡算法開發(fā)人工智能軟件[N];人民郵電;2019年

相關博士學位論文 前9條

1 曾U喺

本文編號：2615948