本文關(guān)鍵詞：基于FPGA的大規(guī)模脈沖深度神經(jīng)網(wǎng)絡(luò)片上系統(tǒng)設(shè)計與研究，由筆耕文化傳播整理發(fā)布。

【摘要】：自深度神經(jīng)網(wǎng)絡(luò)被提出以來,就因其在處理實際問題中所表現(xiàn)的優(yōu)秀性能而成為人工神經(jīng)網(wǎng)絡(luò)的主流研究方向。但是,隨著深度神經(jīng)網(wǎng)絡(luò)研究的不斷深入以及處理問題的復(fù)雜度不斷增加,深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)計算復(fù)雜度也隨之成倍提升。總體來說,在深度神經(jīng)網(wǎng)絡(luò)的計算中存在著存儲復(fù)雜度高,計算復(fù)雜度高,數(shù)據(jù)傳輸帶寬大的挑戰(zhàn)。論文的研究目的是設(shè)計一種面向嵌入式系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器,用以實現(xiàn)低功耗,高效的大規(guī)模深度神經(jīng)網(wǎng)絡(luò)實時計算。論文通過對包括對深度置信網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)兩種網(wǎng)絡(luò)模型的主流神經(jīng)網(wǎng)絡(luò)模型中存在的計算和存儲復(fù)雜的問題進行研究,提出了一種面向硬件友好的脈沖深度神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練算法,并且據(jù)此設(shè)計了一種基于片上系統(tǒng)的,具有可擴展性和一致性的高速脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器。論文的主要研究成果如下:(1)提出了一種脈沖驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練算法。論文通過綜合分析具有較強實際問題處理能力的深度神經(jīng)網(wǎng)絡(luò)模型以及在硬件實現(xiàn)中具有易于實現(xiàn)和低功耗特點的脈沖神經(jīng)網(wǎng)絡(luò)模型,提出了包含脈沖深度置信網(wǎng)絡(luò)和脈沖卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)的脈沖深度神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練算法。(2)設(shè)計了一種通用的脈沖深度神經(jīng)網(wǎng)絡(luò)存儲和計算硬件架構(gòu)。為了實現(xiàn)兼容脈沖深度置信網(wǎng)絡(luò)和脈沖卷積神經(jīng)網(wǎng)絡(luò)兩種網(wǎng)絡(luò)模型的存儲和計算,論文提出了將兩種網(wǎng)絡(luò)模型轉(zhuǎn)換得到一致的稀疏前饋網(wǎng)絡(luò)結(jié)構(gòu),然后設(shè)計了一種基于索引查找表的一致性硬件架構(gòu)來實現(xiàn)對轉(zhuǎn)換后的脈沖深度神經(jīng)網(wǎng)絡(luò)進行計算,并且在硬件架構(gòu)設(shè)計中引入了層次化流水和低功耗的硬件優(yōu)化設(shè)計來提高硬件的計算效率,降低硬件的計算功耗。(3)設(shè)計實現(xiàn)了一種基于Xilinx片上系統(tǒng)的,針對脈沖深度神經(jīng)網(wǎng)絡(luò)的,具有一致性、低功耗特性的脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器,并對其進行綜合驗證分析,最終實現(xiàn)了原型系統(tǒng)的設(shè)計與驗證。
【關(guān)鍵詞】：脈沖深度神經(jīng)網(wǎng)絡(luò) 索引查找表 片上系統(tǒng) 協(xié)處理器
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP183;TN791
【目錄】：

• 中文摘要3-4
• 英文摘要4-7
• 1 緒論7-13
• 1.1 引言7
• 1.2 研究背景及意義7-8
• 1.3 研究現(xiàn)狀8-11
• 1.3.1 專用加速計算硬件研究8-9
• 1.3.2 脈沖神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)9-11
• 1.4 研究內(nèi)容及章節(jié)安排11-13
• 2 脈沖深度神經(jīng)網(wǎng)絡(luò)13-33
• 2.1 主流深度神經(jīng)網(wǎng)絡(luò)模型與算法13-17
• 2.1.1 深度置信網(wǎng)絡(luò)模型與算法13-15
• 2.1.2 卷積神經(jīng)網(wǎng)絡(luò)模型與算法15-17
• 2.2 脈沖神經(jīng)網(wǎng)絡(luò)模型17-22
• 2.2.1 脈沖響應(yīng)模型19
• 2.2.2 累積釋放模型19-21
• 2.2.3 脈沖神經(jīng)網(wǎng)絡(luò)模型21-22
• 2.3 脈沖深度置信網(wǎng)絡(luò)與算法22-28
• 2.3.1 脈沖深度置信網(wǎng)絡(luò)模型22-25
• 2.3.2 脈沖深度置信網(wǎng)絡(luò)訓(xùn)練算法25-28
• 2.4 脈沖卷積神經(jīng)網(wǎng)絡(luò)與算法28-33
• 2.4.1 脈沖卷積神經(jīng)網(wǎng)絡(luò)模型28-30
• 2.4.2 脈沖卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法30-33
• 3 脈沖深度神經(jīng)網(wǎng)絡(luò)硬件架構(gòu)設(shè)計33-47
• 3.1 硬件架構(gòu)設(shè)計思路與指標(biāo)33-34
• 3.1.1 硬件架構(gòu)設(shè)計思路33
• 3.1.2 硬件架構(gòu)設(shè)計關(guān)鍵指標(biāo)33-34
• 3.2 索引查找表結(jié)構(gòu)34-38
• 3.2.1 稀疏前饋型脈沖深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)34-36
• 3.2.2 基于索引查找表的網(wǎng)絡(luò)存儲結(jié)構(gòu)36-38
• 3.3 脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器架構(gòu)38-40
• 3.3.1 脈沖神經(jīng)網(wǎng)絡(luò)處理單元38-39
• 3.3.2 脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器架構(gòu)39-40
• 3.4 多層次流水線設(shè)計40-45
• 3.4.1 協(xié)處理器頂層流水線設(shè)計40-41
• 3.4.2 脈沖神經(jīng)網(wǎng)絡(luò)處理單元內(nèi)部流水線設(shè)計41-44
• 3.4.3 底層子模塊流水線設(shè)計44-45
• 3.5 低功耗設(shè)計45-47
• 4 脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器硬件設(shè)計47-61
• 4.1 脈沖深度神經(jīng)網(wǎng)絡(luò)計算協(xié)處理器頂層設(shè)計47-48
• 4.2 脈沖神經(jīng)網(wǎng)絡(luò)處理單元設(shè)計與驗證48-56
• 4.2.1 脈沖神經(jīng)網(wǎng)絡(luò)計算單元49-50
• 4.2.2 事件地址表控制器模塊50-51
• 4.2.3 權(quán)值參數(shù)表控制器模塊51-53
• 4.2.4 乘累加計算模塊53-54
• 4.2.5 閾值函數(shù)計算模塊54-55
• 4.2.6 單元工作狀態(tài)控制模塊55-56
• 4.3 綜合仿真結(jié)果及分析56-61
• 5 協(xié)處理器原型系統(tǒng)設(shè)計與實現(xiàn)61-69
• 5.1 原型系統(tǒng)設(shè)計61-65
• 5.1.1 原型系統(tǒng)平臺61-62
• 5.1.2 原型系統(tǒng)軟件設(shè)計62-64
• 5.1.3 原型系統(tǒng)集成64-65
• 5.2 原型系統(tǒng)功能驗證和性能測試65-67
• 5.3 基于深度學(xué)習(xí)網(wǎng)絡(luò)的視覺輔助駕駛系統(tǒng)67-69
• 6 總結(jié)與展望69-71
• 6.1 工作總結(jié)69-70
• 6.2 工作展望70-71
• 致謝71-73
• 參考文獻(xiàn)73-77
• 附錄77
• A. 作者在攻讀學(xué)位期間申請的專利77
• B. 作者在攻讀學(xué)位期間的獲獎情況77

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進化神經(jīng)網(wǎng)絡(luò)的研究進展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進;保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠(yuǎn);萬強;曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 美國明尼蘇達(dá)大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 健康時報特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進水平[N];中國電子報;2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報;2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 張海軍;基于云計算的神經(jīng)網(wǎng)絡(luò)并行實現(xiàn)及其學(xué)習(xí)方法研究[D];華南理工大學(xué);2015年

9 李艷晴;風(fēng)速時間序列預(yù)測算法研究[D];北京科技大學(xué);2016年

10 陳輝;多維超精密定位系統(tǒng)建模與控制關(guān)鍵技術(shù)研究[D];東南大學(xué);2015年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 章穎;混合不確定性模塊化神經(jīng)網(wǎng)絡(luò)與高校效益預(yù)測的研究[D];華南理工大學(xué);2015年

2 賈文靜;基于改進型神經(jīng)網(wǎng)絡(luò)的風(fēng)力發(fā)電系統(tǒng)預(yù)測及控制研究[D];燕山大學(xué);2015年

3 李慧芳;基于憶阻器的渦卷混沌系統(tǒng)及其電路仿真[D];西南大學(xué);2015年

4 陳彥至;神經(jīng)網(wǎng)絡(luò)降維算法研究與應(yīng)用[D];華南理工大學(xué);2015年

5 董哲康;基于憶阻器的組合電路及神經(jīng)網(wǎng)絡(luò)研究[D];西南大學(xué);2015年

6 武創(chuàng)舉;基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類研究[D];昆明理工大學(xué);2015年

7 李志杰;基于神經(jīng)網(wǎng)絡(luò)的上證指數(shù)預(yù)測研究[D];華南理工大學(xué);2015年

8 陳少吉;基于神經(jīng)網(wǎng)絡(luò)血壓預(yù)測研究與系統(tǒng)實現(xiàn)[D];華南理工大學(xué);2015年

9 張韜;幾類時滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];渤海大學(xué);2015年

10 邵雪瑩;幾類時滯不確定神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D];渤海大學(xué);2015年

  本文關(guān)鍵詞：基于FPGA的大規(guī)模脈沖深度神經(jīng)網(wǎng)絡(luò)片上系統(tǒng)設(shè)計與研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：297855