【摘要】：近年來(lái),深度學(xué)習(xí)(Deep Learning)的研究和應(yīng)用進(jìn)入了爆發(fā)階段,出現(xiàn)了多個(gè)適用于移動(dòng)端的神經(jīng)網(wǎng)絡(luò)以及一些模型壓縮算法,神經(jīng)網(wǎng)絡(luò)開(kāi)始大規(guī)模應(yīng)用到嵌入式平臺(tái),進(jìn)而產(chǎn)生了越來(lái)越多的面向嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)計(jì)算框架。這些計(jì)算框架主要使用ARM CPU、GPU(Graphics Processing Unit)或者FPGA(Field Programmable Gate Arrays)作為計(jì)算加速硬件,但是這些硬件在性能、成本或者功耗上都存在一些問(wèn)題,難以在這三者之間達(dá)到一個(gè)較好的平衡,導(dǎo)致這些框架尚未在嵌入式領(lǐng)域大規(guī)模應(yīng)用。相比而言,DSP(Digital Signal Processor)具有較好的性能以及較低的成本和功耗,因此,本文調(diào)研了目前嵌入式平臺(tái)神經(jīng)網(wǎng)絡(luò)加速框架存在的問(wèn)題,研究與實(shí)現(xiàn)了基于DSP計(jì)算優(yōu)化的輕量級(jí)神經(jīng)網(wǎng)絡(luò)計(jì)算框架——Lightweight Accelerator for Neural Networks on Embedded System,簡(jiǎn)稱LANNES。該計(jì)算框架在嵌入式平臺(tái)既有不錯(cuò)的性能,又能較好地控制成本和功耗,是一個(gè)適用于神經(jīng)網(wǎng)絡(luò)在嵌入式平臺(tái)大規(guī)模應(yīng)用的解決方案。本文設(shè)計(jì)了適用于DSP平臺(tái)的神經(jīng)網(wǎng)絡(luò)計(jì)算框架的架構(gòu)和底層加速機(jī)制�？蚣芗軜�(gòu)主要包含三部分:LANNES模型和網(wǎng)絡(luò)文件、LANNES基礎(chǔ)組件和LANNES加速器。在此基礎(chǔ)上本文實(shí)現(xiàn)了框架的模型和網(wǎng)絡(luò)文件的轉(zhuǎn)換與加載以及框架的各個(gè)基礎(chǔ)組件,充分利用DSP的特殊架構(gòu),利用內(nèi)存優(yōu)化算法和CPU指令級(jí)并行優(yōu)化手段,實(shí)現(xiàn)了DSP加速器的性能最大化。本文對(duì)所實(shí)現(xiàn)的LANNES框架的性能和精度進(jìn)行了測(cè)試和驗(yàn)證,測(cè)試表明基于DSP實(shí)現(xiàn)的LANNES框架性價(jià)比高于基于GPU實(shí)現(xiàn)的框架,且性能領(lǐng)先于基于更高成本的4核心ARM CPU實(shí)現(xiàn)的計(jì)算框架,同時(shí)LANNES還具有非常輕量、高易用性和低功耗等優(yōu)點(diǎn),此外又能保證計(jì)算結(jié)果的精度不會(huì)受到框架的影響。本研究所提出的基于DSP實(shí)現(xiàn)的輕量級(jí)神經(jīng)網(wǎng)絡(luò)計(jì)算框架可以作為神經(jīng)網(wǎng)絡(luò)在嵌入式平臺(tái)大規(guī)模應(yīng)用的優(yōu)秀解決方案。
【圖文】：

圖 1-1 SNPE 架構(gòu)設(shè)計(jì)[23]由于 DSP 的開(kāi)發(fā)成本相對(duì)于 CPU 和 GPU 較大，而在性能方面能獲得的收不如 FPGA，因此，國(guó)內(nèi)外有關(guān)基于 DSP 的神經(jīng)網(wǎng)絡(luò)計(jì)算框架且具有實(shí)用和通用性的研究相當(dāng)匱乏，不如 GPU、FPGA 豐富，而已有的基于 DSP 的網(wǎng)絡(luò)方面的研究又大多數(shù)都停留在基于 DSP 實(shí)現(xiàn)的某種具體算法的層面[2但是隨著 DSP 廠商逐漸重視其在將神經(jīng)網(wǎng)絡(luò)應(yīng)用到嵌入式平臺(tái)過(guò)程中的作并提供更多的高級(jí)開(kāi)發(fā)接口，DSP 的開(kāi)發(fā)難度也有所下降。綜上所述，目前對(duì)面向嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)計(jì)算框架的研究仍存在以下問(wèn)1) 神經(jīng)網(wǎng)絡(luò)在嵌入式平臺(tái)的計(jì)算框架大都使用 ARM CPU 和 GPU 作為加速硬件，極少使用性能、成本和功耗比較平衡的 DSP 的；2) 對(duì)于少數(shù)支持 DSP 作為加速硬件的框架，，如 MACE 和 SNPE，由于其對(duì)軟硬件平臺(tái)和開(kāi)發(fā)條件的限制導(dǎo)致其實(shí)用價(jià)值和通用性低；

圖 2-1 神經(jīng)元模型神經(jīng)元的模型中，從輸入到計(jì)算這一過(guò)程稱為“連接”，每一個(gè)相應(yīng)的權(quán)重。多個(gè)神經(jīng)元組合在一起就成了一個(gè)網(wǎng)絡(luò)層，單層神器，就是只有輸入層和輸出層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中輸入層不做層會(huì)做計(jì)算。單層神經(jīng)網(wǎng)絡(luò)中的權(quán)值也是通過(guò)訓(xùn)練得到，由于它模型，因此只能處理線性問(wèn)題。度神經(jīng)網(wǎng)絡(luò)著研究的深入，研究者嘗試在單層神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之將其稱之為隱藏層，其模型如圖 2-2 所示。后來(lái)的理論研究證明網(wǎng)絡(luò)，兩層的神經(jīng)網(wǎng)絡(luò)可以擬合任何連續(xù)函數(shù)[39]，即兩層神經(jīng)網(wǎng)性問(wèn)題。
【學(xué)位授予單位】：蘭州大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP368.1;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高行山,李紅達(dá),葉天麒;結(jié)構(gòu)分析和設(shè)計(jì)中神經(jīng)網(wǎng)絡(luò)計(jì)算研究評(píng)述[J];計(jì)算力學(xué)學(xué)報(bào);2000年02期

2 李建中;;神經(jīng)網(wǎng)絡(luò)計(jì)算與生物神經(jīng)活動(dòng)[J];陰山學(xué)刊(自然科學(xué)版);2006年02期

3 來(lái)興平,蔡美峰,張冰川;神經(jīng)網(wǎng)絡(luò)計(jì)算在采場(chǎng)結(jié)構(gòu)參數(shù)分析中的應(yīng)用[J];煤炭學(xué)報(bào);2001年03期

4 M.D.McCormack;朱廣生;劉瑞林;;地球物理學(xué)中的神經(jīng)網(wǎng)絡(luò)計(jì)算[J];國(guó)外油氣勘探;1991年06期

5 朱偉利，陳巖松;用光學(xué)方法實(shí)現(xiàn)多值神經(jīng)網(wǎng)絡(luò)計(jì)算[J];量子電子學(xué);1995年01期

6 王利;;用神經(jīng)網(wǎng)絡(luò)計(jì)算技術(shù)從有限氣候資料估算實(shí)際蒸發(fā)蒸騰量[J];四川水利;2008年03期

7 史治平;神經(jīng)網(wǎng)絡(luò)計(jì)算孔隙度時(shí)的樣本選擇方法研究[J];四川工業(yè)學(xué)院學(xué)報(bào);2000年03期

8 章錦文;馬遠(yuǎn)良;;用于神經(jīng)網(wǎng)絡(luò)計(jì)算的多處理機(jī)系統(tǒng)[J];模式識(shí)別與人工智能;1994年02期

9 江明德,健生;用面向?qū)ο蟪绦蛟O(shè)計(jì)模擬神經(jīng)網(wǎng)絡(luò)計(jì)算[J];計(jì)算機(jī)應(yīng)用;1992年06期

10 Muhammad Asif Zahoor RAJA;Iftikhar AHMAD;Imtiaz KHAN;Muhammed Ibrahem SYAM;Abdul Majid WAZWAZ;;用于解決非線性受電弓系統(tǒng)的啟發(fā)式神經(jīng)網(wǎng)絡(luò)計(jì)算（英文）[J];Frontiers of Information Technology & Electronic Engineering;2017年04期

相關(guān)會(huì)議論文 前9條

1 朱堅(jiān)民;周福章;龐全;;多機(jī)并行處理完成神經(jīng)網(wǎng)絡(luò)計(jì)算[A];1995年中國(guó)控制會(huì)議論文集（上）[C];1995年

2 陳建功;張永興;;土層固結(jié)系數(shù)的神經(jīng)網(wǎng)絡(luò)計(jì)算法[A];巖石力學(xué)新進(jìn)展與西部開(kāi)發(fā)中的巖土工程問(wèn)題——中國(guó)巖石力學(xué)與工程學(xué)會(huì)第七次學(xué)術(shù)大會(huì)論文集[C];2002年

3 羅立強(qiáng);;神經(jīng)網(wǎng)絡(luò)計(jì)算與X射線光譜分析研究[A];中國(guó)地質(zhì)科學(xué)院“九五”科技成果匯編[C];2001年

4 朱偉利;陳巖松;;用光學(xué)方法實(shí)現(xiàn)多值神經(jīng)網(wǎng)絡(luò)計(jì)算[A];第二屆光學(xué)前沿問(wèn)題學(xué)術(shù)討論會(huì)論文摘要集[C];1994年

5 鄭南寧;;類腦計(jì)算的問(wèn)題與視覺(jué)認(rèn)知[A];2015年中國(guó)自動(dòng)化大會(huì)摘要集[C];2015年

6 吳瓊;;人工神經(jīng)網(wǎng)絡(luò)在基片集成波導(dǎo)濾波器設(shè)計(jì)中的應(yīng)用[A];安徽省第五屆“興皖之光”青年學(xué)術(shù)年會(huì)論文集（工科卷）[C];2005年

7 鄭南寧;任鵬舉;陳霸東;吳昊;;類腦(受腦啟發(fā)的)計(jì)算的問(wèn)題與視覺(jué)認(rèn)知[A];第十九屆中國(guó)科協(xié)年會(huì)——分5“智能制造引領(lǐng)東北工業(yè)基地振興”交流研討會(huì)論文集[C];2017年

8 張玉璽;劉寒穎;張耀天;;基于FPGA的sigmoid函數(shù)實(shí)現(xiàn)[A];第十屆全國(guó)信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2016年

9 陳文新;王長(zhǎng)富;戴蓓倩;;基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)四聲識(shí)別[A];第一屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC1990）論文集[C];1990年

相關(guān)重要報(bào)紙文章 前3條

1 微納電子系;微納電子系魏少軍團(tuán)隊(duì)在可重構(gòu)神經(jīng)網(wǎng)絡(luò)計(jì)算芯片領(lǐng)域取得重大進(jìn)展[N];新清華;2017年

2 記者 錢(qián)童心;人工智能獲評(píng)未來(lái)10年最具破壞性技術(shù)[N];第一財(cái)經(jīng)日?qǐng)?bào);2017年

3 智雯;英特爾推出神經(jīng)網(wǎng)絡(luò)計(jì)算單芯片VPU[N];人民郵電;2017年

相關(guān)博士學(xué)位論文 前1條

1 李海濱;結(jié)構(gòu)有限元分析神經(jīng)網(wǎng)絡(luò)計(jì)算研究[D];大連理工大學(xué);2003年

相關(guān)碩士學(xué)位論文 前7條

1 謝啟榮;基于DSP的嵌入式神經(jīng)網(wǎng)絡(luò)計(jì)算框架設(shè)計(jì)與實(shí)現(xiàn)[D];蘭州大學(xué);2019年

2 龐淑婷;安全兩方的神經(jīng)網(wǎng)絡(luò)計(jì)算和學(xué)習(xí)[D];廣州大學(xué);2010年

3 崔立X;有限元神經(jīng)網(wǎng)絡(luò)計(jì)算及其電路實(shí)現(xiàn)研究[D];內(nèi)蒙古工業(yè)大學(xué);2005年

4 沈林楓;機(jī)器人動(dòng)力學(xué)方程的神經(jīng)網(wǎng)絡(luò)計(jì)算[D];北京工業(yè)大學(xué);2000年

5 陳莉;軟計(jì)算方法應(yīng)用于智能決策系統(tǒng)知識(shí)處理中的研究[D];西南交通大學(xué);2005年

6 尹潘;神經(jīng)網(wǎng)絡(luò)系統(tǒng)開(kāi)發(fā)及巷道變形研究[D];武漢科技大學(xué);2003年

7 孫龍龍;結(jié)合律對(duì)浮點(diǎn)數(shù)加法精確度影響的研究[D];西北師范大學(xué);2014年

本文編號(hào)：2634310