基于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network,DCNN）的深度學(xué)習(xí)算法在圖像分類、視頻分析和語(yǔ)音識(shí)別等眾多應(yīng)用中顯示出優(yōu)于傳統(tǒng)算法的巨大優(yōu)勢(shì)。DCNN的工作原理是對(duì)輸入網(wǎng)絡(luò)中的圖片,由多個(gè)卷積層從輸入數(shù)據(jù)中提取特征,然后經(jīng)過分類層判斷,最終得到輸出結(jié)果。由于卷積層與全連接層是計(jì)算密集型運(yùn)算,因此DCNN很難在低功耗的系統(tǒng)中實(shí)現(xiàn)實(shí)時(shí)的分類效果。本文基于開放運(yùn)算語(yǔ)言（Open Computing Language,OpenCL）異構(gòu)并行計(jì)算框架提出了一種針對(duì)低成本、低功耗SoC-FPGA的深度卷積神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)。本文首先對(duì)DCNN的計(jì)算復(fù)雜度和并行度進(jìn)行了分析,然后在OpenCL異構(gòu)并行計(jì)算框架下,設(shè)計(jì)了卷積、池化、局部響應(yīng)歸一化、數(shù)據(jù)傳入與數(shù)據(jù)傳出五個(gè)具有特殊數(shù)據(jù)重用和任務(wù)映射方案的加速內(nèi)核,由AlteraOpenCL擴(kuò)展管道連接構(gòu)成一個(gè)深度流水線結(jié)構(gòu),可以執(zhí)行一系列基本的CNN運(yùn)算,而無(wú)需再將層間數(shù)據(jù)存儲(chǔ)回外部存儲(chǔ)器中。這種深度流水結(jié)構(gòu)能顯著減少對(duì)SoC-FPGA至關(guān)重要的內(nèi)存帶寬需求。本文最終的設(shè)計(jì)是在Cyclone-VSoC-FPGA硬... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：63 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１－２將三維卷積映射成矩陣乘法示意圖［１８］??Ｆｉｇｕｒｅ?１－２?Ｓｋｅｔｃｈ?ｍａｐ?ｏｆ?ｍａｐｐｉｎｇ?３Ｄ?ｃｏｎｖｏｌｕｔｉｏｎｓ?ｔｏ?ｍａｔｒｉｘ?ｍｕｌｔｉｐｌｉｃａｔｉｏｎｓ＾１＾??

決問題的方法，端到端的方式具有協(xié)同增效［２１］的優(yōu)勢(shì)，有更大可能獲得全局最優(yōu)??解。??深度卷積神經(jīng)網(wǎng)絡(luò)的基本流程圖如圖２－２所示，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型而言，其??輸入數(shù)據(jù)是未經(jīng)任何人為加工的原始樣本形式，后續(xù)則是堆疊在輸入層上的眾多??操作層。這些操作層整體可看作一個(gè)復(fù)雜的函數(shù)，最終損失函數(shù)由數(shù)據(jù)損失??和模型參數(shù)的正則化損失共同組成，深度模型的訓(xùn)練則在最終損失驅(qū)動(dòng)下對(duì)模型??進(jìn)行參數(shù)更新并將誤差反向傳播至網(wǎng)絡(luò)各層。模型的訓(xùn)練過程可以簡(jiǎn)單抽象為從??原始數(shù)據(jù)向最終目標(biāo)的直接擬合，而中間的這些部件正起到了將原始數(shù)據(jù)映射為??特征隨后再映射為樣本標(biāo)記的作用。??正則損失（Ｒｅｇｕｋｒｉｚａｔｉｏｎ?】ｏｓｓ）??＿＿?一?廠丨門ｉ??Ｊ?｜?１?￡?＾?１１?｜?Ｒｒ?Ｖ：?Ｊ?＾?Ｊ?Ｓ?Ｎ?ｉ?Ｉ＿＿．?Ｉ??＿?＇??——，??數(shù)據(jù)損失（Ｄａｔａ?ｌｏｓｓ）??圖２－２深度卷積神經(jīng)網(wǎng)絡(luò)的基本流程圖??Ｆｉｇｕｒｅ?２－２?Ｔｈｅ?ｂａｓｉｃ?ｆｌｏｗ?ｃｈａｒｔ?ｏｆ?ｄｅｅｐ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋｓ??深度卷積神經(jīng)網(wǎng)絡(luò)由多個(gè)卷積層、歸一化、池化和非線性激活函數(shù)相互作用。??９??

時(shí)僅需指定池化類型（ａｖｅｒａｇｅ或ｍａｘ等）、池化操作的核大小（ｋｅｒｎｅｌ?ｓｉｚｅ）和池??化操作的步長(zhǎng)（ｓｔｒｉｄｅ）等超參數(shù)即可。??下圖２－４為ｋｅｒｎｅｌ?ｓｉｚｅ為２?Ｘ?２，?ｓｔｒｉｄｅ為１的最大值池化計(jì)算示意圖。??ＩＩＩ，—「丨??１?３?５?７?９?＼?１?３?５?７?９?乂?＼??２４６８０?４?２４６８０?４／６６９］??３?１?２?４?７?３?１?２?４７?＾６８７／??８?９?３?４?６?８９?３?４６?９９４７／??６?３?５?２?１?６３５２?１?９９５６＊??３）第一次最大池化計(jì)算與得到的特征?ｂ）第十六次最大池化計(jì)算與得到的特征??圖２－４最大值池化計(jì)算過程示意圖??Ｆｉｇｕｒｅ?２－４?Ｓｋｅｔｃｈ?ｍａｐ?ｏｆ?ｍａｘｐｏｏｌｉｎｇ?ｏｐｅｒａｔｉｏｎ?ｐｒｏｃｅｓｓ??池化層的引入是仿照人的視覺系統(tǒng)對(duì)視覺輸入進(jìn)行降維和抽象的過程。池化??層有如下三種作用：??（１）

【參考文獻(xiàn)】：
期刊論文
[1]卷積神經(jīng)網(wǎng)絡(luò)及其研究進(jìn)展[J]. 翟俊海,張素芳,郝璞.  河北大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(06)
[2]基于開源虛擬桌面的嵌入式實(shí)驗(yàn)平臺(tái)[J]. 吳闋,陳云芳.  計(jì)算機(jī)教育. 2017(09)
[3]分層視覺特征感知在目標(biāo)識(shí)別中的應(yīng)用[J]. 片兆宇,史天予,袁德鵬,胡玉蘭,王棟.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2017(06)
[4]基于高級(jí)綜合技術(shù)的RS算法實(shí)現(xiàn)[J]. 王歡,李斌,張磊.  中國(guó)集成電路. 2016(11)
[5]SoC FPGA的視覺算法加速系統(tǒng)設(shè)計(jì)[J]. 吳良晶,曹云峰,丁萌,莊麗葵.  單片機(jī)與嵌入式系統(tǒng)應(yīng)用. 2016(11)
[6]深度學(xué)習(xí):多層神經(jīng)網(wǎng)絡(luò)的復(fù)興與變革[J]. 山世光,闞美娜,劉昕,劉夢(mèng)怡,鄔書哲.  科技導(dǎo)報(bào). 2016(14)
[7]改進(jìn)的超越函數(shù)分段線性逼近方法[J]. 田征,杜慧敏,黃小康.  計(jì)算機(jī)應(yīng)用. 2016(07)
[8]嵌入式系統(tǒng)節(jié)能能力度量模型研究[J]. 羅殊彥,朱怡安,王偉超.  西北工業(yè)大學(xué)學(xué)報(bào). 2016(03)
[9]GPU通用計(jì)算軟硬件處理架構(gòu)研究[J]. 謝建春.  航空計(jì)算技術(shù). 2013(02)



本文編號(hào)：3399720