近幾年來(lái),人工智能進(jìn)入了如火如荼的發(fā)展時(shí)期。深度學(xué)習(xí)領(lǐng)域的算法在不斷推陳出新的同時(shí),其功能和適用性也在一直擴(kuò)展并且應(yīng)用在各種實(shí)際場(chǎng)景中,包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、智能駕駛、智能醫(yī)療和智能安防等領(lǐng)域。但是,隨著人們對(duì)人工智能設(shè)備功能和性能上的需求不斷增加,傳統(tǒng)的GPU、CPU等計(jì)算平臺(tái)無(wú)法滿足實(shí)際應(yīng)用高能效、小體積和低成本的要求,需要更多的解決方案。本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）計(jì)算密度高、數(shù)據(jù)規(guī)模大的特點(diǎn),研究了“可編程片上系統(tǒng)（System on Programmable Chip,SOPC）”的嵌入式設(shè)計(jì)方法,充分發(fā)揮硬件高性能和軟件靈活性兩方面的優(yōu)勢(shì),提出了軟硬件結(jié)合的高能效CNN應(yīng)用系統(tǒng)實(shí)現(xiàn)方案。主要研究?jī)?nèi)容如下:首先,本文在硬件電路中實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)中最為關(guān)鍵的幾個(gè)模塊,并針對(duì)各模塊的運(yùn)算特點(diǎn)做了相應(yīng)的優(yōu)化。對(duì)卷積層,利用循環(huán)分塊和交換、并行化、復(fù)用等策略,設(shè)計(jì)了FPGA片上并行化的計(jì)算架構(gòu)和流水線的計(jì)算單元。并利用層次化和乒乓策略,設(shè)計(jì)了與計(jì)算架構(gòu)相配合的“多維存儲(chǔ)映射”緩存方案和“雙緩沖緩存”的數(shù)據(jù)傳輸方案。... 

【文章來(lái)源】：清華大學(xué)北京市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：72 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖[3]

第2章卷積神經(jīng)網(wǎng)絡(luò)模型及架構(gòu)設(shè)計(jì)圖2.1LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖[3]2.2.1神經(jīng)元模型在神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常常作為最基本的信息處理單元，它的模型如圖2.2所示[40]。它由三種基本元素組成：圖2.2基本神經(jīng)元模型[40]1.突觸，它的特征由其權(quán)值（強(qiáng)度）表示。假設(shè)共有m個(gè)突觸連接到神經(jīng)元k，其中的某個(gè)突觸j上存在某個(gè)輸入信號(hào)xj，該信號(hào)將與神經(jīng)元k在該突觸上的權(quán)值wkj相乘。權(quán)值的取值有一定的范圍，可以為正值或者負(fù)值；2.加法器，采用線性組合器，將每一個(gè)輸入信號(hào)與對(duì)應(yīng)的突觸相乘之后，對(duì)所有的乘積執(zhí)行累加操作；3.激活函數(shù)，神經(jīng)元的輸出值波動(dòng)不能過(guò)大，需要激活之后進(jìn)入一個(gè)有限的合理輸出區(qū)間，一般以閉區(qū)間[0,1]或者[1,+1]最為常見(jiàn)。除此之外，常見(jiàn)的神經(jīng)元模型可以通過(guò)添加偏置量bk的方式，在訓(xùn)練中調(diào)節(jié)激活函數(shù)的輸入。圖2.2中的神經(jīng)元可以建立為以下的數(shù)學(xué)模型：uk=m∑j=1wkjxj(2-1)yk=(uk+bk)(2-2)其中（x1,x2,x3,...,xm）為m個(gè)輸入，對(duì)應(yīng)的m個(gè)突觸權(quán)值記為（wk1,wk2,wk3,...,wkm），將所有的輸入信號(hào)傳入線性組合器，計(jì)算之后得到輸出值uk，bk為偏置，所用的激活函數(shù)為()。神經(jīng)元一次計(jì)算之后得到的輸出8

第2章卷積神經(jīng)網(wǎng)絡(luò)模型及架構(gòu)設(shè)計(jì)圖2.3基本圖像卷積運(yùn)算示意圖1.局部連接，從人的角度來(lái)說(shuō)，一般按照從局部到全面的方式對(duì)外界環(huán)境進(jìn)行認(rèn)知。這是由于視覺(jué)皮層中的神經(jīng)元也只能接收局部的信息，意味著它只對(duì)某些特定區(qū)域的刺激做出響應(yīng)。與此相類似的是，在圖像的內(nèi)部，也是局部像素的空間聯(lián)系更為緊密，距離越遠(yuǎn)，像素的相關(guān)性越薄弱。所以，對(duì)神經(jīng)網(wǎng)絡(luò)而言，對(duì)其中的每一個(gè)神經(jīng)元做全部的圖像感知并非必要。一般只需要在局部的圖像中提取底層特征后，從更高一層的感知層對(duì)這些特征進(jìn)行綜合，以此抽取圖像的全局特征。這就意味著使用很小的過(guò)濾器就可以表示邊緣、角點(diǎn)等底層特征，然后逐層進(jìn)行更深層次的特征提取即可。2.權(quán)值共享，圖像上不同位置的小塊，以及不同圖像上的小塊，其統(tǒng)計(jì)特征是類似的，意味著在某一個(gè)小塊學(xué)習(xí)到的特征，也可以用在另外的小塊中。所以，可以采用相同的一組分類器，在不同的圖像，以及同一圖像上的不同位置之中對(duì)特征進(jìn)行描述。完整的卷積層運(yùn)算可以視為一個(gè)多維嵌套循環(huán)，其可以數(shù)學(xué)建模為圖2.4所示的模型。卷積核在輸入圖像中作為一個(gè)窗口，逐一滑動(dòng)進(jìn)行計(jì)算。這里的輸入圖像既可能是原始圖像，也可能是上一個(gè)卷積層或者池化層處理后的特征圖像。具體而言，輸入圖像的通道（channel）數(shù)與一組卷積核的通道數(shù)相同。對(duì)于輸入圖像中的每一個(gè)通道，其中每一個(gè)與卷積核大小相同的局部像素區(qū)域與對(duì)應(yīng)通道的卷積核相連接，做卷積，再加上一個(gè)偏置參數(shù)。之后將所有通道上相同位置的結(jié)果相加，就可以得到輸出圖像上一個(gè)通道上的結(jié)果。并且，為了得到更多的圖像特征，往往會(huì)使用多組卷積核，這樣的結(jié)果就是輸出特征圖像中會(huì)有多個(gè)通道。該過(guò)程如圖2.4所示。10

【參考文獻(xiàn)】：
期刊論文
[1]SOPC硬件系統(tǒng)設(shè)計(jì)概要[J]. 王爽,吳全興.  微處理機(jī). 2012(06)
[2]μc/GUI在NiosⅡ嵌入式系統(tǒng)上的移植及應(yīng)用[J]. 陳剛,魏麗娟,肖鐵軍.  無(wú)線通信技術(shù). 2012(03)

博士論文
[1]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)并行結(jié)構(gòu)研究[D]. 陸志堅(jiān).哈爾濱工程大學(xué) 2013

碩士論文
[1]深度學(xué)習(xí)的硬件實(shí)現(xiàn)與優(yōu)化技術(shù)研究[D]. 林楗軍.哈爾濱工業(yè)大學(xué) 2017
[2]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李澤坤.哈爾濱工業(yè)大學(xué) 2017
[3]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用研究[D]. 王羽.華南理工大學(xué) 2016



本文編號(hào)：3433939