近幾年來,人工智能進入了如火如荼的發(fā)展時期。深度學(xué)習(xí)領(lǐng)域的算法在不斷推陳出新的同時,其功能和適用性也在一直擴展并且應(yīng)用在各種實際場景中,包括計算機視覺、自然語言處理、智能駕駛、智能醫(yī)療和智能安防等領(lǐng)域。但是,隨著人們對人工智能設(shè)備功能和性能上的需求不斷增加,傳統(tǒng)的GPU、CPU等計算平臺無法滿足實際應(yīng)用高能效、小體積和低成本的要求,需要更多的解決方案。本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）計算密度高、數(shù)據(jù)規(guī)模大的特點,研究了“可編程片上系統(tǒng)（System on Programmable Chip,SOPC）”的嵌入式設(shè)計方法,充分發(fā)揮硬件高性能和軟件靈活性兩方面的優(yōu)勢,提出了軟硬件結(jié)合的高能效CNN應(yīng)用系統(tǒng)實現(xiàn)方案。主要研究內(nèi)容如下:首先,本文在硬件電路中實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)中最為關(guān)鍵的幾個模塊,并針對各模塊的運算特點做了相應(yīng)的優(yōu)化。對卷積層,利用循環(huán)分塊和交換、并行化、復(fù)用等策略,設(shè)計了FPGA片上并行化的計算架構(gòu)和流水線的計算單元。并利用層次化和乒乓策略,設(shè)計了與計算架構(gòu)相配合的“多維存儲映射”緩存方案和“雙緩沖緩存”的數(shù)據(jù)傳輸方案。... 

【文章來源】：清華大學(xué)北京市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：72 頁

【學(xué)位級別】：碩士

【部分圖文】：

LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖[3]

第2章卷積神經(jīng)網(wǎng)絡(luò)模型及架構(gòu)設(shè)計圖2.1LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖[3]2.2.1神經(jīng)元模型在神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常常作為最基本的信息處理單元，它的模型如圖2.2所示[40]。它由三種基本元素組成：圖2.2基本神經(jīng)元模型[40]1.突觸，它的特征由其權(quán)值（強度）表示。假設(shè)共有m個突觸連接到神經(jīng)元k，其中的某個突觸j上存在某個輸入信號xj，該信號將與神經(jīng)元k在該突觸上的權(quán)值wkj相乘。權(quán)值的取值有一定的范圍，可以為正值或者負(fù)值；2.加法器，采用線性組合器，將每一個輸入信號與對應(yīng)的突觸相乘之后，對所有的乘積執(zhí)行累加操作；3.激活函數(shù)，神經(jīng)元的輸出值波動不能過大，需要激活之后進入一個有限的合理輸出區(qū)間，一般以閉區(qū)間[0,1]或者[1,+1]最為常見。除此之外，常見的神經(jīng)元模型可以通過添加偏置量bk的方式，在訓(xùn)練中調(diào)節(jié)激活函數(shù)的輸入。圖2.2中的神經(jīng)元可以建立為以下的數(shù)學(xué)模型：uk=m∑j=1wkjxj(2-1)yk=(uk+bk)(2-2)其中（x1,x2,x3,...,xm）為m個輸入，對應(yīng)的m個突觸權(quán)值記為（wk1,wk2,wk3,...,wkm），將所有的輸入信號傳入線性組合器，計算之后得到輸出值uk，bk為偏置，所用的激活函數(shù)為()。神經(jīng)元一次計算之后得到的輸出8

第2章卷積神經(jīng)網(wǎng)絡(luò)模型及架構(gòu)設(shè)計圖2.3基本圖像卷積運算示意圖1.局部連接，從人的角度來說，一般按照從局部到全面的方式對外界環(huán)境進行認(rèn)知。這是由于視覺皮層中的神經(jīng)元也只能接收局部的信息，意味著它只對某些特定區(qū)域的刺激做出響應(yīng)。與此相類似的是，在圖像的內(nèi)部，也是局部像素的空間聯(lián)系更為緊密，距離越遠(yuǎn)，像素的相關(guān)性越薄弱。所以，對神經(jīng)網(wǎng)絡(luò)而言，對其中的每一個神經(jīng)元做全部的圖像感知并非必要。一般只需要在局部的圖像中提取底層特征后，從更高一層的感知層對這些特征進行綜合，以此抽取圖像的全局特征。這就意味著使用很小的過濾器就可以表示邊緣、角點等底層特征，然后逐層進行更深層次的特征提取即可。2.權(quán)值共享，圖像上不同位置的小塊，以及不同圖像上的小塊，其統(tǒng)計特征是類似的，意味著在某一個小塊學(xué)習(xí)到的特征，也可以用在另外的小塊中。所以，可以采用相同的一組分類器，在不同的圖像，以及同一圖像上的不同位置之中對特征進行描述。完整的卷積層運算可以視為一個多維嵌套循環(huán)，其可以數(shù)學(xué)建模為圖2.4所示的模型。卷積核在輸入圖像中作為一個窗口，逐一滑動進行計算。這里的輸入圖像既可能是原始圖像，也可能是上一個卷積層或者池化層處理后的特征圖像。具體而言，輸入圖像的通道（channel）數(shù)與一組卷積核的通道數(shù)相同。對于輸入圖像中的每一個通道，其中每一個與卷積核大小相同的局部像素區(qū)域與對應(yīng)通道的卷積核相連接，做卷積，再加上一個偏置參數(shù)。之后將所有通道上相同位置的結(jié)果相加，就可以得到輸出圖像上一個通道上的結(jié)果。并且，為了得到更多的圖像特征，往往會使用多組卷積核，這樣的結(jié)果就是輸出特征圖像中會有多個通道。該過程如圖2.4所示。10

【參考文獻(xiàn)】：
期刊論文
[1]SOPC硬件系統(tǒng)設(shè)計概要[J]. 王爽,吳全興.  微處理機. 2012(06)
[2]μc/GUI在NiosⅡ嵌入式系統(tǒng)上的移植及應(yīng)用[J]. 陳剛,魏麗娟,肖鐵軍.  無線通信技術(shù). 2012(03)

博士論文
[1]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)并行結(jié)構(gòu)研究[D]. 陸志堅.哈爾濱工程大學(xué) 2013

碩士論文
[1]深度學(xué)習(xí)的硬件實現(xiàn)與優(yōu)化技術(shù)研究[D]. 林楗軍.哈爾濱工業(yè)大學(xué) 2017
[2]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計與實現(xiàn)[D]. 李澤坤.哈爾濱工業(yè)大學(xué) 2017
[3]基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用研究[D]. 王羽.華南理工大學(xué) 2016



本文編號：3433939