卷積神經(jīng)網(wǎng)絡(luò)源自于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò),其作為機(jī)器學(xué)習(xí)中的一類重要算法已經(jīng)被廣泛部署于人工智能、計(jì)算機(jī)視覺等應(yīng)用場景中。由于現(xiàn)實(shí)世界中應(yīng)用的復(fù)雜度與日俱增,網(wǎng)絡(luò)模型的規(guī)模和深度也在不斷增加,導(dǎo)致通用計(jì)算平臺(tái)在處理相關(guān)任務(wù)時(shí)面臨嚴(yán)峻性能、能效挑戰(zhàn)。在這種背景下,基于ASIC、FPGA的硬件加速方法已經(jīng)在卷積神經(jīng)網(wǎng)絡(luò)的部署中被普遍采用,并成為提高計(jì)算效率的重要手段。然而,目前主流加速器的單核片上結(jié)構(gòu)和計(jì)算模式與卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)在計(jì)算特性存在失配性問題。尤其是在FPGA一類的可重構(gòu)器件上,硬件的可重構(gòu)特性將這種失配性進(jìn)一步凸顯,嚴(yán)重影響了計(jì)算效率的進(jìn)一步提升。本文面向卷積神經(jīng)網(wǎng)絡(luò)的高效硬件部署,將可重構(gòu)計(jì)算技術(shù)與異構(gòu)多核體系結(jié)構(gòu)深度結(jié)合,在靜態(tài)重構(gòu)和動(dòng)態(tài)重構(gòu)兩個(gè)層面上系統(tǒng)性地提出了基于異構(gòu)多核片上結(jié)構(gòu)的加速器設(shè)計(jì)和優(yōu)化方法,有效緩解了硬件加速中的軟硬件特征失配問題。具體工作內(nèi)容和創(chuàng)新點(diǎn)如下:·我們?cè)陟o態(tài)重構(gòu)層面上針對(duì)特定網(wǎng)絡(luò)模型在特定FPGA平臺(tái)上的部署提出了在片上固化全網(wǎng)絡(luò)層的異構(gòu)多核加速器結(jié)構(gòu)。在該結(jié)構(gòu)中,不同網(wǎng)絡(luò)層的計(jì)算被各自映射至獨(dú)享的計(jì)算核心,在局部上各片上計(jì)算核心可根據(jù)所對(duì)應(yīng)網(wǎng)絡(luò)層的并行特征進(jìn)行單獨(dú)部署和優(yōu)化;在宏觀上,不同計(jì)算核心以層間流水的方式充分挖掘了層間計(jì)算并行度;在此基礎(chǔ)上,我們使用Roofline多核性能分析模型在宏觀和局部上進(jìn)行片上計(jì)算與片外訪存間的相互協(xié)調(diào)。該加速器結(jié)構(gòu)在高性能FPGA平臺(tái)上對(duì)AlexNet和VGG16D的部署相較以往在相同F(xiàn)PGA平臺(tái)上的單核加速器部署性能提升了2.44倍,能效提升了2.35倍�！ぴ谄瞎袒W(wǎng)絡(luò)層結(jié)構(gòu)的基礎(chǔ)上,我們?cè)陟o態(tài)重構(gòu)層面上提出了面向?qū)蛹?jí)特征的異構(gòu)多核片上結(jié)構(gòu)。通過對(duì)目前常見卷積神經(jīng)網(wǎng)絡(luò)硬件加速過程的分析,我們發(fā)現(xiàn)了兩點(diǎn)規(guī)律:第一,不同卷積層對(duì)不同類型數(shù)據(jù)的訪存行為存在差異,從而在異構(gòu)多核結(jié)構(gòu)中進(jìn)行分別部署可以最大程度降低訪存開銷;第二,盡管不同網(wǎng)絡(luò)層在整體結(jié)構(gòu)上存在差異,但在經(jīng)過循環(huán)展開和分片操作后其中某些層會(huì)呈現(xiàn)出相似的層級(jí)特征,從而在這一類網(wǎng)絡(luò)層間進(jìn)行硬件單元復(fù)用可以達(dá)到較高的硬件資源利用效率。分別基于以上兩點(diǎn),我們面向網(wǎng)絡(luò)的層級(jí)特征提出了粗粒度和細(xì)粒度的網(wǎng)絡(luò)層聚類方法,并在此基礎(chǔ)上將軟、硬件間的特征匹配粒度增大,提出了面向?qū)蛹?jí)特征的異構(gòu)多核加速器部署方法。該方法在高性能FPGA平臺(tái)上對(duì)AlexNet、VGG16C、VGG16D、VGG19的部署相較以往在相同F(xiàn)PGA平臺(tái)上的單核加速器部署性能平均提升了1.64倍,能效提升了1.84倍�！ぴ趧�(dòng)態(tài)重構(gòu)層面上,我們基于FPGA的動(dòng)態(tài)部分重構(gòu)技術(shù)提出了軟、硬件特征動(dòng)態(tài)適配的異構(gòu)多核加速方法。我們首次將FPGA的動(dòng)態(tài)部分重構(gòu)技術(shù)引入到卷積神經(jīng)網(wǎng)絡(luò)的硬件加速器設(shè)計(jì)中,為底層硬件結(jié)構(gòu)提供在運(yùn)行時(shí)根據(jù)上層應(yīng)用特征進(jìn)行動(dòng)態(tài)調(diào)整的機(jī)制。在此基礎(chǔ)上,我們對(duì)硬件加速過程進(jìn)行了面向馬爾科夫決策過程的系統(tǒng)建模,并通過深度強(qiáng)化學(xué)習(xí)的方法為特定網(wǎng)絡(luò)模型的硬件加速器部署確定最優(yōu)的運(yùn)行時(shí)重構(gòu)策略,從而更加全面、充分地挖掘可重構(gòu)硬件特性來提高計(jì)算適配性。該方法在嵌入式FPGA平臺(tái)上對(duì)AlexNet和VGG16D的部署相較以往在同類型FPGA平臺(tái)上的單核加速器結(jié)構(gòu)性能密度平均提升了1.48倍。
【學(xué)位單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2019
【中圖分類】：TP18;TP391.41
【部分圖文】：

圖１．１卷積神經(jīng)網(wǎng)絡(luò)的前饋過程??１．１．３．卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)組成??圖１．１所示的是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的前饋計(jì)算過程，輸入數(shù)據(jù)依次經(jīng)過卷積??層Ｃ１、池化層Ｓ２、卷積層Ｃ３、池化層Ｓ４、全連接層ＦＣ５、ＦＣ６、ＦＣ７后完成輸??出。各層的輸入特征圖（ｉ叩ｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）和輸出特征圖（ｏｕｔｐｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）中??的數(shù)據(jù)對(duì)應(yīng)神經(jīng)元（ｎｅｕｒｏｎｓ），權(quán)值數(shù)據(jù)對(duì)應(yīng)突觸（ｓｙｎａｐｓｅｓ）。在卷積層和全連接??層后通常需要加入激勵(lì)層對(duì)輸出進(jìn)行非線性處理，而激勵(lì)操作由于直接作用于??各輸出神經(jīng)元，因此沒有標(biāo)識(shí)在圖１．１中。前饋過程中，各層接收一個(gè)多維度的??輸入特征圖進(jìn)行計(jì)算，得到一個(gè)具有新的尺寸和維度的特征圖并將其傳遞給后??續(xù)的層，前后層之間存在特征圖數(shù)據(jù)的數(shù)據(jù)相關(guān)，各層內(nèi)部無數(shù)據(jù)相關(guān)。幾種主??要類型的層的作用和計(jì)算過程如下。??１？卷賴??卷積操作可以從輸入數(shù)據(jù)中提取出各類特征，并且隨著卷積次數(shù)的增加，從??初始低級(jí)特征中可以迭代提取出高級(jí)復(fù)雜的特征。卷積神經(jīng)網(wǎng)絡(luò)即利用這種思??想使用卷積層對(duì)輸入特征圖進(jìn)行特征提取得到輸出特征圖。??ｎ＝－ｉ??．．．?（Ｉ?＞：”」：廣厶：１?｜）??Ｍ?Ｈ：－－?ｕ?ｍ＇．．．．．－

?Ｐｏｏｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎ?Ｐｏｏｌｉｎｇ??圖１．１卷積神經(jīng)網(wǎng)絡(luò)的前饋過程??１．１．３．卷積神經(jīng)網(wǎng)絡(luò)的層級(jí)組成??圖１．１所示的是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的前饋計(jì)算過程，輸入數(shù)據(jù)依次經(jīng)過卷積??層Ｃ１、池化層Ｓ２、卷積層Ｃ３、池化層Ｓ４、全連接層ＦＣ５、ＦＣ６、ＦＣ７后完成輸??出。各層的輸入特征圖（ｉ叩ｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）和輸出特征圖（ｏｕｔｐｕｔ?ｆｅａｔｕｒｅ?ｍａｐｓ）中??的數(shù)據(jù)對(duì)應(yīng)神經(jīng)元（ｎｅｕｒｏｎｓ），權(quán)值數(shù)據(jù)對(duì)應(yīng)突觸（ｓｙｎａｐｓｅｓ）。在卷積層和全連接??層后通常需要加入激勵(lì)層對(duì)輸出進(jìn)行非線性處理，而激勵(lì)操作由于直接作用于??各輸出神經(jīng)元，因此沒有標(biāo)識(shí)在圖１．１中。前饋過程中，各層接收一個(gè)多維度的??輸入特征圖進(jìn)行計(jì)算，得到一個(gè)具有新的尺寸和維度的特征圖并將其傳遞給后??續(xù)的層，前后層之間存在特征圖數(shù)據(jù)的數(shù)據(jù)相關(guān)，各層內(nèi)部無數(shù)據(jù)相關(guān)。幾種主??要類型的層的作用和計(jì)算過程如下。??１？卷賴??卷積操作可以從輸入數(shù)據(jù)中提取出各類特征，并且隨著卷積次數(shù)的增加，從??初始低級(jí)特征中可以迭代提取出高級(jí)復(fù)雜的特征。卷積神經(jīng)網(wǎng)絡(luò)即利用這種思??想使用卷積層對(duì)輸入特征圖進(jìn)行特征提取得到輸出特征圖。??ｎ＝－ｉ??．．

?特征圖??圖１．３池化層圖示??池化層的操作過程如圖１．３所示，池化窗口在輸入特征圖上的水平和豎直方??向上滑動(dòng)，并對(duì)窗口內(nèi)覆蓋的神經(jīng)元進(jìn)行下采樣操作。窗口的滑動(dòng)步長可以選??擇小于等于窗口尺寸的任意數(shù)值，圖１．３中示例的滑動(dòng)步長與窗口尺寸相同，因??此每次池化的神經(jīng)元無重合。常用的池化操作方法包括最大值池化和平均值池??化兩種。以圖１．３中對(duì)輸出神經(jīng)元ｙｎ的池化操作為例，最大值池化和平均值池??化的計(jì)算分別如式１．５和式１．６所示。通常來說，最大值池化可以減小卷積層參數(shù)??誤差造成特征圖估計(jì)均值偏移（ｍｅａｎ?ｓｈｉｆｔ），從而保留更多的紋理信息，而平均??值池化可以減小鄰域大小受限造成的特征圖估計(jì)值方差增大，從而保留較多的??背景信息［５７］。經(jīng)典網(wǎng)絡(luò)模型中使用最大值池化的包括ＡｌｅｘＮｅｔ［１７］、ＺＦＮｅｔ【１９］和??ＶＧＧＮｅｔ［２０］，使用平均值池化的有?ＬｅＮｅｔ－５［６丨和?ＲｅｓＮｅｔ［２２］，而?ＧｏｏｇｌｅＮｅｔ［２１］中同??時(shí)使用了最大值池化和平均值池化。??除了傳統(tǒng)池化方法外
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點(diǎn)預(yù)測(cè)法[J];金融經(jīng)濟(jì);2017年18期

2 陳曉燕;;淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型[J];數(shù)字技術(shù)與應(yīng)用;2019年05期

3 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會(huì)述評(píng)[J];國際學(xué)術(shù)動(dòng)態(tài);1996年01期

4 吳立可;;脈沖神經(jīng)網(wǎng)絡(luò)和行為識(shí)別[J];通訊世界;2018年12期

5 林嘉應(yīng);鄭柏倫;劉捷;;基于卷積神經(jīng)網(wǎng)絡(luò)的船舶分類模型[J];信息技術(shù)與信息化;2019年02期

6 俞頌華;;卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展與應(yīng)用綜述[J];信息通信;2019年02期

7 韓真;凱文·哈特尼特;;為神經(jīng)網(wǎng)絡(luò)的通用理論建造基石[J];世界科學(xué);2019年04期

8 鮑偉強(qiáng);陳娟;熊濤;;基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)研究[J];電工技術(shù);2019年11期

9 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計(jì)研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

10 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

相關(guān)博士學(xué)位論文 前10條

1 陳冬冬;基于深度神經(jīng)網(wǎng)絡(luò)的視覺媒體風(fēng)格轉(zhuǎn)換方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

2 韓旭;基于神經(jīng)網(wǎng)絡(luò)的文本特征表示關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2019年

3 楊國花;基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的對(duì)話狀態(tài)追蹤技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

4 楊威;基于卷積神經(jīng)網(wǎng)絡(luò)的高效語義分割方法研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院光電技術(shù)研究所);2019年

5 雷學(xué)文;基于深度神經(jīng)網(wǎng)絡(luò)的風(fēng)功率日前預(yù)測(cè)與電力系統(tǒng)聯(lián)合調(diào)度研究[D];西安理工大學(xué);2018年

6 陳川;憶阻神經(jīng)網(wǎng)絡(luò)的同步控制及在信息安全中的應(yīng)用研究[D];北京郵電大學(xué);2019年

7 姜春暉;深度神經(jīng)網(wǎng)絡(luò)剪枝方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

8 昌杰;基于深度神經(jīng)網(wǎng)絡(luò)的腫瘤圖像分析與處理[D];中國科學(xué)技術(shù)大學(xué);2019年

9 宮磊;可重構(gòu)平臺(tái)上面向卷積神經(jīng)網(wǎng)絡(luò)的異構(gòu)多核加速方法研究[D];中國科學(xué)技術(shù)大學(xué);2019年

10 劉梅;網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定和同步行為研究[D];新疆大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 權(quán)峻;太陽能溫室建模及智能控制策略研究[D];天津理工大學(xué);2019年

2 鐘文雅;基于深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺X線圖像的分類方法研究[D];南陽師范學(xué)院;2019年

3 薛花;基于聚類與神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦系統(tǒng)關(guān)鍵技術(shù)的研究[D];天津理工大學(xué);2019年

4 張璐;基于深度學(xué)習(xí)的淋巴結(jié)自動(dòng)分割算法研究[D];浙江大學(xué);2019年

5 郭盼盼;基于GA-BP神經(jīng)網(wǎng)絡(luò)的多日股票價(jià)格預(yù)測(cè)[D];鄭州大學(xué);2019年

6 王旭東;基于光散射的磷礦磨礦粒度分析方法研究[D];武漢工程大學(xué);2018年

7 熊雨點(diǎn);基于深度學(xué)習(xí)的表單識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D];武漢工程大學(xué);2018年

8 聶若瑩;基于AMDAR數(shù)據(jù)的對(duì)流云附近顛簸區(qū)預(yù)測(cè)方法研究[D];中國民用航空飛行學(xué)院;2019年

9 李高玲;基于神經(jīng)網(wǎng)絡(luò)的算法作曲與情感識(shí)別研究[D];鄭州大學(xué);2019年

10 路高飛;基于遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的信用風(fēng)險(xiǎn)研究[D];鄭州大學(xué);2019年

本文編號(hào)：2893122