【摘要】：基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法是過(guò)去幾年發(fā)展最為迅速的計(jì)算領(lǐng)域之一。從圖像/視頻/音頻識(shí)別,到自動(dòng)翻譯、業(yè)務(wù)分析和自動(dòng)駕駛,許多新興的高性能和嵌入式應(yīng)用都依賴于深度學(xué)習(xí)算法。深度學(xué)習(xí)模型常常包含巨大的計(jì)算量,而深度學(xué)習(xí)算法目前往往運(yùn)行在通用的CPU和GPU,它們的吞吐率和能量效率相對(duì)較低。近年來(lái)學(xué)術(shù)界和工業(yè)界提出了多種新穎的面向深度學(xué)習(xí)處理器結(jié)構(gòu),這些加速器幾乎都以大規(guī)模的矩陣乘加部件為核心,在其基礎(chǔ)上充分考慮深度神經(jīng)網(wǎng)絡(luò)的計(jì)算特點(diǎn)和數(shù)據(jù)傳輸特點(diǎn),設(shè)計(jì)符合其計(jì)算模式的存儲(chǔ)層次和互聯(lián)結(jié)構(gòu)。從而在吞吐率和功耗上都取得了極大的改進(jìn)。本課題所研究的矩陣向量乘部件是深度學(xué)習(xí)加速器的核心功能部件,占據(jù)了深度學(xué)習(xí)加速器的大部分面積,并對(duì)加速器的吞吐率具有主要貢獻(xiàn)。因此,矩陣向量乘部件的設(shè)計(jì)與優(yōu)化,對(duì)于深度學(xué)習(xí)加速器的實(shí)現(xiàn)有著關(guān)鍵的作用。具體研究工作如下:矩陣向量乘部件的邏輯設(shè)計(jì)。根據(jù)頂層要求完成指令譯碼設(shè)置,本設(shè)計(jì)支持3條矩陣向量運(yùn)算指令。乘法器和加法陣列是矩陣向量乘模塊的主要部件,根據(jù)不同算法的特點(diǎn),選取合適的實(shí)現(xiàn)方法。乘法器由基4Booth編碼、壓縮樹(shù)、并行前綴加法器和溢出判斷4部分構(gòu)成。其中對(duì)壓縮樹(shù)和并行前綴加法器的結(jié)構(gòu)進(jìn)行優(yōu)化,以至于提高乘法器的性能。對(duì)于加法陣列部分,本設(shè)計(jì)使用4-2壓縮樹(shù)與并行前綴加法器相結(jié)合的方式,完成32個(gè)16位有符號(hào)數(shù)求和。矩陣向量乘部件的流水化設(shè)計(jì)、功能驗(yàn)證和邏輯綜合。由于矩陣向量乘運(yùn)算的延遲較大,對(duì)其進(jìn)行流水化設(shè)計(jì)。經(jīng)過(guò)仔細(xì)的邏輯劃分,將運(yùn)算過(guò)程劃分為5站,并對(duì)每站的邏輯延時(shí)進(jìn)行了較好的平衡。對(duì)完成的所有設(shè)計(jì)進(jìn)行了驗(yàn)證。驗(yàn)證的方式為,用另一種算法完成乘法器和32個(gè)16位有符號(hào)數(shù)求和。為兩種實(shí)現(xiàn)方法,輸入相同的數(shù)據(jù),對(duì)比結(jié)果,從而完成設(shè)計(jì)的功能驗(yàn)證。輸入的數(shù)據(jù)采用隨機(jī)數(shù)的方式生成。綜合輸出的網(wǎng)表用于后續(xù)物理實(shí)現(xiàn)。矩陣向量乘部件的物理實(shí)現(xiàn)。采用層次化的物理設(shè)計(jì)方法。通過(guò)對(duì)該部件的結(jié)構(gòu)分析,確定了合理的的子模塊劃分方法和合理的子模塊固化大小。在頂層,優(yōu)化了宏模塊布局,并優(yōu)化緩沖器插入以實(shí)現(xiàn)長(zhǎng)線延時(shí)縮減。通過(guò)以上方法,完成了該部件的的布局布線,并進(jìn)行了時(shí)序分析和物理驗(yàn)證。深度學(xué)習(xí)矩陣向量部件面積為1300um×3600um,工作頻率達(dá)到1.1GHz,功耗為1.3W。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP18;TP332.2
【圖文】：

ensor Processing Unit）處理器。深度學(xué)習(xí)處理器代表了現(xiàn)今計(jì)算密集和訪存密集的神經(jīng)網(wǎng)絡(luò)處理器體沿,它們都特別強(qiáng)調(diào)對(duì)具體神經(jīng)網(wǎng)絡(luò)算法應(yīng)用的支持�？v覽這幾類典型理，它們都以一個(gè)大規(guī)模的乘加矩陣作為核心，提供強(qiáng)大的計(jì)算能力。量乘部件的設(shè)計(jì)是整個(gè)深度學(xué)習(xí)處理器的關(guān)鍵之一。.1 國(guó)內(nèi)研究現(xiàn)狀幾年，中科院計(jì)算所 Tianshi Chen 等人提出的 Diannao 系類的神經(jīng)網(wǎng)絡(luò)前神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)領(lǐng)域最好的芯片。如圖 1.1 Diannao 結(jié)構(gòu)圖所示。絡(luò)模型的數(shù)據(jù)局部特點(diǎn)以及計(jì)算的特點(diǎn)，進(jìn)行存儲(chǔ)體系以及專用硬件更好的性能。之前常用的神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)方案，即將每個(gè)神經(jīng)元映件計(jì)算單元上，具體示意結(jié)構(gòu)圖 1.2 全硬件實(shí)現(xiàn)方案。方案的優(yōu)點(diǎn)很明顯，實(shí)現(xiàn)方案簡(jiǎn)單，計(jì)算性能高，功耗低。缺點(diǎn)也不難，模型的結(jié)構(gòu)和尺寸的增加都會(huì)導(dǎo)致該模型失效。

圖 1.2 全硬件實(shí)現(xiàn)方案是一種專門(mén)針對(duì)深度神經(jīng)網(wǎng)絡(luò)的加速器，它的核心思想將為多次的小的運(yùn)算。包含了一個(gè)權(quán)重暫存（Scratchpad M（Neural Function Unit，NFU）和一個(gè)控制處理[11]（Contro寬度的差異，所以將存儲(chǔ)劃分為 3 部分，分為 NBin，SB矩陣，NBin 和 NBout 存儲(chǔ)的是輸入輸出向量，把 NBin 和數(shù)據(jù)沖突。NFU 分為 3 站，分別進(jìn)行乘法、累加（或 po這 3 站完成神經(jīng)網(wǎng)絡(luò)的核心計(jì)算。CP 中運(yùn)行深度神經(jīng)網(wǎng)和計(jì)算。針對(duì)一個(gè)大網(wǎng)絡(luò)器模型參數(shù)會(huì)依此加載到 SB 里被依此加載到 NBin，計(jì)算結(jié)果被寫(xiě)入到 NBout。NFU 里體神經(jīng)元或權(quán)重參數(shù)綁定。通過(guò)這種設(shè)計(jì)，Diannao 在支明顯的改進(jìn)。12]可以認(rèn)為是 Diannao 面向服務(wù)器應(yīng)用的升級(jí)版。在服務(wù)嚴(yán)格的指標(biāo)，反之吞吐率變得更為重要。針對(duì)主流神經(jīng)網(wǎng)

圖 1.3 單個(gè) tile 結(jié)構(gòu)圖udiannao 也是屬于 Diannao 系列。ShiDianNao 的享的特點(diǎn)。將卷積神經(jīng)網(wǎng)絡(luò)模型加載到靜態(tài)存。并將加速器直接與視頻圖像傳感器相連，以o 則是對(duì) 7 種機(jī)器學(xué)習(xí)常見(jiàn)算法進(jìn)行總結(jié)，并方案。新的面向特定領(lǐng)域指令集架構(gòu)（Instruction Se采用 load-store 架構(gòu)，基于對(duì)現(xiàn)有神經(jīng)網(wǎng)絡(luò)技術(shù)、邏輯運(yùn)算，以及數(shù)據(jù)傳輸和控制指令。Cambr活性，能夠支持 10 類不同的神經(jīng)網(wǎng)路算法；同

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 傅君明;;高中數(shù)學(xué)中向量問(wèn)題的分類解析[J];高中數(shù)學(xué)教與學(xué);2016年22期

2 金鵬;;在探究中加深理解 在領(lǐng)悟中提升素養(yǎng)——以“向量的概念及表示”的教學(xué)為例[J];中學(xué)數(shù)學(xué)月刊;2017年05期

3 周志云;;平面向量備考策略[J];高中數(shù)理化;2017年05期

4 楊天育;楊龍婷;;向量在高考數(shù)學(xué)解題中的應(yīng)用[J];數(shù)學(xué)大世界(下旬);2017年06期

5 宋禹;姚誠(chéng)智;;基于向量方法提出關(guān)于空間圖形穩(wěn)定性的設(shè)想[J];中學(xué)生數(shù)理化(學(xué)習(xí)研究);2017年08期

6 周科;;對(duì)考查向量的試題背景分析與教學(xué)備考建議[J];數(shù)學(xué)大世界(上旬);2017年08期

7 崔華梅;戴宏照;;構(gòu)造圓解決向量問(wèn)題[J];中學(xué)生數(shù)學(xué);2017年15期

8 彭雪純;;基于平面幾何性質(zhì)的向量問(wèn)題思考[J];數(shù)碼世界;2017年09期

9 楊春梅;;題有多變 貴在尋根——例談向量中的三角形中線性質(zhì)[J];高中數(shù)理化;2017年17期

10 馮寅;;架起內(nèi)心和向量之間的橋梁[J];數(shù)理化解題研究;2017年22期

相關(guān)會(huì)議論文 前10條

1 張曉艷;王挺;陳火旺;;基于多向量和實(shí)體模糊匹配的話題關(guān)聯(lián)識(shí)別[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

2 劉暢;劉必慰;彭瑾;;深度學(xué)習(xí)加速器矩陣向量乘部件設(shè)計(jì)[A];第二十二屆計(jì)算機(jī)工程與工藝年會(huì)暨第八屆微處理器技術(shù)論壇論文集[C];2018年

3 白維娟;;基于APOS理論的向量概念分析[A];教師教育論壇(第一輯）[C];2019年

4 王丹丹;;向量血流圖評(píng)價(jià)房顫患者左心室內(nèi)流場(chǎng)變化情況[A];中國(guó)超聲醫(yī)學(xué)工程學(xué)會(huì)第十一屆全國(guó)腹部超聲醫(yī)學(xué)學(xué)術(shù)會(huì)議論文匯編[C];2016年

5 王丹丹;;向量血流圖評(píng)價(jià)房顫患者左心室內(nèi)流場(chǎng)變化情況[A];中國(guó)超聲醫(yī)學(xué)工程學(xué)會(huì)第十四屆全國(guó)超聲心動(dòng)圖學(xué)術(shù)會(huì)議論文匯編[C];2018年

6 王丹丹;;向量血流圖評(píng)價(jià)房顫患者左心室內(nèi)流場(chǎng)變化情況[A];中國(guó)超聲醫(yī)學(xué)工程學(xué)會(huì)第十三屆全國(guó)超聲心動(dòng)圖學(xué)術(shù)會(huì)議論文匯編[C];2016年

7 王震;趙陽(yáng);楊學(xué)林;;薄膜結(jié)構(gòu)的向量式有限元斷裂行為分析[A];第十五屆空間結(jié)構(gòu)學(xué)術(shù)會(huì)議論文集[C];2014年

8 繆浩然;黎塔;梁宏;;改進(jìn)的詞向量特征和CNN在語(yǔ)句分類中的應(yīng)用[A];第十四屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC’2017）論文集[C];2017年

9 李鋒剛;張亞南;汪兵;;基于詞向量和AP聚類的短文本主題演化分析[A];第十三屆（2018）中國(guó)管理學(xué)年會(huì)論文集[C];2018年

10 陳進(jìn)于;錢(qián)若軍;;流固耦合問(wèn)題的數(shù)值分析[A];慶祝劉錫良教授八十華誕暨第八屆全國(guó)現(xiàn)代結(jié)構(gòu)工程學(xué)術(shù)研討會(huì)論文集[C];2008年

相關(guān)博士學(xué)位論文 前5條

1 張明;表示學(xué)習(xí)詞向量提取及其在情感分析中的應(yīng)用研究[D];江南大學(xué);2019年

2 曾紹華;支持向量回歸機(jī)算法理論研究與應(yīng)用[D];重慶大學(xué);2006年

3 曾志強(qiáng);支持向量分類機(jī)的訓(xùn)練與簡(jiǎn)化算法研究[D];浙江大學(xué);2007年

4 王鑫;基于表示學(xué)習(xí)的情感分析關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2017年

5 步紅剛;基于混合特征向量和單分類檢測(cè)器的織物瑕疵自動(dòng)檢測(cè)研究[D];東華大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 譚富文;房產(chǎn)數(shù)據(jù)向量對(duì)齊的算法研究[D];成都理工大學(xué);2019年

2 李丹;基于深度學(xué)習(xí)的陸空通話復(fù)誦校驗(yàn)方法研究[D];中國(guó)民航大學(xué);2019年

3 段敏敏;基于詞典與詞向量融合的文本情感分析研究[D];西安電子科技大學(xué);2019年

4 劉暢;深度學(xué)習(xí)加速器中矩陣向量乘部件設(shè)計(jì)[D];西安電子科技大學(xué);2019年

5 馮亦彤;基于攻擊向量自動(dòng)生成的XSS漏洞檢測(cè)系統(tǒng)的研究與設(shè)計(jì)[D];北京郵電大學(xué);2019年

6 馮姝樺;專業(yè)主觀題自動(dòng)評(píng)閱關(guān)鍵技術(shù)研究和應(yīng)用[D];山東大學(xué);2019年

7 劉英杰;在線社交網(wǎng)絡(luò)輿情話題分析技術(shù)研究與實(shí)現(xiàn)[D];上海交通大學(xué);2017年

8 徐山山;基于詞向量的文本分類研究[D];吉林大學(xué);2019年

9 彭晴;基于支持向量劃分的簇標(biāo)識(shí)方法研究[D];吉林大學(xué);2019年

10 徐貝貝;基于詞向量的流感病毒宿主預(yù)測(cè)和病毒序列鑒定[D];湖南大學(xué);2018年

本文編號(hào)：2745028