發(fā)布時間：2021-08-10 18:18

　　隨著人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)一步發(fā)展,深度學(xué)習(xí)技術(shù)為現(xiàn)代社會的許多方面提供了便利�；谌斯ど窠�(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)系統(tǒng)在現(xiàn)代生活中幾乎隨處可見:比如用于識別圖像中的對象,將語音轉(zhuǎn)換為文本,將新聞項目、帖子或產(chǎn)品與用戶興趣相匹配等,全面智能化了人們的生活。尤其是基于遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的系統(tǒng),得益于它可以同時在空間和時間上傳遞信息的特點,在處理序列信號——如語音識別時比其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更有優(yōu)勢。但是,隨著遞歸神經(jīng)網(wǎng)絡(luò)朝著識別更精確、功能更強大、結(jié)構(gòu)更復(fù)雜的方向發(fā)展,網(wǎng)絡(luò)規(guī)模也隨之越來越大。這種龐大的模型既是計算密集型又是內(nèi)存密集型,在片上運行這些模型將導(dǎo)致極高的能耗,嚴(yán)重影響了遞歸神經(jīng)網(wǎng)絡(luò)加速器的能效。本文以遞歸神經(jīng)網(wǎng)絡(luò)算法為研究基礎(chǔ),高能效的遞歸神經(jīng)網(wǎng)絡(luò)硬件加速器為研究目標(biāo)。針對遞歸神經(jīng)網(wǎng)絡(luò)規(guī)模不斷擴大、模型參數(shù)越來越多引起的計算和存儲開銷增加的問題,從算法調(diào)度和硬件架構(gòu)兩個方面展開了下述幾項工作以提高遞歸神經(jīng)網(wǎng)絡(luò)加速器的能效:一、分析了遞歸神經(jīng)網(wǎng)絡(luò)算法的計算流程和核心算子,對網(wǎng)絡(luò)規(guī)模、參數(shù)分布和計算類型等進(jìn)行了定量分析,并指出乘法能耗是計算能... 

【文章來源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：71 頁

【學(xué)位級別】：碩士

【部分圖文】：

RNN拓?fù)浣Y(jié)構(gòu)

圖 2-2 RNN 的跨時序傳遞特性學(xué)習(xí)最成功的 RNN 結(jié)構(gòu)可以追溯到 1997 年的兩篇論文。一種是出的長短期記憶遞歸神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory Recurrent NeN 結(jié)構(gòu)[26]。這種結(jié)構(gòu)通過引入一個記憶單元來取代 RNN 網(wǎng)絡(luò)隱含層中NN 無法進(jìn)行長期記憶的困難；另一種是 Schuster 和 Paliwal 提出的雙向l Recurrent Neural Networks），即 BRNN 結(jié)構(gòu)[27]。它將上一時刻及下一時刻，打破了傳統(tǒng) RNN 系統(tǒng)只有過去時刻的信息能夠影響當(dāng)前輸出的規(guī)N 這個模型類似于一個標(biāo)準(zhǔn)的帶有隱含層的神經(jīng)網(wǎng)絡(luò)，隱含層中的每個（a））都被一個 LSTM 記憶單元替代（圖 2-3（b））。LSTM 最顯著的特e, Forget Gate, Output Gate）和一個記憶細(xì)胞（Memory Cell）組成。這質(zhì)上與圖 1-1 中的普通神經(jīng)元類似，它將當(dāng)前時刻的輸入和上一時刻的行加權(quán)求和并經(jīng)過激活函數(shù)，從而將有用的信息傳遞下去，也對沒有用胞則利用輸入門和遺忘門單元傳遞過來的數(shù)據(jù)，不斷地更新它所存儲的時刻的輸出層以及下一時刻的隱含層。

東南大學(xué)碩士學(xué)位論文常用的 RNN 結(jié)構(gòu)。這種結(jié)構(gòu)提出的思想依據(jù)是：在一個序果能像訪問過去時刻的語音信息一樣獲得未來時刻的語音將是非常有益的。因而在BRNN的拓?fù)浣Y(jié)構(gòu)中，通常包含兩與輸入輸出神經(jīng)元相連。而這兩個隱含層的區(qū)別在于，第元建立了循環(huán)連接，而第二層隱含神經(jīng)元則與下一個時刻們傳遞信息的方向是相背的，如圖 2-4。但是 BRNN 的局運行的，因為它需要時間來接收來自未來的數(shù)據(jù)信息，因。


本文編號：3334550