發(fā)布時間：2020-08-15 22:06

【摘要】：在眾多實現(xiàn)人工智能的技術(shù)中,神經(jīng)網(wǎng)絡(luò)是當(dāng)今最成功也是應(yīng)用最廣泛的技術(shù)。卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展,隨著卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn),人工智能的發(fā)展也是如日中天。然而,在卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計越來越復(fù)雜的今天,不斷增加的功耗也是限制其發(fā)展的一個重要因素。其中,卷積計算的功耗占比極大,可達(dá)90%。乘法器是卷積計算中重要的計算單元,考慮到神經(jīng)網(wǎng)絡(luò)中的計算并不需要完全精確的特點,本文設(shè)計了適用于卷積神經(jīng)網(wǎng)絡(luò)的近似乘法器電路,以達(dá)到降低功耗的目的。近似乘法器種類繁多,功耗和平均相對誤差等關(guān)鍵性能也各不相同。首先,本文在借鑒國內(nèi)外研究成果的基礎(chǔ)上,確定了適用于卷積神經(jīng)網(wǎng)絡(luò)的參考方案,并對其進行了邏輯和電路結(jié)構(gòu)兩個層面的優(yōu)化。在邏輯層面上,本文通過增加高位部分積的方式,用較小的功耗代價降低了 2%的平均相對誤差;在電路結(jié)構(gòu)層面上,本文使用了移位至固定位置的操作,取代了原電路的LOD等模塊,且方便了增加的部分積的加入。其次,本文編寫了改進后電路及原電路的SPICE網(wǎng)表,采用Hspice軟件仿真驗證,并設(shè)計了同時考慮了功耗、延遲及平均相對誤差的品質(zhì)因數(shù)(FoM)。仿真結(jié)果表明,改進后的電路在不同的輸入電壓、溫度、工藝角下均優(yōu)于原電路,FoM收益最低8.26%,最高16.3%。最后,本文將改進后的近似乘法器電路嵌入到開源神經(jīng)網(wǎng)絡(luò)平臺NVDLA的計算模塊中,并通過仿真來確定其在實際應(yīng)用中的效果。經(jīng)驗證,兩種設(shè)計性能基本相等,但功耗僅為原CMAC模塊的32.6%,面積僅為原CMAC模塊46.7%。
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP332.22;TP18
【圖文】：

傳遞的信號均是以數(shù)字的形式表達(dá)的，每個輸入信號與權(quán)重相乘，再各自相加逡逑個和，最后由一個函數(shù)對這個和進行處理后再輸出，即用代表了某個特征的卷逡逑輸入矩陣進行卷積操作。逡逑積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ邋Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋｓ，邋ＣＮＮ）是神經(jīng)網(wǎng)絡(luò)下最熱門的一個逡逑指的是利用多層次的神經(jīng)網(wǎng)絡(luò)，逐層進行學(xué)習(xí)。ＣＮＮ最初的結(jié)構(gòu)是１９８６年由逡逑ｌｈａｒｔ和ＭｃＣｅｌｌａｎｄ提出的誤差反向傳播算法（Ｅｒｒｏｒ邋Ｂａｃｋ邋Ｐｒｏｐａｇａｔｉｏｎ），其主要思逡逑據(jù)輸出的誤差進行反饋，不斷修正中間的權(quán)重并在產(chǎn)生結(jié)果后再次反饋，這樣循逡逑誤差足夠小為止。１９９８年，紐約大學(xué)的學(xué)者們提出了邋ＬｅＮｅｔ－５結(jié)構(gòu)，通過兩個卷逡逑接上降采樣層的結(jié)構(gòu)提高了擬合成功的概率。２００６年，多倫多大學(xué)的Ｈｉｎｔｏｎ和逡逑ｕｔｄｉｎｏｖ提出了深度信念網(wǎng)絡(luò)，認(rèn)為神經(jīng)網(wǎng)絡(luò)含有隱層的數(shù)量越多，層次越深，就逡逑強的學(xué)習(xí)能力。且對于深層人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練難度大的問題，可以通過無監(jiān)督的逡逑始化的方式解決。２０１２年，Ｋｒｉｚｈｅｖｓｋｙ提出了邋Ａｌｅｘ－Ｎｅｔ模型，在ＩＬＳＶＲＣ－２０１２逡逑賽中，ｔｏｐ－５誤差為１５．３％，取得了新的突破。２０１４年，ＣｈｒｉｓｔｉａｎＳｚｅｇｅｄｙ等人設(shè)計逡逑ｏｏｇｌｅ邋Ｎｅｔ深度卷積神經(jīng)網(wǎng)絡(luò)在ＩＬＳＶＲＣ－２０１４的比賽中，ｔｏｐ－５誤差降到６．６７％。逡逑年這個記錄再次被刷新，ＩｍａｇｅＮｅｔ２０１５的比賽中冠軍取得了邋ｔｏｐ－５誤差３．５７％的成逡逑見，ＣＮＮ的發(fā)展己經(jīng)邁上了快車道。逡逑于ＣＮＮ及其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的性能得到了大幅提升，在圖片逡逑面的正確率甚至可以超出人腦，如圖１－１所示。于此同時，其商業(yè)

在經(jīng)過若干個卷積層和子采樣層后，ＣＮＮ最后通過全連接層（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）逡逑得出輸出。全連接層與上述卷積層的區(qū)別在于其各個神經(jīng)元均與上一層的所有神經(jīng)元逡逑連接，即綜合之前得出的所有特征產(chǎn)生輸出。其綜合結(jié)構(gòu)圖如圖１－３所示。逡逑輸入邐特征圖邐特征圖邐特征圖邋特征圖逡逑Ｉ逡逑邐｜｜邐…＇．．．．．．＇＇Ｉ邐邐逡逑二．邋邋■■■：．」邐ｒ？＿ｕ邐Ｖ逡逑邐Ｈ邐邋Ｈ邋｜邋￣邐ｎ逡逑卷積邐池化邐卷積邐池化通過全連接層逡逑圖１－３卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖逡逑２逡逑

圖１４類神經(jīng)系統(tǒng)硬件應(yīng)用的高層次細(xì)分及占比ｍ逡逑全定制或?qū)Ｓ眉呻娐罚ǎ粒樱桑茫┬酒瑢τ陬惿窠?jīng)系統(tǒng)實現(xiàn)也是非常常見的［的ＴｒｕｅＮｏｒｔｈ是當(dāng)今最流行的類神經(jīng)系統(tǒng)實現(xiàn)之一，它是完全定制的ＡＳＩＣＴｍｅＮｏｒｔｈ芯片是部分異步和部分同步的，因為時鐘控制著系統(tǒng)中的基本時些活動不會與時鐘發(fā)生。ＴｒｕｅＮｏｒｔｈ系統(tǒng)中的一個核心包含一個２５６ｘ２５６交，可將傳入尖峰映射到神經(jīng)元。系統(tǒng)的行為是確定性的，但是有能力通過生隨機行為。這種隨機性可以在軟件模擬中完全復(fù)制。逡逑ＳｐｉＮＮａｋｅｒ是另一種流行的類神經(jīng)系統(tǒng)實現(xiàn)，也是一個全定制的數(shù)字大規(guī)模１６＿１８ｌ。ＳｐｉＮＮａｋｅｒ由許多小型整數(shù)核心以及針對基于尖峰的網(wǎng)絡(luò)架構(gòu)的通信行定制互連通信方案組成。也就是說，通信結(jié)構(gòu)是為了處理大量非常小的消。處理單元本身非常靈活，并不是神經(jīng)形態(tài)的定制，但每個ＳｐｉＮＮａｋｅｒ芯片指令和數(shù)據(jù)存儲器，以便最大限度地減少對常用數(shù)據(jù)的訪問時間。像ＴｒｕｅＮｏＳｐｉＮＮａｋｅｒ支持芯片的級聯(lián)以形成更大的系統(tǒng)。逡逑ＴｒｕｅＮｏｒｔｈ和ＳｐｉＮＮａｋｅｒ提供了數(shù)字硬件實現(xiàn)極限的例子。ＴｒｕｅＮｏｒｔｈ公司選定峰值神經(jīng)網(wǎng)絡(luò)模型，它具有泄漏的整合放電神經(jīng)元和有限的可編程連接有片上學(xué)習(xí)。它針對所選擇的網(wǎng)絡(luò)模型和拓?fù)溥M行了高度優(yōu)化。另一Ｎａｋｅｒ在其選擇的神經(jīng)元模型，突觸模型和學(xué)習(xí)算法中是非常靈活的。此外，和網(wǎng)絡(luò)的拓?fù)涠挤浅ｌ`活。然而，這種靈活性的代價是能量效率。據(jù)Ｆｕｒｂｅｒ

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡(luò)拐點預(yù)測法[J];金融經(jīng)濟;2017年18期

2 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡(luò)大會述評[J];國際學(xué)術(shù)動態(tài);1996年01期

3 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設(shè)計研究[J];數(shù)字技術(shù)與應(yīng)用;2018年04期

4 張庭略;;基于硬件的神經(jīng)網(wǎng)絡(luò)加速[J];通訊世界;2018年08期

5 蘇秀婷;;耦合神經(jīng)網(wǎng)絡(luò)的同步[J];紹興文理學(xué)院學(xué)報(自然科學(xué));2016年03期

6 朱n

本文編號：2794725