【摘要】：在眾多實現(xiàn)人工智能的技術中,神經(jīng)網(wǎng)絡是當今最成功也是應用最廣泛的技術。卷積神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的進一步發(fā)展,隨著卷積神經(jīng)網(wǎng)絡的出現(xiàn),人工智能的發(fā)展也是如日中天。然而,在卷積神經(jīng)網(wǎng)絡的設計越來越復雜的今天,不斷增加的功耗也是限制其發(fā)展的一個重要因素。其中,卷積計算的功耗占比極大,可達90%。乘法器是卷積計算中重要的計算單元,考慮到神經(jīng)網(wǎng)絡中的計算并不需要完全精確的特點,本文設計了適用于卷積神經(jīng)網(wǎng)絡的近似乘法器電路,以達到降低功耗的目的。近似乘法器種類繁多,功耗和平均相對誤差等關鍵性能也各不相同。首先,本文在借鑒國內(nèi)外研究成果的基礎上,確定了適用于卷積神經(jīng)網(wǎng)絡的參考方案,并對其進行了邏輯和電路結構兩個層面的優(yōu)化。在邏輯層面上,本文通過增加高位部分積的方式,用較小的功耗代價降低了 2%的平均相對誤差;在電路結構層面上,本文使用了移位至固定位置的操作,取代了原電路的LOD等模塊,且方便了增加的部分積的加入。其次,本文編寫了改進后電路及原電路的SPICE網(wǎng)表,采用Hspice軟件仿真驗證,并設計了同時考慮了功耗、延遲及平均相對誤差的品質(zhì)因數(shù)(FoM)。仿真結果表明,改進后的電路在不同的輸入電壓、溫度、工藝角下均優(yōu)于原電路,FoM收益最低8.26%,最高16.3%。最后,本文將改進后的近似乘法器電路嵌入到開源神經(jīng)網(wǎng)絡平臺NVDLA的計算模塊中,并通過仿真來確定其在實際應用中的效果。經(jīng)驗證,兩種設計性能基本相等,但功耗僅為原CMAC模塊的32.6%,面積僅為原CMAC模塊46.7%。
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP332.22;TP18
【圖文】：

傳遞的信號均是以數(shù)字的形式表達的，每個輸入信號與權重相乘，再各自相加逡逑個和，最后由一個函數(shù)對這個和進行處理后再輸出，即用代表了某個特征的卷逡逑輸入矩陣進行卷積操作。逡逑積神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ邋Ｎｅｕｒａｌ邋Ｎｅｔｗｏｒｋｓ，邋ＣＮＮ）是神經(jīng)網(wǎng)絡下最熱門的一個逡逑指的是利用多層次的神經(jīng)網(wǎng)絡，逐層進行學習。ＣＮＮ最初的結構是１９８６年由逡逑ｌｈａｒｔ和ＭｃＣｅｌｌａｎｄ提出的誤差反向傳播算法（Ｅｒｒｏｒ邋Ｂａｃｋ邋Ｐｒｏｐａｇａｔｉｏｎ），其主要思逡逑據(jù)輸出的誤差進行反饋，不斷修正中間的權重并在產(chǎn)生結果后再次反饋，這樣循逡逑誤差足夠小為止。１９９８年，紐約大學的學者們提出了邋ＬｅＮｅｔ－５結構，通過兩個卷逡逑接上降采樣層的結構提高了擬合成功的概率。２００６年，多倫多大學的Ｈｉｎｔｏｎ和逡逑ｕｔｄｉｎｏｖ提出了深度信念網(wǎng)絡，認為神經(jīng)網(wǎng)絡含有隱層的數(shù)量越多，層次越深，就逡逑強的學習能力。且對于深層人工神經(jīng)網(wǎng)絡訓練難度大的問題，可以通過無監(jiān)督的逡逑始化的方式解決。２０１２年，Ｋｒｉｚｈｅｖｓｋｙ提出了邋Ａｌｅｘ－Ｎｅｔ模型，在ＩＬＳＶＲＣ－２０１２逡逑賽中，ｔｏｐ－５誤差為１５．３％，取得了新的突破。２０１４年，ＣｈｒｉｓｔｉａｎＳｚｅｇｅｄｙ等人設計逡逑ｏｏｇｌｅ邋Ｎｅｔ深度卷積神經(jīng)網(wǎng)絡在ＩＬＳＶＲＣ－２０１４的比賽中，ｔｏｐ－５誤差降到６．６７％。逡逑年這個記錄再次被刷新，ＩｍａｇｅＮｅｔ２０１５的比賽中冠軍取得了邋ｔｏｐ－５誤差３．５７％的成逡逑見，ＣＮＮ的發(fā)展己經(jīng)邁上了快車道。逡逑于ＣＮＮ及其他神經(jīng)網(wǎng)絡結構的發(fā)展，神經(jīng)網(wǎng)絡的性能得到了大幅提升，在圖片逡逑面的正確率甚至可以超出人腦，如圖１－１所示。于此同時，其商業(yè)

在經(jīng)過若干個卷積層和子采樣層后，ＣＮＮ最后通過全連接層（Ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄｌａｙｅｒ）逡逑得出輸出。全連接層與上述卷積層的區(qū)別在于其各個神經(jīng)元均與上一層的所有神經(jīng)元逡逑連接，即綜合之前得出的所有特征產(chǎn)生輸出。其綜合結構圖如圖１－３所示。逡逑輸入邐特征圖邐特征圖邐特征圖邋特征圖逡逑Ｉ逡逑邐｜｜邐…＇．．．．．．＇＇Ｉ邐邐逡逑二．邋邋■■■：．」邐ｒ？＿ｕ邐Ｖ逡逑邐Ｈ邐邋Ｈ邋｜邋￣邐ｎ逡逑卷積邐池化邐卷積邐池化通過全連接層逡逑圖１－３卷積神經(jīng)網(wǎng)絡的結構圖逡逑２逡逑

圖１４類神經(jīng)系統(tǒng)硬件應用的高層次細分及占比ｍ逡逑全定制或?qū)Ｓ眉呻娐罚ǎ粒樱桑茫┬酒瑢τ陬惿窠?jīng)系統(tǒng)實現(xiàn)也是非常常見的［的ＴｒｕｅＮｏｒｔｈ是當今最流行的類神經(jīng)系統(tǒng)實現(xiàn)之一，它是完全定制的ＡＳＩＣＴｍｅＮｏｒｔｈ芯片是部分異步和部分同步的，因為時鐘控制著系統(tǒng)中的基本時些活動不會與時鐘發(fā)生。ＴｒｕｅＮｏｒｔｈ系統(tǒng)中的一個核心包含一個２５６ｘ２５６交，可將傳入尖峰映射到神經(jīng)元。系統(tǒng)的行為是確定性的，但是有能力通過生隨機行為。這種隨機性可以在軟件模擬中完全復制。逡逑ＳｐｉＮＮａｋｅｒ是另一種流行的類神經(jīng)系統(tǒng)實現(xiàn)，也是一個全定制的數(shù)字大規(guī)模１６＿１８ｌ。ＳｐｉＮＮａｋｅｒ由許多小型整數(shù)核心以及針對基于尖峰的網(wǎng)絡架構的通信行定制互連通信方案組成。也就是說，通信結構是為了處理大量非常小的消。處理單元本身非常靈活，并不是神經(jīng)形態(tài)的定制，但每個ＳｐｉＮＮａｋｅｒ芯片指令和數(shù)據(jù)存儲器，以便最大限度地減少對常用數(shù)據(jù)的訪問時間。像ＴｒｕｅＮｏＳｐｉＮＮａｋｅｒ支持芯片的級聯(lián)以形成更大的系統(tǒng)。逡逑ＴｒｕｅＮｏｒｔｈ和ＳｐｉＮＮａｋｅｒ提供了數(shù)字硬件實現(xiàn)極限的例子。ＴｒｕｅＮｏｒｔｈ公司選定峰值神經(jīng)網(wǎng)絡模型，它具有泄漏的整合放電神經(jīng)元和有限的可編程連接有片上學習。它針對所選擇的網(wǎng)絡模型和拓撲進行了高度優(yōu)化。另一Ｎａｋｅｒ在其選擇的神經(jīng)元模型，突觸模型和學習算法中是非常靈活的。此外，和網(wǎng)絡的拓撲都非常靈活。然而，這種靈活性的代價是能量效率。據(jù)Ｆｕｒｂｅｒ

【相似文獻】

相關期刊論文 前10條

1 胡悅;;金融市場中的神經(jīng)網(wǎng)絡拐點預測法[J];金融經(jīng)濟;2017年18期

2 遲惠生;陳珂;;1995年世界神經(jīng)網(wǎng)絡大會述評[J];國際學術動態(tài);1996年01期

3 王麗華;楊秀萍;王皓;高崢翔;;智能雙輪平衡車的設計研究[J];數(shù)字技術與應用;2018年04期

4 張庭略;;基于硬件的神經(jīng)網(wǎng)絡加速[J];通訊世界;2018年08期

5 蘇秀婷;;耦合神經(jīng)網(wǎng)絡的同步[J];紹興文理學院學報(自然科學);2016年03期

6 朱n

本文編號：2794725