【摘要】：作為第三代人工神經(jīng)網(wǎng)絡(luò),脈沖神經(jīng)網(wǎng)絡(luò)具有更高的生物似真性和計(jì)算效能,是未來類腦計(jì)算及人工智能的重要研究領(lǐng)域之一。但由于脈沖編碼、計(jì)算等相關(guān)理論的缺乏,現(xiàn)有的學(xué)習(xí)算法訓(xùn)練效率仍然較低,效果也不令人滿意,導(dǎo)致目前脈沖神經(jīng)網(wǎng)絡(luò)的實(shí)用性不高。發(fā)展更高效的學(xué)習(xí)算法,以及將訓(xùn)練好的深度學(xué)習(xí)模型直接轉(zhuǎn)化為脈沖模型是提高脈沖神經(jīng)網(wǎng)絡(luò)性能的兩種重要途徑。本文圍繞提高脈沖神經(jīng)網(wǎng)絡(luò)實(shí)用性的問題,重點(diǎn)研究了基于脈沖相對順序的新型學(xué)習(xí)算法和低延時(shí)、低成本的脈沖轉(zhuǎn)化方法,主要的研究內(nèi)容和創(chuàng)新點(diǎn)包括:1.以脈沖相對順序?yàn)橹笇?dǎo)的脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法�，F(xiàn)有的脈沖神經(jīng)網(wǎng)絡(luò)使用人為精確設(shè)定的固定脈沖為學(xué)習(xí)目標(biāo),存在潛在的輸入模式與學(xué)習(xí)目標(biāo)不匹配的問題。本文提出了以脈沖相對順序?yàn)橹笇?dǎo)的學(xué)習(xí)算法,不需要設(shè)計(jì)具體精確的脈沖作為學(xué)習(xí)目標(biāo),以輸出層神經(jīng)元的脈沖順序?yàn)楸O(jiān)督信號指導(dǎo)突觸權(quán)重的更新。針對神經(jīng)元的不同狀態(tài),使用不同的誤差函數(shù),提高了神經(jīng)元的學(xué)習(xí)能力和效率。豐富的實(shí)驗(yàn)驗(yàn)證了脈沖相對順序?qū)W習(xí)算法的高魯棒性,高效的學(xué)習(xí)效率及優(yōu)良的泛化能力。最后,將該算法訓(xùn)練的脈沖網(wǎng)絡(luò)與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比。相同網(wǎng)絡(luò)規(guī)模的條件下,脈沖模型的識別性能與MLP模型相當(dāng),但推理時(shí)只需要MLP模型15%的運(yùn)算量,凸顯了脈沖機(jī)制的高能效特性。2.基于激活值量化的低推理延時(shí)的脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化方法。傳統(tǒng)方法轉(zhuǎn)化深度神經(jīng)網(wǎng)絡(luò)得到的脈沖模型需要較長的仿真時(shí)間產(chǎn)生大量的脈沖來模擬源網(wǎng)絡(luò)的輸入輸出關(guān)系,以獲得與源網(wǎng)絡(luò)相當(dāng)?shù)淖R別性能。通過分析深度學(xué)習(xí)模型激活函數(shù)與脈沖神經(jīng)元等效替換的內(nèi)在要求,發(fā)現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò)推理延時(shí)與激活值精度存在正相關(guān)關(guān)系,提出了基于激活值量化的深度脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方法。針對激活值量化,提出了基于再訓(xùn)練的逐層量化算法,通過等間隔掃描和L2量化誤差最小化方法獲得最佳的量化分辨率,并進(jìn)行逐層量化和再訓(xùn)練,得到了性能基本無損的量化網(wǎng)絡(luò)模型。以量化網(wǎng)絡(luò)模型為基礎(chǔ)進(jìn)行脈沖轉(zhuǎn)化,只需要少量脈沖就能精確模擬激活值之間的比例關(guān)系,減少了脈沖網(wǎng)絡(luò)的推理延時(shí),降低了網(wǎng)絡(luò)負(fù)載。3.卷積神經(jīng)網(wǎng)絡(luò)池化層及softmax層的脈沖轉(zhuǎn)化方法。卷積神經(jīng)網(wǎng)絡(luò)的脈沖化是提高其實(shí)時(shí)性及能效的重要途徑。針對現(xiàn)有的轉(zhuǎn)化方法實(shí)現(xiàn)復(fù)雜,成本較大的缺陷,提出了池化融合技術(shù)和softmax層的直接映射方法。通過衰減卷積層權(quán)重的方式將卷積層脈沖標(biāo)定為池化脈沖,將平均池化功能融合進(jìn)了卷積層脈沖神經(jīng)元;通過增加卷積層池化區(qū)域神經(jīng)元之間的抑制突觸連接,并把池化區(qū)域產(chǎn)生的脈沖標(biāo)定為相應(yīng)的池化脈沖,將最大值池化功能融合進(jìn)了卷積層脈沖神經(jīng)元。通過改變輸出層神經(jīng)元的行為模式,使其只進(jìn)行膜電位累積,而不發(fā)射脈沖,從而能夠直接使用softmax層的權(quán)重,實(shí)現(xiàn)了 softmax層的脈沖化。對于典型的卷積-池化堆疊網(wǎng)絡(luò)(2*2池化),這些方法使轉(zhuǎn)化得到的脈沖模型減少約20%的神經(jīng)元和80%的脈沖數(shù)量。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP183
【圖文】：

邐Ｓｙ—Ｓｅ逡逑圖１－２生物神經(jīng)元ｌ４１】逡逑人類大腦包含超過百億的神經(jīng)元細(xì)胞，如圖１－２所示，每個(gè)神經(jīng)元包含胞逡逑體（Ｓｏｍａ），軸突（Ａｘｏｎ），樹突（Ｄｅｎｄｒｉｔｅｓ）和突觸（Ｓｙｎａｐｓｅ）。神經(jīng)元之間逡逑通過樹突和突觸進(jìn)行連接，每個(gè)神經(jīng)元平均與其他１0３個(gè)神經(jīng)元相連接。巨量的逡逑神經(jīng)元和豐富的連接構(gòu)成了大腦這個(gè)大規(guī)模的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。研究表明，神經(jīng)元逡逑之間信息的傳遞通過電脈沖信號完成，這些電脈沖被稱為動作電位，或脈沖逡逑（Ｓｐｉｋｅ）。脈沖持續(xù)時(shí)間約為ｌｍｓ，幅值可達(dá)到１００ｍＶ。受神經(jīng)科學(xué)研究成果的逡逑啟發(fā)，人們提出了脈沖神經(jīng)網(wǎng)絡(luò)模型，進(jìn)一步探索大腦信息處理與存儲的機(jī)制。逡逑本節(jié)將從脈沖神經(jīng)元模型、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和相關(guān)應(yīng)用等方面對其進(jìn)行簡單介紹。逡逑１．２．１脈沖神經(jīng)元模型逡逑脈沖神經(jīng)網(wǎng)絡(luò)與前兩代人工神經(jīng)網(wǎng)絡(luò)最大的不同在于其網(wǎng)絡(luò)的基本組成單逡逑元為脈沖神經(jīng)元。傳統(tǒng)神經(jīng)元模型在每一次推理計(jì)算中均會被激活，并將運(yùn)算結(jié)逡逑果傳播出去

Ｊ＇Ｌ人訣逡逑}�！辶x賢跡保創(chuàng)竽隕窬玨義夏殼把芯亢陀τ米釵惴旱氖塹ゲ闈襖⊥紜Ｍ跡保滴恢值湫偷牡ゲ闈板義俠∪嗔齔逕窬緗峁埂Ｊ淙爰だü嗦肷窬ǚ鍬齔逕窬Ｐ停┍誨義媳嗦氤刪哂惺笨招畔⒌穆齔逍蛄心Ｊ劍淙氳ゲ愕穆齔逕窬�。该层慢Z逕窬義獻(xiàn)魑哂醒澳芰Φ納窬�，通过学习算法惦y盜罰髡淮トㄖ兀蘊(yùn)囟ǖ氖溴義先肼齔迥Ｊ階齔鎏囟ǖ南煊Γㄈ縭欠袷涑雎齔�，是否灾@囟ㄊ奔淶閌涑雎齔宓齲義洗傭迪侄允淙朧蕕難�。根据某种规詽}匝吧窬氖涑黿薪飴�，从辶x隙迪致齔逕窬緄木嚀逵τ謾ｅ義希澹睿悖錚洌椋睿玨嗚瓔p㈣邋ｒｅａｄｏｕｔ逡逑ｎｅｕｒｏｎｓ邐ｎｅｕｒｏｎｓ逡逑｜＾Ｔ１逡逑ｓｔｉｍｕｌｉ邐￣￣￣逡逑：R%逡逑、邐丫一邐＾Ｊ邋Ｖ邐ｙ邐，逡逑Ｅｎｃｏｄｉｎｇ邐Ｌｅａｒｎｉｎｇ邋Ｒｅａｄｏｕｔ逡逑圖１－５單層前饋全相

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 藺想紅;王向文;張寧;馬慧芳;;脈沖神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法研究綜述[J];電子學(xué)報(bào);2015年03期

本文編號：2742638