基于神經(jīng)生物學(xué)的實(shí)驗(yàn)現(xiàn)象和合理的計(jì)算假設(shè),一些神經(jīng)可塑性機(jī)制的計(jì)算模型被提出并在提升人工神經(jīng)網(wǎng)絡(luò)性能方面發(fā)揮著重要作用。通過(guò)計(jì)算建模模擬生物神經(jīng)機(jī)制的工作過(guò)程有助于人類更好地理解神經(jīng)系統(tǒng)在信息的表達(dá)、處理、存儲(chǔ)等過(guò)程的內(nèi)在工作機(jī)制和生物計(jì)算過(guò)程。然而,現(xiàn)有的神經(jīng)可塑性的計(jì)算建模同樣面臨一些需要克服的問(wèn)題,諸如突觸可塑性中的穩(wěn)定性問(wèn)題、單一的神經(jīng)可塑性學(xué)習(xí)規(guī)則所導(dǎo)致的表現(xiàn)不佳以及對(duì)生物神經(jīng)可塑性機(jī)制的認(rèn)識(shí)仍然存在不足等。本文以現(xiàn)有的神經(jīng)可塑性學(xué)習(xí)規(guī)則和神經(jīng)生物學(xué)研究知識(shí)為理論基礎(chǔ),以回聲狀態(tài)網(wǎng)絡(luò)在一些仿真問(wèn)題和實(shí)際任務(wù)中的測(cè)試實(shí)驗(yàn)為應(yīng)用基礎(chǔ),針對(duì)現(xiàn)有的神經(jīng)可塑機(jī)制在儲(chǔ)備池優(yōu)化過(guò)程所面臨的一些問(wèn)題進(jìn)行研究,主要內(nèi)容如下:（1）現(xiàn)有的突觸可塑性學(xué)習(xí)規(guī)則在儲(chǔ)層連接權(quán)重的調(diào)節(jié)過(guò)程中采用的可塑性規(guī)則不僅學(xué)習(xí)機(jī)制相同而且可塑性參數(shù)也只局限于單一的全局參數(shù)。單一類型的可塑性規(guī)則可能無(wú)法捕獲生物神經(jīng)可塑性的本質(zhì),并且在實(shí)際應(yīng)用中也是不靈活的,進(jìn)而無(wú)法有效地提升系統(tǒng)的學(xué)習(xí)性能�；诖�,本博士論文從單個(gè)神經(jīng)元的角度設(shè)計(jì)了一種局部突觸可塑性學(xué)習(xí)規(guī)則,即不同的儲(chǔ)層神經(jīng)元可以采用完全不同的突觸可塑性規(guī)則或不同參數(shù)... 

【文章來(lái)源】：東華大學(xué)上海市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：112 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

回聲狀態(tài)網(wǎng)絡(luò)模型的基本架構(gòu)

第一章緒論-19-20Mixx(1.14)式中，滑動(dòng)閾值θM的大小取決于突觸后神經(jīng)元的平均輸出狀態(tài)。參數(shù)ε為權(quán)重衰減常數(shù)；x0表示突觸后神經(jīng)元的期望輸出；E2為2階均值運(yùn)算符。在BCM學(xué)習(xí)規(guī)則中，如果突觸后神經(jīng)元的平均輸出狀態(tài)超過(guò)所設(shè)定的滑動(dòng)閾值，則突觸強(qiáng)度增加；否則，減弱。BCM學(xué)習(xí)規(guī)則的示意圖如圖1-2所示：圖1-2.BCM學(xué)習(xí)規(guī)則以上所述的幾類常見(jiàn)的突觸可塑性規(guī)則都是基于放電率的編碼形式。即神經(jīng)元單位時(shí)間內(nèi)放電尖峰數(shù)的大小作為神經(jīng)元放電率的近似值。在這種情況下神經(jīng)編碼過(guò)程僅僅考慮了放電率而忽視了動(dòng)作電位的產(chǎn)生時(shí)刻。除了基于放電率的編碼形式，一類基于放電尖峰時(shí)刻的編碼方式也被用于突觸可塑性的計(jì)算建模中。5.脈沖時(shí)序依賴可塑性進(jìn)一步的研究發(fā)現(xiàn)指出[83-86]，突觸傳遞效率和方向的變化依賴于突觸前、后神經(jīng)元的放電時(shí)間窗。目前，這種依賴于神經(jīng)元脈沖時(shí)序的可塑性也已被用于突觸可塑性的計(jì)算建模。如圖1-3所示，兩個(gè)放電時(shí)刻序列兩兩配對(duì)后，選取與突觸后神經(jīng)元放電最近的時(shí)刻對(duì)用于計(jì)算突觸修正值。圖中，紅色表示抑制，藍(lán)色表示興奮。當(dāng)突觸前神經(jīng)元?jiǎng)幼麟娢坏姆烹姇r(shí)刻早于突觸后神經(jīng)元?jiǎng)幼麟娢坏姆烹姇r(shí)刻，突觸權(quán)重則會(huì)增強(qiáng)；反之，當(dāng)突觸前神經(jīng)元?jiǎng)幼麟娢坏姆烹姇r(shí)刻晚于突觸后神經(jīng)元?jiǎng)幼麟娢坏姆烹姇r(shí)刻，突觸權(quán)重則會(huì)減弱。也就是說(shuō)，權(quán)重的增強(qiáng)或是減弱依賴于突觸前、后神經(jīng)元的放電順序。這種脈沖時(shí)序依賴可塑性可以通過(guò)如下公式表示：

第一章緒論-21-圖1-4.三相脈沖時(shí)序依賴可塑性基于動(dòng)作電位與電壓峰值之間的密切相關(guān)，一種基于突觸前、后神經(jīng)元的瞬時(shí)電壓和平均電壓的可塑性機(jī)制最近被提出[91]。以下公式給出該規(guī)則的計(jì)算表示：[[][]jiLTDijLTPijjWAxuAxuu(1.17)式中，xi表示突觸前神經(jīng)元i的尖峰序列；uj表示突觸后神經(jīng)元j的電壓值；θ為閾值參數(shù)；三個(gè)參數(shù)的上標(biāo)形式為所對(duì)應(yīng)的低通濾波值。7.基于鈣離子的可塑性事實(shí)上，無(wú)論是基于放電率的編碼還是基于放電尖峰時(shí)刻的編碼的突觸可塑性的計(jì)算建模都未曾涉及到神經(jīng)系統(tǒng)的內(nèi)在分子機(jī)制，Shouval等人在其文獻(xiàn)[92]中指出基于脈沖時(shí)序的可塑性學(xué)習(xí)規(guī)則可能忽略某些對(duì)學(xué)習(xí)和記憶能力至關(guān)重要的內(nèi)在分子機(jī)制。文中指出突觸可塑性是由多種受體產(chǎn)生的第二信使所誘導(dǎo)的，這些第二信使反過(guò)來(lái)又激活激酶、磷酸酶和其它下游目標(biāo)。進(jìn)一步的研究也指出突觸中鈣離子濃度在誘導(dǎo)突觸可塑性中發(fā)揮著關(guān)鍵作用，這也為一些基于脈沖時(shí)序依賴可塑性的學(xué)習(xí)規(guī)則提供了進(jìn)一步的實(shí)驗(yàn)解釋。最近兩個(gè)模型基于此提出了兩種基于鈣離子濃度的可塑性。其中，文獻(xiàn)[93]基于哺乳動(dòng)物CA1區(qū)錐體神經(jīng)元上單個(gè)樹(shù)突棘的生物物理模型，通過(guò)描述不同輸入刺激下產(chǎn)生的鈣離子流量的變化，構(gòu)建了基于鈣離子濃度驅(qū)動(dòng)的激酶和磷酸酶模型。文獻(xiàn)[94]通過(guò)不同輸入刺激下鈣離子濃度的變化構(gòu)建分子級(jí)的突觸可塑性規(guī)則，并通過(guò)閾值參數(shù)控制長(zhǎng)時(shí)程增強(qiáng)和長(zhǎng)時(shí)程抑制。1.3.2內(nèi)在可塑性的主要研究?jī)?nèi)容及現(xiàn)狀不同于突觸強(qiáng)度的調(diào)節(jié)，單個(gè)神經(jīng)元同樣可以通過(guò)改變電壓門控離子通道的方式來(lái)改變其自身內(nèi)在興奮性以適應(yīng)不同的突觸輸入[74,76]。這種神經(jīng)元的內(nèi)在興奮

【參考文獻(xiàn)】：
期刊論文
[1]基于混沌理論與改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量多步預(yù)測(cè)[J]. 田中大,李樹(shù)江,王艷紅,王向東.  通信學(xué)報(bào). 2016(03)

博士論文
[1]纖維增強(qiáng)復(fù)合材料剩余強(qiáng)度模型及壽命預(yù)測(cè)方法研究[D]. 高建雄.蘭州理工大學(xué) 2019
[2]回聲狀態(tài)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)方法及應(yīng)用研究[D]. 黃標(biāo)兵.吉林大學(xué) 2017
[3]基于回聲狀態(tài)網(wǎng)絡(luò)的多元時(shí)間序列預(yù)測(cè)研究[D]. 許美玲.大連理工大學(xué) 2016
[4]回聲狀態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)優(yōu)化及其應(yīng)用[D]. 王河山.華東理工大學(xué) 2016
[5]神經(jīng)網(wǎng)絡(luò)協(xié)同學(xué)習(xí)理論及應(yīng)用研究[D]. 李雨珂.浙江大學(xué) 2015
[6]基于回聲狀態(tài)網(wǎng)絡(luò)的非線性時(shí)間序列預(yù)測(cè)方法研究[D]. 王建民.哈爾濱工業(yè)大學(xué) 2011
[7]回聲狀態(tài)網(wǎng)絡(luò)分類方法及其應(yīng)用研究[D]. 郭嘉.哈爾濱工業(yè)大學(xué) 2011



本文編號(hào)：3285719