【摘要】：相對(duì)于基于梯度學(xué)習(xí)的前饋神經(jīng)網(wǎng)絡(luò),隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)(RFNN,Random Feedforward Neural Network)具有更快的學(xué)習(xí)速度和良好的泛化性能,近年來(lái)得到了深入研究與廣泛應(yīng)用。因隨機(jī)設(shè)置網(wǎng)絡(luò)輸入層權(quán)值和隱單元閾值,RFNN存在兩個(gè)主要缺陷:(1)相對(duì)于基于梯度學(xué)習(xí)的前饋神經(jīng)網(wǎng)絡(luò),RFNN需要更多的隱層神經(jīng)元,增加了網(wǎng)絡(luò)復(fù)雜性,導(dǎo)致網(wǎng)絡(luò)泛化性能降低。(2)非最優(yōu)或非近似最優(yōu)的網(wǎng)絡(luò)輸入層權(quán)值和隱單元閾值會(huì)使RFNN輸出層權(quán)值非最優(yōu)或非近似最優(yōu),從而降低網(wǎng)絡(luò)的泛化性能。因此,優(yōu)選合適的網(wǎng)絡(luò)輸入層權(quán)值和隱單元閾值是提高RFNN性能的關(guān)鍵。相對(duì)于其它啟發(fā)式優(yōu)化算法,粒子群優(yōu)化(PSO,Particle Swarm Optimization)算法需要調(diào)整的參數(shù)少,無(wú)復(fù)雜的進(jìn)化操作,實(shí)現(xiàn)簡(jiǎn)單,只需較小的演化群體,在很多非線性?xún)?yōu)化問(wèn)題方面都取得了良好的效果。因此,為克服因隨機(jī)設(shè)置網(wǎng)絡(luò)輸入層權(quán)值和隱單元閾值所帶來(lái)的缺陷,本文運(yùn)用PSO分別對(duì)單隱層RFNN、集成RFNN和深度RFNN進(jìn)行優(yōu)化,在提高這三類(lèi)網(wǎng)絡(luò)性能的同時(shí)降低它們的復(fù)雜度。本文研究為前饋神經(jīng)網(wǎng)絡(luò)性能的提高和群智能優(yōu)化算法的改進(jìn)提供了新的思路,主要工作包括:1.針對(duì)RFNN因隨機(jī)設(shè)置輸入層網(wǎng)絡(luò)權(quán)值和隱單元閾值而導(dǎo)致網(wǎng)絡(luò)的隱層神經(jīng)元數(shù)目過(guò)多、泛化性能不高,提出了一類(lèi)運(yùn)用PSO編碼網(wǎng)絡(luò)輸入輸出靈敏度信息優(yōu)化單隱層RFNN學(xué)習(xí)方法(PSOIOS-ELM)。該方法在運(yùn)用PSO對(duì)網(wǎng)絡(luò)的輸入層網(wǎng)絡(luò)權(quán)值和隱單元閾值進(jìn)行優(yōu)化時(shí),根據(jù)網(wǎng)絡(luò)在訓(xùn)練樣本集上的輸入輸出靈敏度信息,調(diào)整各粒子的個(gè)體歷史最優(yōu)位置和種群的全局最優(yōu)粒子位置,在提高算法收斂精度的前提下,降低網(wǎng)絡(luò)的輸入輸出靈敏度。PSOIOS-ELM方法通過(guò)合理降低網(wǎng)絡(luò)的輸入輸出靈敏度,有效減少隱單元的數(shù)目、增加網(wǎng)絡(luò)的魯棒性、提高網(wǎng)絡(luò)條件性能和泛化性能。在多個(gè)回歸和分類(lèi)問(wèn)題上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出方法的有效性。2.為了克服傳統(tǒng)集成RFNN的缺陷,提出了一類(lèi)基于雙重優(yōu)化策略的集成隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)優(yōu)化學(xué)習(xí)方法(DO-EOBELM),包括備選RFNN庫(kù)的生成、成員RFNN的選擇與集成、冗余成員RFNN的剔除。為了提高備選RFNN的差異性,該方法首先利用生成正交基的方法產(chǎn)生相互正交的RFNN集合,并從中篩選低輸入輸出靈敏度RFNN建立備選RFNN庫(kù);其次,在綜合考慮集成系統(tǒng)的分類(lèi)性能和差異性的基礎(chǔ)上,利用吸引排斥粒子群優(yōu)化(ARPSO,Attractive and Repulsive Particle Swarm Optimization)算法從備選RFNN庫(kù)中篩選成員組成集成系統(tǒng);再次,利用ARPSO對(duì)各成員RFNN集成權(quán)值進(jìn)行優(yōu)化;最后,根據(jù)集成權(quán)值大小剔除集成系統(tǒng)中冗余的成員RFNN,在保證集成系統(tǒng)收斂性能的基礎(chǔ)上提高其緊湊性。在函數(shù)回歸、基準(zhǔn)數(shù)據(jù)分類(lèi)和基因表達(dá)譜數(shù)據(jù)分類(lèi)等問(wèn)題上的實(shí)驗(yàn)結(jié)果表明,DO-EOBELM方法能夠構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)更為緊湊、泛化性能更優(yōu)的集成隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)系統(tǒng)。3.針對(duì)傳統(tǒng)深度RFNN因隨機(jī)設(shè)置各隱層對(duì)應(yīng)的自動(dòng)編碼器參數(shù),而使其性能受到影響,提出了一類(lèi)基于PSO的深度隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)優(yōu)化學(xué)習(xí)方法(PSO-ML-ELM)。該方法首先利用PSO耦合網(wǎng)絡(luò)的輸入輸出靈敏度信息,對(duì)各隱層對(duì)應(yīng)的自動(dòng)編碼器的輸入層權(quán)值和隱單元閾值進(jìn)行優(yōu)化,從而通過(guò)改善各個(gè)自動(dòng)編碼器的性能來(lái)改善深度隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)的性能。然后利用PSO對(duì)整個(gè)深度隨機(jī)網(wǎng)絡(luò)的權(quán)值做簡(jiǎn)單優(yōu)化,進(jìn)一步提高深度隨機(jī)前饋神經(jīng)網(wǎng)絡(luò)的性能。在不同的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明PSO-ML-ELM方法在時(shí)間開(kāi)銷(xiāo)和泛化性能方面有較好的平衡。4.對(duì)方法PSOIOS-ELM和DO-EOBELM分別進(jìn)行了理論分析。針對(duì)方法PSOIOS-ELM中輸入輸出靈敏度函數(shù)計(jì)算量較大的問(wèn)題,根據(jù)網(wǎng)絡(luò)隱單元激活函數(shù)的導(dǎo)數(shù)函數(shù)的單調(diào)性情況,推導(dǎo)出幾類(lèi)簡(jiǎn)化的網(wǎng)絡(luò)輸入輸出靈敏度函數(shù),在保證網(wǎng)絡(luò)泛化性能的基礎(chǔ)上降低了網(wǎng)絡(luò)的訓(xùn)練開(kāi)銷(xiāo)。針對(duì)方法DO-EOBELM中剔除集成系統(tǒng)中冗余的子網(wǎng)絡(luò)時(shí),閾值難以確定的問(wèn)題,論文在分類(lèi)問(wèn)題上給出了理論分析,為相應(yīng)閾值的確定提供了理論指導(dǎo)。
【圖文】：

(c)(d)圖3.3 算法PSOIOS-ELM中容忍系數(shù) （lamda）與收斂精度的關(guān)系曲線 (a)Sinc (b) Diabetes(c) Satellite Image (d) Image Segmentation

50(d)圖3.4 算法PSOIOS-ELM中容忍系數(shù) （lamda）與網(wǎng)絡(luò)輸入輸出靈敏度的關(guān)系曲線 (a)Sinc(b) Diabetes (c) Satellite Image (d) Image Segmentation在本章中，算法PSOIOS-ELM中隱單元激活函數(shù)為logsig函數(shù)，，它們的一階導(dǎo)數(shù)函數(shù)在 ( ,0)和 ( 0， )上分別單調(diào)增加和單調(diào)減少，因此算法中網(wǎng)絡(luò)的輸入輸出靈敏度按式（3-8）來(lái)計(jì)算，粒子的個(gè)體歷史最優(yōu)也可按式（3-11）來(lái)更新，種群的全局最優(yōu)粒子按式（3-12）來(lái)更新。為了與本章最初的PSOIOS-ELM進(jìn)行區(qū)別，此處的算法稱(chēng)為PSOIOS-ELM-1。表3-6列出了在四個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類(lèi)號(hào)】：TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 呂柏權(quán),村田純一,平澤宏太郎;使用三層神經(jīng)元網(wǎng)絡(luò)的先驗(yàn)信息新學(xué)習(xí)方法[J];中國(guó)科學(xué)E輯:信息科學(xué);2004年04期

2 吳佑壽,趙明生;激活函數(shù)可調(diào)的神經(jīng)元模型及其有監(jiān)督學(xué)習(xí)與應(yīng)用[J];中國(guó)科學(xué)E輯:技術(shù)科學(xué);2001年03期

本文編號(hào)：2589317