【摘要】：Elman神經(jīng)網(wǎng)絡(luò)(Elman Neural Network,ENN)是一種被廣泛使用的反饋型神經(jīng)網(wǎng)絡(luò)。因其具有較強(qiáng)的適應(yīng)時(shí)變特性的能力,非常適合用于時(shí)間序列數(shù)據(jù)的預(yù)測(cè)研究。根據(jù)前人經(jīng)驗(yàn)得出,網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的好壞對(duì)網(wǎng)絡(luò)的性能起著重要的影響。網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)和隱含層節(jié)點(diǎn)數(shù)設(shè)計(jì)等。針對(duì)不同的問(wèn)題需要設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu),尤其是隱含層節(jié)點(diǎn)數(shù)的確定,尚缺乏嚴(yán)格統(tǒng)一的理論指導(dǎo)。傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)通常采用梯度下降法作為它的學(xué)習(xí)規(guī)則,造成學(xué)習(xí)過(guò)程收斂速度慢,收斂過(guò)程不穩(wěn)定,且容易陷入局部最優(yōu)解。鑒于傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò)存在的上述問(wèn)題,本文首先對(duì)Elman神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行了改進(jìn),提出了一種新型的帶有輸出-隱含反饋機(jī)制的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)(Elman neural network with Double Hidden layers and Output-Hidden Feedback,DHOHF-Elman)結(jié)構(gòu)。然后,本文對(duì)自適應(yīng)遺傳算法(Adaptive Genetic Algorithm,AGA)進(jìn)行了適當(dāng)改進(jìn),并基于改進(jìn)的AGA提出了一種網(wǎng)絡(luò)參數(shù)優(yōu)化算法,分別優(yōu)化神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)目和初始權(quán)值、閾值。最后,使用提出的這個(gè)網(wǎng)絡(luò)參數(shù)優(yōu)化算法優(yōu)化DHOHF-Elman神經(jīng)網(wǎng)絡(luò)參數(shù),并將優(yōu)化后的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)應(yīng)用于空氣質(zhì)量時(shí)間序列預(yù)測(cè)。本文的主要工作和創(chuàng)新點(diǎn)可以概括為以下三個(gè)方面:(1)改進(jìn)了Elman神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。基于傳統(tǒng)Elman神經(jīng)網(wǎng)絡(luò),總結(jié)時(shí)小虎等人提出的OIF-Elman和OHF-Elman的優(yōu)缺點(diǎn),本文設(shè)計(jì)了一種特殊的輸出層反饋,提出了一種同時(shí)包含內(nèi)部反饋和外部反饋的雙隱含層Elman神經(jīng)網(wǎng)絡(luò)——DHOHF-Elman神經(jīng)網(wǎng)絡(luò)。為了驗(yàn)證提出的DHOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)的有效性,本文將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和時(shí)小虎等人提出的OIF-Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:本文提出的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)相比其他兩種Elman神經(jīng)網(wǎng)絡(luò)具有更高的預(yù)測(cè)精度和更快的收斂速度。(2)提出了一種基于遺傳算法的網(wǎng)絡(luò)參數(shù)優(yōu)化算法。該網(wǎng)絡(luò)參數(shù)優(yōu)化算法的中心思想是使用改進(jìn)的自適應(yīng)遺傳算法AGA確定DHOHF-Elman網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值。將隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值采用不同的編碼方式進(jìn)行編碼,并采用對(duì)應(yīng)的選擇、交叉、變異操作進(jìn)行遺傳進(jìn)化,解碼最優(yōu)適應(yīng)度值對(duì)應(yīng)的染色體個(gè)體即可得到相應(yīng)的隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值。為了驗(yàn)證本文提出的網(wǎng)絡(luò)參數(shù)優(yōu)化算法的有效性,本文分別對(duì)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)優(yōu)化算法和網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法設(shè)計(jì)了兩組對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明:1使用本文提出的網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)優(yōu)化算法比使用枚舉法找到最優(yōu)或次優(yōu)隱含層節(jié)點(diǎn)數(shù)耗時(shí)更少;2在訓(xùn)練網(wǎng)絡(luò)之前使用本文提出的網(wǎng)絡(luò)初始權(quán)值、閾值優(yōu)化算法,這個(gè)過(guò)程雖然會(huì)耗費(fèi)大量時(shí)間,但是使用優(yōu)化后的初始權(quán)值、閾值比隨機(jī)獲得的初始權(quán)值、閾值具有更好的效果,能夠使網(wǎng)絡(luò)訓(xùn)練過(guò)程更加平穩(wěn),避免了陷入局部最優(yōu)解,具有更快的收斂速度和更高的預(yù)測(cè)準(zhǔn)確性。(3)空氣質(zhì)量時(shí)間序列預(yù)測(cè)�；诒疚奶岢龅腄HOHF-Elman網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)優(yōu)化算法,使用空氣質(zhì)量時(shí)間序列數(shù)據(jù)進(jìn)行實(shí)驗(yàn),預(yù)測(cè)下一時(shí)段臭氧濃度。為了驗(yàn)證方法的有效性,在縱向上,將DHOHF-Elman神經(jīng)網(wǎng)絡(luò)同其他Elman神經(jīng)網(wǎng)絡(luò)(如:傳統(tǒng)的Elman神經(jīng)網(wǎng)絡(luò)和OIF-Elman神經(jīng)網(wǎng)絡(luò))進(jìn)行對(duì)比實(shí)驗(yàn)。在橫向上,同其他時(shí)間序列預(yù)測(cè)方法(如:灰色預(yù)測(cè)法和NARX神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法)進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:使用本文提出的DHOHF-Elman神經(jīng)網(wǎng)絡(luò)及網(wǎng)絡(luò)優(yōu)化算法在一定程度上可以提高網(wǎng)絡(luò)在時(shí)間序列預(yù)測(cè)方面的預(yù)測(cè)精度,避免陷入局部最優(yōu)解,加快收斂速度。
【學(xué)位授予單位】：西南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP183
【圖文】：

圖 1-1 主要研究?jī)?nèi)容如圖 1-1 所示，本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)可以歸納為以下三個(gè)方面：（1）對(duì)傳統(tǒng) Elman 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行改進(jìn)傳統(tǒng) Elman 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)涉及到輸入層、隱含層、承接層和輸出層。承接層充當(dāng)反饋隱含層歷史信息的作用，作為內(nèi)部反饋，接收和存儲(chǔ)隱含層之前時(shí)刻的歷史信息。但事實(shí)上每一層的反饋都將影響到最終的輸出結(jié)果，本文設(shè)計(jì)了一個(gè)同時(shí)包含內(nèi)部反饋和外部反饋機(jī)制的雙隱含層網(wǎng)絡(luò)結(jié)構(gòu)——DHOHF-Elman 網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)在傳統(tǒng) Elman 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加輸出層的反饋，將反饋信息存儲(chǔ)在第二承接層中，并傳遞給第二隱含層作為其部分輸入。同時(shí)，為了減少網(wǎng)絡(luò)收斂過(guò)程中的震蕩，提高收斂速度，本文采用一種具有動(dòng)量和自適應(yīng)學(xué)習(xí)率的優(yōu)化梯度下降算法作為 DHOHF-Elman 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，通過(guò)與傳統(tǒng) Elman神經(jīng)網(wǎng)絡(luò)和時(shí)小虎等人提出的 OIF-Elman 神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，得出本文提出的 DHOHF-Elman 網(wǎng)絡(luò)具有更高的網(wǎng)絡(luò)性能。（2）提出了一種網(wǎng)絡(luò)參數(shù)優(yōu)化算法使用改進(jìn)的自適應(yīng)遺傳算法 AGA 確定網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)和初始權(quán)值、閾值。

而 Elman 神經(jīng)網(wǎng)絡(luò)則是在前饋型網(wǎng)絡(luò)的隱含層上引入了一網(wǎng)絡(luò)。Elman 神經(jīng)網(wǎng)絡(luò)的承接層存儲(chǔ)了隱含層之前時(shí)刻的隱含層進(jìn)行內(nèi)部反饋，這使得 Elman 神經(jīng)網(wǎng)絡(luò)能夠處理動(dòng)經(jīng)網(wǎng)絡(luò)能夠反映系統(tǒng)動(dòng)態(tài)過(guò)程的特性之所在。an 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)由四部分構(gòu)成：第一部分為點(diǎn)，這些節(jié)點(diǎn)單元僅僅起到傳輸信號(hào)的作用；第二部分為層神經(jīng)元，接收來(lái)自輸入層節(jié)點(diǎn)的輸入和承接層節(jié)點(diǎn)的反接層，每個(gè)承接層神經(jīng)元有且僅有一個(gè)與之對(duì)應(yīng)的隱含層別記憶和存儲(chǔ)與之對(duì)應(yīng)的隱含層神經(jīng)元以前時(shí)刻的輸出值隱含層神經(jīng)元。第四部分為輸出層，輸出層神經(jīng)元接收來(lái)，僅起到線性加權(quán)的作用。承接層神經(jīng)元的時(shí)延反饋?zhàn)鹘j(luò)對(duì)歷史數(shù)據(jù)具有較強(qiáng)的敏感性和動(dòng)態(tài)的記憶功能。傳絡(luò)結(jié)構(gòu)如圖 2-1 所示。

（a） （b）圖 2-2 Sigmoid 型函數(shù)曲線圖an神經(jīng)網(wǎng)絡(luò)輸出層神經(jīng)元通常起線性加權(quán)的作用，因而其上的激活函一類線性函數(shù)來(lái)充當(dāng)。比如常見(jiàn)的線性函數(shù)、斜面函數(shù)和閾值函數(shù)等、斜面函數(shù)和閾值函數(shù)公式分別對(duì)應(yīng)公式（2-12）、（2-13）、（2-14）。圖像分別如圖2-3中（c）、（d）、（e）所示。性函數(shù)（linear function）：g ( x ) k x c（2-12）面函數(shù)（ramp function）：,( ) ,,T x cg x k x c x cT x c （2-13）值函數(shù)（threshold function）：1,( )x cg x （2-14）

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 羅周晟;周少武;周游;左詞立;;基于人工魚群的OIF-Elman神經(jīng)網(wǎng)絡(luò)在電機(jī)故障診斷中的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2014年04期

2 王宏偉;孫志遠(yuǎn);;基于改進(jìn)的Elman神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)[J];計(jì)算機(jī)與數(shù)字工程;2012年09期

3 王鐵套;王國(guó)營(yíng);陳越;;一種基于Elman神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)輿情威脅估計(jì)方法[J];信息工程大學(xué)學(xué)報(bào);2012年04期

4 張慧斌;高秀萍;;基于Elman神經(jīng)網(wǎng)絡(luò)的時(shí)間序列股票價(jià)格短期預(yù)測(cè)[J];山西大同大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

5 張超群;鄭建國(guó);錢潔;;遺傳算法編碼方案比較[J];計(jì)算機(jī)應(yīng)用研究;2011年03期

6 梁宇宏;張欣;;對(duì)遺傳算法的輪盤賭選擇方式的改進(jìn)[J];信息技術(shù);2009年12期

7 吳曉琴;唐超;何立新;項(xiàng)響琴;;基于遺傳算法的神經(jīng)網(wǎng)絡(luò)金融時(shí)序預(yù)測(cè)的研究[J];合肥學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年03期

8 弓學(xué)敏;胡靜;;基于模擬退火算法的Elman網(wǎng)絡(luò)及其應(yīng)用[J];電力科學(xué)與工程;2008年08期

9 雷紹蘭;孫才新;周nv;鄧群;劉凡;;電力短期負(fù)荷的多變量混沌預(yù)測(cè)方法[J];高電壓技術(shù);2005年12期

10 潘濤;BP神經(jīng)網(wǎng)絡(luò)模型中活化函數(shù)對(duì)網(wǎng)絡(luò)性能影響的研究[J];安徽師大學(xué)報(bào)(自然科學(xué)版);1998年03期

相關(guān)博士學(xué)位論文 前1條

1 時(shí)小虎;Elman神經(jīng)網(wǎng)絡(luò)與進(jìn)化算法的若干理論研究及應(yīng)用[D];吉林大學(xué);2006年

相關(guān)碩士學(xué)位論文 前7條

1 李云;改進(jìn)的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法及其應(yīng)用研究[D];西南大學(xué);2016年

2 艾靜;基于GA-Elman預(yù)測(cè)模型的網(wǎng)絡(luò)輿情研究[D];華中師范大學(xué);2013年

3 劉榮;基于Elman神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)[D];浙江大學(xué);2013年

4 李超;基于自適應(yīng)遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究及應(yīng)用[D];山西師范大學(xué);2012年

5 張北鷗;基于小波包變換和Elman人工神經(jīng)網(wǎng)絡(luò)的電機(jī)故障診斷系統(tǒng)的研究[D];武漢理工大學(xué);2010年

6 靳衛(wèi)齊;光化學(xué)煙霧的形成機(jī)制及其防治措施[D];長(zhǎng)安大學(xué);2008年

7 任麗娜;基于Elman神經(jīng)網(wǎng)絡(luò)的中期電力負(fù)荷預(yù)測(cè)模型研究[D];蘭州理工大學(xué);2007年

本文編號(hào)：2804912