發(fā)布時(shí)間：2017-08-10 06:14

  本文關(guān)鍵詞：基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法研究

  更多相關(guān)文章： 非線性濾波 多層感知器神經(jīng)網(wǎng)絡(luò) 徑向基神經(jīng)網(wǎng)絡(luò) 狀態(tài)空間模型 高斯-牛頓迭代

【摘要】：人工神經(jīng)網(wǎng)絡(luò)技術(shù)(ANN)經(jīng)過幾十年的發(fā)展,其相關(guān)的理論體系也越發(fā)完善。隨著研究的不斷深入,其在模式識(shí)別、故障診斷、最優(yōu)控制、目標(biāo)追蹤以及金融時(shí)序預(yù)測(cè)等領(lǐng)域取得了廣泛的研究和應(yīng)用。決定神經(jīng)網(wǎng)絡(luò)使用效果好壞的關(guān)鍵在于訓(xùn)練算法,已有的訓(xùn)練算法對(duì)于問題規(guī)模較小、訓(xùn)練數(shù)據(jù)未受噪聲污染的情況能夠取得較為理想的訓(xùn)練效果。但是在當(dāng)前新形勢(shì)的應(yīng)用背景下,問題規(guī)模往往較大、訓(xùn)練數(shù)據(jù)也更易受噪聲污染,傳統(tǒng)的訓(xùn)練算法無論是在收斂速度還是在訓(xùn)練精度上均不能滿足要求。非線性濾波算法作為非線性系統(tǒng)狀態(tài)的最優(yōu)估計(jì),已經(jīng)廣泛應(yīng)用與參數(shù)估計(jì)、系統(tǒng)辨識(shí)等領(lǐng)域,其對(duì)于噪聲的適應(yīng)能力強(qiáng),具有全局優(yōu)化的能力。經(jīng)過國(guó)內(nèi)外眾多專家學(xué)者的共同努力,已經(jīng)成功將非線性濾波算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,取得了良好的訓(xùn)練效果。本文在具體分析神經(jīng)網(wǎng)絡(luò)以及非線性濾波理論發(fā)展現(xiàn)狀的基礎(chǔ)上,提出了兩種基于最新非線性濾波研究成果的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法�，F(xiàn)有利用擴(kuò)展卡爾曼濾波(EKF)對(duì)多層感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中,存在較大的一階舍入誤差從而影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果;利用不敏卡爾曼濾波(UKF)對(duì)多層感知器訓(xùn)練過程中存在參數(shù)選取復(fù)雜,容易產(chǎn)生非正定的問題。針對(duì)以上問題,本文首先提出了一種基于最新非線性濾波研究成果——容積卡爾曼濾波(CKF)的多層感知器訓(xùn)練方法�？紤]到非線性濾波算法是在狀態(tài)空間模型下實(shí)施的,首先將多層感知器的連接權(quán)值以及偏置節(jié)點(diǎn)作為狀態(tài)向量,將網(wǎng)絡(luò)的輸出作為量測(cè)建立多層感知器的狀態(tài)空間模型;然后利用系統(tǒng)的量測(cè)信息并結(jié)合CKF算法得到連接權(quán)值向量的最優(yōu)估計(jì),從而完成網(wǎng)絡(luò)的訓(xùn)練;最后通過一個(gè)典型的非線性系統(tǒng)方程以及Mackey-Glass時(shí)序預(yù)測(cè)對(duì)所提方法進(jìn)行驗(yàn)證,結(jié)果表明所提訓(xùn)練方法相比于已有方法不僅訓(xùn)練精度有所提高,而且效率更好�？紤]到高斯-牛頓迭代策略能夠充分利用已有信息來提高非線性模型參數(shù)的估計(jì)精度,本著提高已知信息的的利用率、進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度為目的,提出了一種基于迭代容積卡爾曼濾波(ICKF)算法的徑向基神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。首先詳細(xì)分析徑向基網(wǎng)絡(luò)與多層感知器網(wǎng)絡(luò)隱含層激活函數(shù)工作方式的不同;其次將徑向基函數(shù)的中心節(jié)點(diǎn)以及輸出層的連接權(quán)值共同作為狀態(tài)向量建立徑向基網(wǎng)絡(luò)的狀態(tài)空間模型;然后將ICKF引入徑向基網(wǎng)絡(luò)的訓(xùn)練;最后通過一個(gè)單輸入單輸入以及一個(gè)多輸入多輸出模型對(duì)所提方法進(jìn)行驗(yàn)證,結(jié)果表明所提方法不僅能有效提高單輸入單輸出模型的訓(xùn)練精度,而且對(duì)于多輸入多輸出模型也同樣適用。
【關(guān)鍵詞】：非線性濾波 多層感知器神經(jīng)網(wǎng)絡(luò) 徑向基神經(jīng)網(wǎng)絡(luò) 狀態(tài)空間模型 高斯-牛頓迭代
【學(xué)位授予單位】：河南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP183
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 1 緒論10-18
• 1.1 研究背景及意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-15
• 1.2.1 非線性濾波理論11-13
• 1.2.2 前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法13-15
• 1.3 論文研究?jī)?nèi)容和結(jié)構(gòu)安排15-18
• 2 基礎(chǔ)知識(shí)18-32
• 2.1 引言18
• 2.2 非線性系統(tǒng)建模18-19
• 2.3 典型非線性濾波器設(shè)計(jì)與實(shí)現(xiàn)19-25
• 2.3.1 擴(kuò)展卡爾曼濾波19-20
• 2.3.2 不敏卡爾曼濾波20-21
• 2.3.3 容積卡爾曼濾波21-23
• 2.3.4 粒子濾波23-25
• 2.4 典型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練方法25-30
• 2.4.1 前饋神經(jīng)網(wǎng)絡(luò)25-26
• 2.4.2 反饋神經(jīng)網(wǎng)絡(luò)26-29
• 2.4.3 自組織神經(jīng)網(wǎng)絡(luò)29-30
• 2.5 小節(jié)30-32
• 3 基于容積卡爾曼濾波多層感知器訓(xùn)練方法32-40
• 3.1 引言32-33
• 3.2 多層感知器結(jié)構(gòu)33-34
• 3.2.1 多層感知器結(jié)構(gòu)模型33
• 3.2.2 多層感知器狀態(tài)空間模型33-34
• 3.3 算法設(shè)計(jì)與實(shí)現(xiàn)34-36
• 3.4 仿真實(shí)驗(yàn)與結(jié)果分析36-39
• 3.4.1 仿真環(huán)境設(shè)置36-37
• 3.4.2 仿真結(jié)果與分析37-39
• 3.5 小結(jié)39-40
• 4 基于迭代容積卡爾曼濾波徑向基網(wǎng)絡(luò)訓(xùn)練方法40-52
• 4.1 引言40-41
• 4.2 高斯-牛頓迭代策略41-42
• 4.3 迭代容積卡爾曼濾波42-43
• 4.4 徑向基網(wǎng)絡(luò)結(jié)構(gòu)43-46
• 4.4.1 徑向基網(wǎng)絡(luò)結(jié)構(gòu)44-45
• 4.4.2 徑向基網(wǎng)絡(luò)狀態(tài)空間模型45-46
• 4.5 算法設(shè)計(jì)與實(shí)現(xiàn)46-48
• 4.6 仿真實(shí)驗(yàn)與結(jié)果分析48-51
• 4.6.1 仿真場(chǎng)景設(shè)置48-50
• 4.6.2 仿真結(jié)果與分析50-51
• 4.7 總結(jié)51-52
• 5 總結(jié)與展望52-54
• 5.1 總結(jié)52-53
• 5.2 展望53-54
• 參考文獻(xiàn)54-60
• 致謝60-62
• 攻讀學(xué)位期間的科研成果62-63

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 徐晉,綦振法;前饋神經(jīng)網(wǎng)絡(luò)新型綜合算法[J];武漢大學(xué)學(xué)報(bào)(工學(xué)版);2004年01期

2 徐晉;前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)新算法及其仿真[J];哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年01期

3 徐晉;基于Gauss Newton-NL2SOL法的前饋神經(jīng)網(wǎng)絡(luò)及應(yīng)用[J];重慶大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年04期

4 劉寧;基于重置的擬牛頓動(dòng)態(tài)前饋神經(jīng)網(wǎng)絡(luò)[J];遼寧工程技術(shù)大學(xué)學(xué)報(bào);2004年04期

5 周小燕,徐晉;一種基于重置的變結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)[J];南昌大學(xué)學(xué)報(bào)(理科版);2004年04期

6 ;圖書推介[J];科技導(dǎo)報(bào);2013年17期

7 曲建嶺,王磊,高峰;利用前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行氣體定性分析[J];儀器儀表學(xué)報(bào);2000年05期

8 周志華,陳兆乾,陳世福;利用遺傳算法改善前饋神經(jīng)網(wǎng)絡(luò)容錯(cuò)性[J];計(jì)算機(jī)研究與發(fā)展;2001年09期

9 徐耀群,孫楓,張家海,郝燕玲;前饋神經(jīng)網(wǎng)絡(luò)的一個(gè)新的混沌學(xué)習(xí)算法[J];哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年01期

10 徐善針,洛永平,崔榮一;三層前饋神經(jīng)網(wǎng)絡(luò)的異聯(lián)想算法[J];延邊大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 陳振湘;陳劍勇;徐慎初;鐘金水;;具有刺激-反應(yīng)閾值的前饋神經(jīng)網(wǎng)絡(luò)[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

2 梁久禎;黃德雙;何新貴;;前饋神經(jīng)網(wǎng)絡(luò)的一種梯度—牛頓耦合學(xué)習(xí)算法[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

3 李永敏;吉吟東;朱善君;孫增圻;;一種基于規(guī)則的前饋神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

4 孫德保;王凱;;前饋神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性研究[A];1998年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];1998年

5 梁循;杜繼宏;夏紹瑋;楊振斌;;前饋神經(jīng)網(wǎng)絡(luò)的補(bǔ)償方法[A];1994年中國(guó)控制會(huì)議論文集[C];1994年

6 仉寶玉;陳義俊;;前饋神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)算法及應(yīng)用[A];'2003系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2003年

7 梁久禎;黃德雙;何新貴;;多輸入單輸出前饋神經(jīng)網(wǎng)絡(luò)映射機(jī)理研究[A];1999年中國(guó)神經(jīng)網(wǎng)絡(luò)與信號(hào)處理學(xué)術(shù)會(huì)議論文集[C];1999年

8 寇紀(jì)淞;徐博藝;劉剛;;用遺傳算法訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的權(quán)值[A];1994中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1994年

9 楊華民;姜會(huì)林;;前饋神經(jīng)網(wǎng)絡(luò)泛化能力評(píng)估方法研究[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識(shí)創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊(cè)）[C];2001年

10 張代遠(yuǎn);;一種前饋神經(jīng)網(wǎng)絡(luò)的新型分層優(yōu)化算法[A];第九屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-99）論文集[C];1999年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 賀彥林;前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究及其復(fù)雜化工過程建模應(yīng)用[D];北京化工大學(xué);2016年

2 侯木舟;基于構(gòu)造型前饋神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近與應(yīng)用[D];中南大學(xué);2009年

3 王健;前饋神經(jīng)網(wǎng)絡(luò)梯度學(xué)習(xí)算法收斂性分析[D];大連理工大學(xué);2012年

4 范欽偉;帶光滑正則項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的收斂性分析[D];大連理工大學(xué);2014年

5 張會(huì)生;前饋神經(jīng)網(wǎng)絡(luò)梯度訓(xùn)練算法的幾個(gè)收斂性結(jié)果[D];大連理工大學(xué);2009年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 袁光耀;基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法研究[D];河南大學(xué);2016年

2 張蕭;通用前饋神經(jīng)網(wǎng)絡(luò)代碼庫的設(shè)計(jì)[D];福建師范大學(xué);2011年

3 董春巖;基于反傳混沌粒子群訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)應(yīng)用研究[D];北京化工大學(xué);2013年

4 張紅軍;一種新的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其在控制中的應(yīng)用[D];大連理工大學(xué);2002年

5 呂俊;前饋神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)的優(yōu)化策略研究[D];南京工業(yè)大學(xué);2004年

6 馬巖尉;基于前饋神經(jīng)網(wǎng)絡(luò)的電子鼻模式識(shí)別方法[D];大連理工大學(xué);2010年

7 程海青;動(dòng)量項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)恒模盲均衡算法的研究[D];太原理工大學(xué);2006年

8 劉永;遺傳前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法的研究[D];太原理工大學(xué);2007年

9 李艷琴;基于前饋神經(jīng)網(wǎng)絡(luò)盲多用戶檢測(cè)算法的研究[D];太原理工大學(xué);2007年

10 馬莉;基于遺傳前饋神經(jīng)網(wǎng)絡(luò)自適應(yīng)均衡算法的研究[D];太原理工大學(xué);2011年

，

本文編號(hào)：649199