發(fā)布時間：2017-08-10 06:14

  本文關(guān)鍵詞：基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓練方法研究

  更多相關(guān)文章： 非線性濾波 多層感知器神經(jīng)網(wǎng)絡(luò) 徑向基神經(jīng)網(wǎng)絡(luò) 狀態(tài)空間模型 高斯-牛頓迭代

【摘要】：人工神經(jīng)網(wǎng)絡(luò)技術(shù)(ANN)經(jīng)過幾十年的發(fā)展,其相關(guān)的理論體系也越發(fā)完善。隨著研究的不斷深入,其在模式識別、故障診斷、最優(yōu)控制、目標追蹤以及金融時序預測等領(lǐng)域取得了廣泛的研究和應用。決定神經(jīng)網(wǎng)絡(luò)使用效果好壞的關(guān)鍵在于訓練算法,已有的訓練算法對于問題規(guī)模較小、訓練數(shù)據(jù)未受噪聲污染的情況能夠取得較為理想的訓練效果。但是在當前新形勢的應用背景下,問題規(guī)模往往較大、訓練數(shù)據(jù)也更易受噪聲污染,傳統(tǒng)的訓練算法無論是在收斂速度還是在訓練精度上均不能滿足要求。非線性濾波算法作為非線性系統(tǒng)狀態(tài)的最優(yōu)估計,已經(jīng)廣泛應用與參數(shù)估計、系統(tǒng)辨識等領(lǐng)域,其對于噪聲的適應能力強,具有全局優(yōu)化的能力。經(jīng)過國內(nèi)外眾多專家學者的共同努力,已經(jīng)成功將非線性濾波算法應用于神經(jīng)網(wǎng)絡(luò)的訓練,取得了良好的訓練效果。本文在具體分析神經(jīng)網(wǎng)絡(luò)以及非線性濾波理論發(fā)展現(xiàn)狀的基礎(chǔ)上,提出了兩種基于最新非線性濾波研究成果的前饋神經(jīng)網(wǎng)絡(luò)訓練算法�，F(xiàn)有利用擴展卡爾曼濾波(EKF)對多層感知器神經(jīng)網(wǎng)絡(luò)進行訓練的過程中,存在較大的一階舍入誤差從而影響神經(jīng)網(wǎng)絡(luò)的訓練效果;利用不敏卡爾曼濾波(UKF)對多層感知器訓練過程中存在參數(shù)選取復雜,容易產(chǎn)生非正定的問題。針對以上問題,本文首先提出了一種基于最新非線性濾波研究成果——容積卡爾曼濾波(CKF)的多層感知器訓練方法。考慮到非線性濾波算法是在狀態(tài)空間模型下實施的,首先將多層感知器的連接權(quán)值以及偏置節(jié)點作為狀態(tài)向量,將網(wǎng)絡(luò)的輸出作為量測建立多層感知器的狀態(tài)空間模型;然后利用系統(tǒng)的量測信息并結(jié)合CKF算法得到連接權(quán)值向量的最優(yōu)估計,從而完成網(wǎng)絡(luò)的訓練;最后通過一個典型的非線性系統(tǒng)方程以及Mackey-Glass時序預測對所提方法進行驗證,結(jié)果表明所提訓練方法相比于已有方法不僅訓練精度有所提高,而且效率更好�？紤]到高斯-牛頓迭代策略能夠充分利用已有信息來提高非線性模型參數(shù)的估計精度,本著提高已知信息的的利用率、進一步提高神經(jīng)網(wǎng)絡(luò)的訓練精度為目的,提出了一種基于迭代容積卡爾曼濾波(ICKF)算法的徑向基神經(jīng)網(wǎng)絡(luò)訓練方法。首先詳細分析徑向基網(wǎng)絡(luò)與多層感知器網(wǎng)絡(luò)隱含層激活函數(shù)工作方式的不同;其次將徑向基函數(shù)的中心節(jié)點以及輸出層的連接權(quán)值共同作為狀態(tài)向量建立徑向基網(wǎng)絡(luò)的狀態(tài)空間模型;然后將ICKF引入徑向基網(wǎng)絡(luò)的訓練;最后通過一個單輸入單輸入以及一個多輸入多輸出模型對所提方法進行驗證,結(jié)果表明所提方法不僅能有效提高單輸入單輸出模型的訓練精度,而且對于多輸入多輸出模型也同樣適用。
【關(guān)鍵詞】：非線性濾波 多層感知器神經(jīng)網(wǎng)絡(luò) 徑向基神經(jīng)網(wǎng)絡(luò) 狀態(tài)空間模型 高斯-牛頓迭代
【學位授予單位】：河南大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP183
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 1 緒論10-18
• 1.1 研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-15
• 1.2.1 非線性濾波理論11-13
• 1.2.2 前饋神經(jīng)網(wǎng)絡(luò)訓練方法13-15
• 1.3 論文研究內(nèi)容和結(jié)構(gòu)安排15-18
• 2 基礎(chǔ)知識18-32
• 2.1 引言18
• 2.2 非線性系統(tǒng)建模18-19
• 2.3 典型非線性濾波器設(shè)計與實現(xiàn)19-25
• 2.3.1 擴展卡爾曼濾波19-20
• 2.3.2 不敏卡爾曼濾波20-21
• 2.3.3 容積卡爾曼濾波21-23
• 2.3.4 粒子濾波23-25
• 2.4 典型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓練方法25-30
• 2.4.1 前饋神經(jīng)網(wǎng)絡(luò)25-26
• 2.4.2 反饋神經(jīng)網(wǎng)絡(luò)26-29
• 2.4.3 自組織神經(jīng)網(wǎng)絡(luò)29-30
• 2.5 小節(jié)30-32
• 3 基于容積卡爾曼濾波多層感知器訓練方法32-40
• 3.1 引言32-33
• 3.2 多層感知器結(jié)構(gòu)33-34
• 3.2.1 多層感知器結(jié)構(gòu)模型33
• 3.2.2 多層感知器狀態(tài)空間模型33-34
• 3.3 算法設(shè)計與實現(xiàn)34-36
• 3.4 仿真實驗與結(jié)果分析36-39
• 3.4.1 仿真環(huán)境設(shè)置36-37
• 3.4.2 仿真結(jié)果與分析37-39
• 3.5 小結(jié)39-40
• 4 基于迭代容積卡爾曼濾波徑向基網(wǎng)絡(luò)訓練方法40-52
• 4.1 引言40-41
• 4.2 高斯-牛頓迭代策略41-42
• 4.3 迭代容積卡爾曼濾波42-43
• 4.4 徑向基網(wǎng)絡(luò)結(jié)構(gòu)43-46
• 4.4.1 徑向基網(wǎng)絡(luò)結(jié)構(gòu)44-45
• 4.4.2 徑向基網(wǎng)絡(luò)狀態(tài)空間模型45-46
• 4.5 算法設(shè)計與實現(xiàn)46-48
• 4.6 仿真實驗與結(jié)果分析48-51
• 4.6.1 仿真場景設(shè)置48-50
• 4.6.2 仿真結(jié)果與分析50-51
• 4.7 總結(jié)51-52
• 5 總結(jié)與展望52-54
• 5.1 總結(jié)52-53
• 5.2 展望53-54
• 參考文獻54-60
• 致謝60-62
• 攻讀學位期間的科研成果62-63

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐晉,綦振法;前饋神經(jīng)網(wǎng)絡(luò)新型綜合算法[J];武漢大學學報(工學版);2004年01期

2 徐晉;前饋神經(jīng)網(wǎng)絡(luò)學習新算法及其仿真[J];哈爾濱商業(yè)大學學報(自然科學版);2004年01期

3 徐晉;基于Gauss Newton-NL2SOL法的前饋神經(jīng)網(wǎng)絡(luò)及應用[J];重慶大學學報(自然科學版);2004年04期

4 劉寧;基于重置的擬牛頓動態(tài)前饋神經(jīng)網(wǎng)絡(luò)[J];遼寧工程技術(shù)大學學報;2004年04期

5 周小燕,徐晉;一種基于重置的變結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)[J];南昌大學學報(理科版);2004年04期

6 ;圖書推介[J];科技導報;2013年17期

7 曲建嶺,王磊,高峰;利用前饋神經(jīng)網(wǎng)絡(luò)進行氣體定性分析[J];儀器儀表學報;2000年05期

8 周志華,陳兆乾,陳世福;利用遺傳算法改善前饋神經(jīng)網(wǎng)絡(luò)容錯性[J];計算機研究與發(fā)展;2001年09期

9 徐耀群,孫楓,張家海,郝燕玲;前饋神經(jīng)網(wǎng)絡(luò)的一個新的混沌學習算法[J];哈爾濱商業(yè)大學學報(自然科學版);2001年01期

10 徐善針,洛永平,崔榮一;三層前饋神經(jīng)網(wǎng)絡(luò)的異聯(lián)想算法[J];延邊大學學報(自然科學版);2001年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 陳振湘;陳劍勇;徐慎初;鐘金水;;具有刺激-反應閾值的前饋神經(jīng)網(wǎng)絡(luò)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學術(shù)會議論文集[C];1999年

2 梁久禎;黃德雙;何新貴;;前饋神經(jīng)網(wǎng)絡(luò)的一種梯度—牛頓耦合學習算法[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學術(shù)會議論文集[C];1999年

3 李永敏;吉吟東;朱善君;孫增圻;;一種基于規(guī)則的前饋神經(jīng)網(wǎng)絡(luò)及其學習算法[A];1998年中國智能自動化學術(shù)會議論文集（上冊）[C];1998年

4 孫德保;王凱;;前饋神經(jīng)網(wǎng)絡(luò)的容錯性研究[A];1998年中國智能自動化學術(shù)會議論文集（上冊）[C];1998年

5 梁循;杜繼宏;夏紹瑋;楊振斌;;前饋神經(jīng)網(wǎng)絡(luò)的補償方法[A];1994年中國控制會議論文集[C];1994年

6 仉寶玉;陳義俊;;前饋神經(jīng)網(wǎng)絡(luò)快速學習算法及應用[A];'2003系統(tǒng)仿真技術(shù)及其應用學術(shù)交流會論文集[C];2003年

7 梁久禎;黃德雙;何新貴;;多輸入單輸出前饋神經(jīng)網(wǎng)絡(luò)映射機理研究[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學術(shù)會議論文集[C];1999年

8 寇紀淞;徐博藝;劉剛;;用遺傳算法訓練前饋神經(jīng)網(wǎng)絡(luò)的權(quán)值[A];1994中國控制與決策學術(shù)年會論文集[C];1994年

9 楊華民;姜會林;;前饋神經(jīng)網(wǎng)絡(luò)泛化能力評估方法研究[A];新世紀 新機遇 新挑戰(zhàn)——知識創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊）[C];2001年

10 張代遠;;一種前饋神經(jīng)網(wǎng)絡(luò)的新型分層優(yōu)化算法[A];第九屆全國信號處理學術(shù)年會（CCSP-99）論文集[C];1999年

中國博士學位論文全文數(shù)據(jù)庫 前5條

1 賀彥林;前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計研究及其復雜化工過程建模應用[D];北京化工大學;2016年

2 侯木舟;基于構(gòu)造型前饋神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近與應用[D];中南大學;2009年

3 王健;前饋神經(jīng)網(wǎng)絡(luò)梯度學習算法收斂性分析[D];大連理工大學;2012年

4 范欽偉;帶光滑正則項前饋神經(jīng)網(wǎng)絡(luò)學習算法的收斂性分析[D];大連理工大學;2014年

5 張會生;前饋神經(jīng)網(wǎng)絡(luò)梯度訓練算法的幾個收斂性結(jié)果[D];大連理工大學;2009年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 袁光耀;基于非線性濾波優(yōu)化的前饋神經(jīng)網(wǎng)絡(luò)訓練方法研究[D];河南大學;2016年

2 張蕭;通用前饋神經(jīng)網(wǎng)絡(luò)代碼庫的設(shè)計[D];福建師范大學;2011年

3 董春巖;基于反傳混沌粒子群訓練前饋神經(jīng)網(wǎng)絡(luò)應用研究[D];北京化工大學;2013年

4 張紅軍;一種新的前饋神經(jīng)網(wǎng)絡(luò)訓練算法及其在控制中的應用[D];大連理工大學;2002年

5 呂俊;前饋神經(jīng)網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)的優(yōu)化策略研究[D];南京工業(yè)大學;2004年

6 馬巖尉;基于前饋神經(jīng)網(wǎng)絡(luò)的電子鼻模式識別方法[D];大連理工大學;2010年

7 程海青;動量項前饋神經(jīng)網(wǎng)絡(luò)恒模盲均衡算法的研究[D];太原理工大學;2006年

8 劉永;遺傳前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法的研究[D];太原理工大學;2007年

9 李艷琴;基于前饋神經(jīng)網(wǎng)絡(luò)盲多用戶檢測算法的研究[D];太原理工大學;2007年

10 馬莉;基于遺傳前饋神經(jīng)網(wǎng)絡(luò)自適應均衡算法的研究[D];太原理工大學;2011年

，

本文編號：649199