本文關鍵詞：基于近域去重法改進的BP神經網絡算法

  更多相關文章： BP神經網絡 最優(yōu)化理論 啟發(fā)式算法 全局最優(yōu) 爬坡法 近域去重法

【摘要】：神經網絡算法今年來被國內外學者大量的研究和討論,在學術領域中屬于智能算法和人工智能的重要組成部分,其被廣泛的用于機器學習、模式識別、數據挖掘領域等領域,不僅如此,神經網絡算法因為強大的建模能力,也快速的蔓延向其他學科。本文重點研究最具有代表性的BP神經網絡算法,從單神經元的線性擬合能力開始到多層多神經元的非線性的問題解決的論證,經過對BP神經網絡算法的推導,詳細的解釋了算法原理,在這個過程中暴露出了算法各方面的缺點,比如梯度下降法收斂慢,訓練時間長等問題。論文針對這些缺點,介紹并研究了大量學者的改進工作,其中最重要的將BP神經網絡算法中的目標函數最小值的求解問題單獨抽象出來,成為無約束非線性的最優(yōu)化問題,由此引入最優(yōu)化理論來對此進行了深入的研究,利用理論中的牛頓法、擬牛頓法、共軛梯度法來計算目標函數最值的方向,結合線搜索法和信賴域方法確定該方向上的步長,解決了梯度下降的固有問題；對于激活函數的介紹了其選擇標準和近期提出的一些更利于收斂的新型函數方程；針對學習速率和動量因子介紹了一些自適應的方法,可以隨著神經網絡訓練而改變自身以更優(yōu)于收斂；針對目標函數的解搜索策略,引入了一些啟發(fā)式的算法如遺傳算法和模擬退火算法,從另一方面來搜索解空間,最終也能得到不錯的收斂；此外還討論了網絡結構和初始值的選擇。經過這些研究,BP神經網絡的各個組成部分如同零件可以按需拆解和組合,對于BP神經網絡的了解更加深入。論文特別的針對BP神經網絡算法難以跳出局部最優(yōu)點的缺點,先找到該問題存在的根源,介紹了現有的解決方案,之后提出了近域去重法改進的BP神經網絡算法,利用爬坡法和遺傳算法搜索解空間,并使用近域去重法來去掉重復的解。文中對這種方法進行了詳細的介紹,之后結合擬牛頓下降法和Levenberg-Marquardt法用以改進BP神經網絡,使用足夠的實驗對比的方式來證明新算法的優(yōu)勢,對比結果說明,改進的BP神經網絡算法擁有更強大的收斂能力,其最終得到的解優(yōu)于最開始得到的局部最優(yōu)解,驗證了所提出方法的有效性。
【關鍵詞】：BP神經網絡 最優(yōu)化理論 啟發(fā)式算法 全局最優(yōu) 爬坡法 近域去重法
【學位授予單位】：安徽大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP183
【目錄】：

• 摘要3-5
• Abstract5-9
• 第一章 緒論9-12
• 1.1 論文研究的背景9-10
• 1.2 研究的目的和意義10
• 1.3 組織結構與研究內容10-12
• 第二章 BP神經網絡相關知識12-26
• 2.1 神經網絡起源12-20
• 2.1.1 人工神經網絡12-13
• 2.1.2 感知器與線性問題13-14
• 2.1.3 sgimod函數與非線性問題14-18
• 2.1.4 學習算法18-20
• 2.2 BP神經網絡20-26
• 2.2.1 BP算法的推導21-22
• 2.2.2 BP算法步驟和流程圖22-24
• 2.2.3 BP神經網絡算法的缺陷24-26
• 第三章 BP神經網絡改進研究現狀26-46
• 3.1 基于最優(yōu)化理論的改進26-35
• 3.1.1 牛頓法26-27
• 3.1.2 線搜索法27-29
• 3.1.3 信賴域算法29-30
• 3.1.4 擬牛頓法30-32
• 3.1.5 共軛梯度法32-34
• 3.1.6 最優(yōu)化方法總結34-35
• 3.2 學習速率35-37
• 3.3 動量因子37
• 3.4 激活函數37-40
• 3.5 BP神經網絡的結構與初始值40-42
• 3.6 啟發(fā)式算法42-46
• 3.6.1 遺傳算法43-44
• 3.6.2 模擬退火算法44
• 3.6.3 啟發(fā)式算法總結44-46
• 第四章 近域去重法改進的BP神經網絡算法46-62
• 4.1 背景知識46-47
• 4.2 改進的BP神經網絡算法47-53
• 4.2.1 爬坡法48-49
• 4.2.2 遺傳算法搜索法49-50
• 4.2.3 近域去重法50-51
• 4.2.4 改進的BP神經網絡算法51-53
• 4.3 實驗53-62
• 4.3.1 數據集介紹53-54
• 4.3.2 實驗步驟54
• 4.3.3 MNTST數據集實驗情況54-58
• 4.3.4 Abalone數據集實驗情況58-61
• 4.3.5 實驗結論61-62
• 第五章 總結與展望62-64
• 5.1 本文總結62-63
• 5.2 研究展望63-64
• 參考文獻64-69
• 附錄A 圖索引69-70
• Appendix A Figure index70-71
• 致謝71-73
• 攻讀碩士學位期間發(fā)表的學術論文73

【相似文獻】

中國期刊全文數據庫 前10條

1 張賽民;周竹生;陳靈君;;應用一種改進BP神經網絡算法預測密度曲線[J];物探化探計算技術;2007年06期

2 李淑慧;;改進的進化神經網絡算法及其在入侵檢測中的應用[J];現代電子技術;2010年01期

3 王治國;宋考平;張春鶴;劉剛;王愛明;;BP神經網絡算法在單井流動單元識別中的應用[J];數學的實踐與認識;2011年05期

4 ;BP神經網絡算法的改進[J];電腦開發(fā)與應用;1995年02期

5 賀興時,劉宇;BP神經網絡算法在數字識別中的應用[J];西北紡織工學院學報;2000年04期

6 李廣瓊,蔣加伏;關于對BP神經網絡算法改進的研究[J];常德師范學院學報(自然科學版);2003年02期

7 孫修東,李宗斌,陳富民;基于改進BP神經網絡算法的多指標綜合評價方法的應用研究[J];河南機電高等�？茖W校學報;2003年01期

8 王青海;BP神經網絡算法的一種改進[J];青海大學學報(自然科學版);2004年03期

9 左付均,蔡自興;基于神經網絡算法的建設項目風險預測系統設計[J];廣西科學院學報;2004年03期

10 李衛(wèi)東;基于神經網絡算法的工程技術人員綜合評價方法的應用研究[J];太原科技大學學報;2005年02期

中國重要會議論文全文數據庫 前10條

1 呂慶U，

本文編號：639791