人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)代科學(xué)發(fā)展的多個領(lǐng)域都展現(xiàn)出了巨大的潛力,以誤差反向傳播算法（BP算法）作為學(xué)習(xí)算法的BP神經(jīng)網(wǎng)絡(luò)應(yīng)用十分廣泛,而在BP算法中添加動量項也已經(jīng)是一種很常見的改進(jìn)BP算法的方法,可以稱之為動量BP算法。影響動量BP算法學(xué)習(xí)效率的因素有很多,包括網(wǎng)絡(luò)的層數(shù)、激活函數(shù)和誤差函數(shù)等,在實際應(yīng)用中,經(jīng)常通過不斷嘗試改變一些因素來使算法表現(xiàn)得更好,但是關(guān)于改變因素后算法的收斂性分析往往不能第一時間跟上。在本文中,我們首先對包含多隱藏層的帶動量項的BP神經(jīng)網(wǎng)絡(luò)算法的收斂性進(jìn)行了分析。當(dāng)學(xué)習(xí)率為常數(shù),動量系數(shù)在滿足一定條件下自適應(yīng)變化時,我們給出了算法的弱收斂結(jié)果以及強收斂結(jié)果,并對這兩種收斂結(jié)果都給出了相應(yīng)的理論證明。之后我們又進(jìn)一步對帶懲罰項的動量BP算法的收斂性進(jìn)行分析,同樣地,我們也給出了算法的弱收斂結(jié)果以及強收斂結(jié)果,并對收斂結(jié)果進(jìn)行了理論證明。 

【文章來源】：華東理工大學(xué)上海市 211工程院校 教育部直屬院校

【文章頁數(shù)】：42 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景
    1.2 概念說明
    1.3 問題描述及文章結(jié)構(gòu)
第2章 含雙隱藏層的動量BP算法
    2.1 算法展開
    2.2 收斂情況
第3章 收斂性證明
    3.1 誤差函數(shù)展開
    3.2 一些有用的引理
    3.3 定理證明
第4章 帶懲罰項的動量BP算法
    4.1 算法展開及收斂情況
    4.2 一些有用的引理
    4.3 定理證明
第5章 結(jié)束語
參考文獻(xiàn)
致謝
發(fā)表及完成論文


【參考文獻(xiàn)】：
期刊論文
[1]改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法的研究與應(yīng)用[J]. 富宇,李倩,劉澎.  計算機與數(shù)字工程. 2019(05)
[2]基于BP神經(jīng)網(wǎng)絡(luò)輔助的組合導(dǎo)航算法研究[J]. 李小燕,李杰,馮凱強,楊雁宇,晁正正.  電子器件. 2018(06)
[3]基于BP神經(jīng)網(wǎng)絡(luò)PID算法的風(fēng)力擺控制系統(tǒng)的設(shè)計[J]. 袁建平,施一萍,江鵬,蔣宇,賈日晶,姚德亮.  測控技術(shù). 2018(11)
[4]BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及應(yīng)用[J]. 王美玲,王念平,李曉.  計算機工程與應(yīng)用. 2009(35)
[5]一種具有自適應(yīng)動量因子的BP算法[J]. 張會生,吳微.  大連海事大學(xué)學(xué)報. 2008(04)
[6]CONVERGENCE OF GRADIENT METHOD WITH MOMENTUM FOR BACK-PROPAGATION NEURAL NETWORKS[J]. Wei Wu Department of Applied Mathematics,Dalian University of Technology,Dalian 116024,China Naimin Zhang Mathematics and Information Science College,Wenzhou University,Wenzhou 325035,China Zhengxue Li Long Li Department of Applied Mathematics,Dalian University o.f Technology,Dalian 116024,China Yan Liu College of Information Science and Engineering,Dalian Institute of Light Industry,Dalian 116034,China.  Journal of Computational Mathematics. 2008(04)
[7]帶懲罰項與隨機輸入的BP神經(jīng)網(wǎng)絡(luò)在線梯度學(xué)習(xí)算法的收斂性[J]. 魯慧芳,吳微,李正學(xué).  數(shù)學(xué)研究與評論. 2007(03)
[8]基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)算法的管道缺陷漏磁信號識別[J]. 金濤,闕沛文,陳天璐,李亮.  上海交通大學(xué)學(xué)報. 2005(07)
[9]快速收斂的BP神經(jīng)網(wǎng)絡(luò)算法[J]. 王赟松,許洪國.  吉林大學(xué)學(xué)報(工學(xué)版). 2003(04)
[10]神經(jīng)網(wǎng)絡(luò)的泛化能力與結(jié)構(gòu)優(yōu)化算法研究[J]. 武妍,張立明.  計算機應(yīng)用研究. 2002(06)



本文編號：3511678