在訓(xùn)練機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的模型時(shí),梯度下降算法是一個(gè)用得非常廣泛的優(yōu)化方法。然而梯度下降算法收斂速度非常慢,因此許許多多的加速算法被提出用來加快收斂速度,比如動(dòng)量法(momentum)�；谔荻认陆邓惴�、Polyak動(dòng)量算法和Nesterov加速梯度算法的研究,本論文發(fā)現(xiàn)當(dāng)目標(biāo)函數(shù)是比較簡(jiǎn)單的二次函數(shù)情形時(shí),它們都可以由同一初始點(diǎn)收斂到最優(yōu)點(diǎn),只是收斂步數(shù)不同而已。結(jié)合二次函數(shù)收斂性質(zhì),Nesterov加速梯度算法迭代步驟中的姐妹序列,以及神經(jīng)網(wǎng)絡(luò)中的平行切線法,我們提出了三步加速梯度算法。同Nesterov加速梯度算法不同的是,我們的算法擁有三個(gè)序列而不是姐妹序列。通過二次函數(shù)的實(shí)驗(yàn)我們得出三步加速梯度算法比其它三種算法收斂步數(shù)都要少。我們又將二次函數(shù)的維數(shù)增高許多來驗(yàn)證我們算法的優(yōu)越性。我們還將其擴(kuò)展到非二次函數(shù)情形,采用了 CUTE函數(shù)集中的FLETCHCR函數(shù),結(jié)果顯示我們算法的收斂速度更快,動(dòng)量參數(shù)的取值范圍也更廣,即算法更穩(wěn)健。然后我們將三步加速梯度算法融入到深度學(xué)習(xí)反向傳播算法和隨機(jī)梯度算法中,重寫了 R軟件包neuralnet,命名為supneuralnet。利用supn...

【文章頁數(shù)】：103 頁

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
ABSTRACT
主要符號(hào)對(duì)照表
第一章 引言
    1.1 背景概述
    1.2 研究現(xiàn)狀
    1.3 本文內(nèi)容
第二章 三步加速梯度算法
    2.1 梯度下降算法
    2.2 Polyak動(dòng)量算法
    2.3 Nesterov加速梯度算法
    2.4 三步加速梯度算法
    2.5 案例研究
        2.5.1 高維二次函數(shù)
        2.5.2 FLETCHCR函數(shù)
第三章 深度學(xué)習(xí)中三步加速梯度算法
    3.1 深度學(xué)習(xí)簡(jiǎn)介
        3.1.1 深度學(xué)習(xí)發(fā)展歷程
        3.1.2 XOR問題
    3.2 前饋神經(jīng)網(wǎng)絡(luò)
    3.3 反向傳播算法
    3.4 反向傳播三步加速梯度算法
        3.4.1 三種反向傳播加速算法
        3.4.2 R語言程序包supneuralnet開發(fā)
第四章 基于BPTAG算法的案例研究
    4.1 鳶尾花數(shù)據(jù)分析
        4.1.1 數(shù)據(jù)準(zhǔn)備
        4.1.2 算法訓(xùn)練
        4.1.3 算法預(yù)測(cè)
        4.1.4 結(jié)果分析
    4.2 螺旋數(shù)據(jù)分析
        4.2.1 數(shù)據(jù)準(zhǔn)備
        4.2.2 算法訓(xùn)練
        4.2.3 算法預(yù)測(cè)和結(jié)果分析
第五章 深度學(xué)習(xí)中三步加速隨機(jī)梯度算法
    5.1 隨機(jī)梯度算法簡(jiǎn)介
    5.2 反向傳播三步加速隨機(jī)梯度算法
    5.3 基于BPTASG算法的鳶尾花數(shù)據(jù)分類
        5.3.1 算法訓(xùn)練
        5.3.2 算法預(yù)測(cè)
        5.3.3 結(jié)果分析
    5.4 基于BPTASG算法的螺旋數(shù)據(jù)分類
        5.4.1 算法訓(xùn)練
        5.4.2 算法預(yù)測(cè)和結(jié)果分析
結(jié)論
參考文獻(xiàn)
致謝
在學(xué)期間的研究成果及發(fā)表的論文



本文編號(hào)：4035093