自2006年深度學(xué)習(xí)的概念被提出以來(lái),隨著計(jì)算機(jī)硬件的不斷革新,深度學(xué)習(xí)技術(shù)也得到了長(zhǎng)足的發(fā)展。深度學(xué)習(xí)的相關(guān)應(yīng)用越來(lái)越多的出現(xiàn)在人們的工作與生活中,例如常見(jiàn)推薦系統(tǒng)、智能語(yǔ)音、量化操作以及自動(dòng)駕駛等。一個(gè)優(yōu)秀的深度學(xué)習(xí)項(xiàng)目往往都是基于一個(gè)優(yōu)秀的深度學(xué)習(xí)模型,而對(duì)于一個(gè)完整的模型通常包括網(wǎng)絡(luò)、算法、數(shù)據(jù)等。一般情況下,當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)樣本固定時(shí),一個(gè)好的優(yōu)化算法往往意味著一個(gè)更加令人滿意的實(shí)驗(yàn)結(jié)果。在深度學(xué)習(xí)的優(yōu)化算法中,基于SGD算法衍生出的自適應(yīng)梯度算法是一類十分簡(jiǎn)單且流行的算法,因此這一類算法仍然是TenserFlow、Pytorch等深度學(xué)習(xí)框架中的主流優(yōu)化算法。作為深度學(xué)習(xí)中主流的優(yōu)化算法,自適應(yīng)梯度算法是基于反向傳播以及梯度下降法產(chǎn)生的。在實(shí)踐中,我們通常會(huì)根據(jù)梯度的階數(shù),將基于梯度的優(yōu)化算法分為:一階優(yōu)化算法以及二階優(yōu)化算法。雖然二階算法往往有著更快的收斂速度,但同時(shí)也伴隨著巨大的計(jì)算量和存儲(chǔ)量,因此一階優(yōu)化算法仍然是目前的主流算法。在基于梯度的一階優(yōu)化算法中,Adagrad、Rmsprop以及Adam算法是其中的杰出代表,因它們極為優(yōu)秀的實(shí)驗(yàn)表現(xiàn)吸引了大量的研究者對(duì)自適...

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 論文研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 論文主要內(nèi)容
第二章 基礎(chǔ)知識(shí)
    2.1 反向傳播
    2.2 自適應(yīng)梯度算法
    2.3 L光滑
    2.4 2 L₂正則
    2.5 深度學(xué)習(xí)中常見(jiàn)的收斂性定義
    2.6 本章小結(jié)
第三章 常見(jiàn)自適應(yīng)梯度算法的收斂性分析
    3.1 引言
    3.2 梯度下降算法的收斂性分析
        3.2.1 批梯度下降算法的收斂性分析
        3.2.2 隨機(jī)梯度下降算法的收斂性分析
    3.3 Adagrad算法的收斂性分析
        3.3.1 批情況下Adagrad算法的收斂性分析
        3.3.2 隨機(jī)情況下Adagrad算法的收斂性分析
    3.4 Rmsprop算法的收斂性分析
        3.4.1 批情況下Rmsprop算法的收斂性
        3.4.2 隨機(jī)情況下Rmsprop算法的收斂性
    3.5 數(shù)值實(shí)驗(yàn)
        3.5.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境
        3.5.2 實(shí)驗(yàn)結(jié)果
    3.6 本章小結(jié)
第四章 廣義自適應(yīng)梯度算法的收斂性分析
    4.1 引言
    4.2 Rmsprop-Norm算法的收斂性分析
        4.2.1 批情況下Rmsprop-Norm算法的收斂性分析
        4.2.2 隨機(jī)情況下Rmsprop-Norm算法的收斂性分析
    4.3 RmspropW-Norm算法的收斂性分析
        4.3.1 批情況下RmspropW-Norm算法的收斂性分析
        4.3.2 隨機(jī)情況下RmspropW-Norm算法的收斂性分析
    4.4 廣義自適應(yīng)梯度算法的收斂性分析
        4.4.1 批情況下廣義自適應(yīng)梯度算法的收斂性分析
        4.4.2 隨機(jī)情況下廣義自適應(yīng)梯度算法的收斂性分析
        4.4.3 廣義自適應(yīng)梯度算法收斂的充分條件
    4.5 數(shù)值實(shí)驗(yàn)
        4.5.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境
        4.5.2 實(shí)驗(yàn)結(jié)果
    4.6 本章小結(jié)
第五章 總結(jié)與展望
參考文獻(xiàn)
致謝
附錄



本文編號(hào)：3738839