人工智能技術經(jīng)過多年的積累變得日益成熟,其應用領域也不斷擴大。其中基于神經(jīng)網(wǎng)絡的深度學習技術由于其突出的效果而成為了這一領域中的研究熱點。在深度學習中,卷積神經(jīng)網(wǎng)絡的性能往往取決于其模型結構和學習算法。在卷積神經(jīng)網(wǎng)絡模型結構確定的前提下,各神經(jīng)元之間連接的網(wǎng)絡參數(shù)會直接決定模型的最終性能。作為調(diào)節(jié)模型參數(shù)的最基本學習算法,隨機梯度下降（Stochastic Gradient Descent,SGD）已經(jīng)成為深度學習實際工程應用中必不可少的一部分。根據(jù)深度學習的底層運行方式,SGD對卷積神經(jīng)網(wǎng)絡的模型參數(shù)具有串行和并行兩種計算方式。通過對SGD的分析,發(fā)現(xiàn)SGD主要存在以下兩個問題:第一,在SDG的串行計算中,其學習率是固定的,選擇一個合適的學習率對SGD來說是很困難的。當選擇的學習率太小時,算法的收斂速度會很慢;當選擇的學習率太大時,算法容易導致模型參數(shù)在迭代過程中發(fā)生大幅度的振動,甚至導致模型不收斂。第二,在SGD的并行計算中,有同步運行和異步運行兩種方式。相比于同步運行,異步并行具有更加快的運行速度。但是,在異步隨機梯度下降（Asynchronous Stochastic Grad... 

【文章頁數(shù)】：92 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國內(nèi)研究現(xiàn)狀
        1.2.2 國外研究現(xiàn)狀
    1.3 主要研究內(nèi)容
    1.4 論文組織結構
    1.5 本章小結
第2章 相關理論基礎
    2.1 卷積神經(jīng)網(wǎng)絡
        2.1.1 卷積神經(jīng)網(wǎng)絡結構
        2.1.2 損失函數(shù)
        2.1.3 防止過擬合機制
    2.2 隨機梯度下降算法
        2.2.1 Momentum
        2.2.2 Adam
        2.2.3 Amsgrad
        2.2.4 SSGD
        2.2.5 ASGD
        2.2.6 MDCASGD
    2.3 本章小結
第3章 基于卷積神經(jīng)網(wǎng)絡的自適應學習率優(yōu)化算法
    3.1 問題分析
    3.2 策略描述
    3.3 自適應學習率優(yōu)化算法ACADG
        3.3.1 ACADG算法描述
        3.3.2 ACADG算法執(zhí)行過程
        3.3.3 ACADG算法相關性能
    3.4 本章小結
第4章 基于卷積神經(jīng)網(wǎng)絡的梯度延遲優(yōu)化算法
    4.1 問題分析
    4.2 策略描述
    4.3 梯度延遲優(yōu)化算法DASGD
        4.3.1 DASGD算法描述
        4.3.2 DASGD算法執(zhí)行過程
        4.3.3 DASGD算法相關性能
    4.4 本章小結
第5章 實驗與結果分析
    5.1 實驗數(shù)據(jù)
    5.2 自適應學習率優(yōu)化算法ACADG的實驗與結果分析
        5.2.1 實驗環(huán)境
        5.2.2 ACADG算法在合成損失函數(shù)上的實驗與結果分析
        5.2.3 ACADG算法在Mnist數(shù)據(jù)集上的實驗與結果分析
        5.2.4 ACADG算法在Cifar10 數(shù)據(jù)集上的實驗與結果分析
    5.3 梯度延遲優(yōu)化算法DASGD的實驗與結果分析
        5.3.1 實驗環(huán)境
        5.3.2 DASGD算法在Cifar10 數(shù)據(jù)集上的實驗與結果分析
        5.3.3 DASGD算法在Tiny-Image Net數(shù)據(jù)集上的實驗與結果分析
    5.4 本章小結
第6章 總結與展望
    6.1 全文總結
    6.2 未來展望
    6.3 本章小結
參考文獻
致謝
碩士期間發(fā)表的論文和參與的課題


【參考文獻】：
期刊論文
[1]改進遺傳模擬退火算法優(yōu)化BP算法研究[J]. 郭彩杏,郭曉金,柏林江.  小型微型計算機系統(tǒng). 2019(10)
[2]基于平移不變CNN的機械故障診斷研究[J]. 朱會杰,王新晴,芮挺,張欲保,李艷峰.  振動與沖擊. 2019(05)
[3]ReLU激活函數(shù)優(yōu)化研究[J]. 蔣昂波,王維維.  傳感器與微系統(tǒng). 2018(02)
[4]分布式隨機方差消減梯度下降算法topkSVRG[J]. 王建飛,亢良伊,劉杰,葉丹.  計算機科學與探索. 2018(07)
[5]MFSC系數(shù)特征局部有限權重共享CNN語音識別[J]. 黃玉蕾,羅曉霞,劉篤仁.  控制工程. 2017(07)



本文編號：3680883