隨著數(shù)據(jù)化時代的變革,人工智能技術(shù)已經(jīng)深入人心,深度學習技術(shù)也隨著人工智能技術(shù)而興起。深度學習的成功在于其能夠解決神經(jīng)網(wǎng)絡(luò)方面的一系列問題。在處理深度神經(jīng)網(wǎng)絡(luò)及卷積神經(jīng)網(wǎng)絡(luò)方面,往往離不開梯度下降算法的支持。深度學習中的梯度算法可應用于許多問題的求解,比如線性回歸模型、矩陣分解、區(qū)塊鏈核心技術(shù)去中心化的共識算法。區(qū)塊鏈技術(shù)的核心問題是節(jié)點之間的共識問題,在各個礦工節(jié)點之間往往會有拜占庭故障節(jié)點擾亂當前交易系統(tǒng),解決這些拜占庭節(jié)點問題的方法我們稱其為拜占庭容錯技術(shù)（或拜占庭彈性技術(shù)）。在應對拜占庭共識問題時,各個節(jié)點間往往存在任意數(shù)量的拜占庭節(jié)點。在近幾年里,拜占庭容錯問題引起了研究人員的高度重視,成為業(yè)界的熱點研究話題。拜占庭節(jié)點的存在,會導致節(jié)點間信息交流的不可靠,因而會干擾算法的正常運作,甚至可能會導致服務器的癱瘓。在深度學習中利用隨機梯度下降算法處理拜占庭共識問題是有效的方法之一。縱觀最近兩年時間,Blanchard首先提出利用隨機梯度法來處理拜占庭故障模型,并提出經(jīng)典拜占庭模型（Classical Byzantine model）�；诮�(jīng)典拜占庭模型,Blanchard在迭代過... 

【文章來源】：浙江師范大學浙江省

【文章頁數(shù)】：67 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 課題研究背景、意義及研究現(xiàn)狀
        1.1.1 課題研究背景及意義
        1.1.2 深度學習梯度下降法的國內(nèi)外研究現(xiàn)狀與發(fā)展
    1.2 本文的主要工作
    1.3 本文的章節(jié)安排
2 深度學習中的梯度下降算法
    2.1 引言
    2.2 梯度下降算法
        2.2.1 相關(guān)概念
        2.2.2 代數(shù)及矩陣表示方法及推導過程
        2.2.3 梯度下降的種類
        2.2.4 深度學習中基于隨機梯度下降法的改進
    2.3 梯度下降法與最小二乘法的對比
    2.4 本章小結(jié)
3 拜占庭恢復模型
    3.1 引言
    3.2 拜占庭節(jié)點分布模型
    3.3 基于隨機梯度下降的拜占庭系統(tǒng)迭代模型
    3.4 基于隨機梯度下降拜占庭恢復能力(拜占庭彈性)
    3.5 拜占庭中逃避鞍點的梯度下降法
    3.6 本章小結(jié)
4 基于隨機梯度下降的拜占庭聚合規(guī)則
    4.1 引言
    4.2 基于隨機梯度下降的拜占庭聚合規(guī)則
        4.2.1 基于經(jīng)典拜占庭模型下的聚合規(guī)則:Krum函數(shù)
        4.2.2 m-Krum
        4.2.3 基于中值的聚合規(guī)則
        4.2.4 基于一般均值的聚合規(guī)則
        4.2.5 基于截尾均值的聚合規(guī)則
    4.3 時間復雜度
    4.4 基于截尾均值聚合規(guī)則的收斂分析
        4.4.1 強凸環(huán)境下的收斂分析
        4.4.2 非凸環(huán)境下的收斂證明
    4.5 拜占庭節(jié)點攻擊下聚合規(guī)則魯棒性檢測實驗
        4.5.1 實驗設(shè)置
        4.5.2 不存在拜占庭故障時收斂情況
        4.5.3 高斯攻擊法
        4.5.4 全方位攻擊法
        4.5.5 多服務器共同攻擊
        4.5.6 實驗小結(jié)
    4.6 本章小結(jié)
5 工作總結(jié)及展望
    5.1 目前所做工作總結(jié)
    5.2 未來工作展望
參考文獻
附錄
攻讀學位期間取得的研究成果
致謝


【參考文獻】：
期刊論文
[1]梯度下降法在機器學習中的應用[J]. 孫婭楠,林文斌.  蘇州科技大學學報(自然科學版). 2018(02)
[2]基于卷積神經(jīng)網(wǎng)絡(luò)的隨機梯度下降算法[J]. 王功鵬,段萌,牛常勇.  計算機工程與設(shè)計. 2018(02)

碩士論文
[1]分布式隨機梯度下降算法研究[D]. 唐淳.電子科技大學 2018
[2]深度學習中優(yōu)化算法的研究與改進[D]. 張慧.北京郵電大學 2018



本文編號：3167078