發(fā)布時間：2021-06-11 02:48

　　深度學(xué)習(xí)通過多層網(wǎng)絡(luò)結(jié)構(gòu)提取大數(shù)據(jù)中的層次化特征表示,這種層次化的特征表示使計算機(jī)可通過學(xué)習(xí)較簡單的概念來構(gòu)建復(fù)雜的概念。深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別在于,深度學(xué)習(xí)可從大數(shù)據(jù)中抽取有效的特征表示,從而得到較高的處理性能。由于深度學(xué)習(xí)具有從大數(shù)據(jù)中提取有效信息表示的能力,它已在圖像分類、語音識別、視頻識別、自然語言處理等領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)量的增長和深度學(xué)習(xí)模型復(fù)雜度的提高,大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化成為重要挑戰(zhàn)。從計算科學(xué)的角度看,高性能計算技術(shù)中的異構(gòu)并行優(yōu)化技術(shù)在深度學(xué)習(xí)崛起的過程中發(fā)揮了重要作用。近年來,跨節(jié)點的并行優(yōu)化技術(shù)在深度學(xué)習(xí)模型優(yōu)化領(lǐng)域受到越來越多的關(guān)注。然而,由于主流深度學(xué)習(xí)優(yōu)化算法———隨機(jī)梯度下降算法本身的特性,深度學(xué)習(xí)并行優(yōu)化算法的可擴(kuò)展能力不足,深度學(xué)習(xí)并行優(yōu)化技術(shù)進(jìn)展緩慢。本文對多種深度學(xué)習(xí)并行優(yōu)化技術(shù)以及訓(xùn)練加速技術(shù)進(jìn)行分析研究,提出一系列深度學(xué)習(xí)并行優(yōu)化算法,為各種深度學(xué)習(xí)應(yīng)用提供支撐。本文的主要工作及創(chuàng)新點概括如下:（1）提出一種面向深度神經(jīng)網(wǎng)絡(luò)的延遲補(bǔ)償異步并行Adam算法。本文提出了一種深度學(xué)習(xí)的帶延遲補(bǔ)償異步并行Adam算法,稱為DC-Ad... 

【文章來源】：國防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁數(shù)】：133 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
Abstract
符號使用說明
第一章 緒論
    1.1 研究背景及意義
    1.2 研究問題定義
    1.3 研究現(xiàn)狀
        1.3.1 串行優(yōu)化算法
        1.3.2 并行優(yōu)化算法
        1.3.3 同步并行隨機(jī)梯度下降
        1.3.4 異步并行隨機(jī)梯度下降
    1.4 研究內(nèi)容及創(chuàng)新點
    1.5 論文的組織結(jié)構(gòu)
第二章 面向深度神經(jīng)網(wǎng)絡(luò)的延遲補(bǔ)償異步并行Adam算法
    2.1 引言
    2.2 相關(guān)工作
        2.2.1 并行SGD算法
        2.2.2 Adam算法
        2.2.3 延遲補(bǔ)償算法
    2.3 延遲補(bǔ)償異步并行Adam算法
        2.3.1 異步并行Adam
        2.3.2 延遲補(bǔ)償異步并行Adam算法
        2.3.3 收斂性分析
        2.3.4 DC-Adam與 DC-ASGD對比分析
    2.4 實驗
        2.4.1 MNIST實驗結(jié)果
        2.4.2 CIFAR-10實驗結(jié)果
        2.4.3 加速比和測試準(zhǔn)確率
    2.5 本章小結(jié)
第三章 面向深度學(xué)習(xí)的兩級并行優(yōu)化算法
    3.1 引言
    3.2 相關(guān)研究
        3.2.1 同步并行隨機(jī)梯度下降(SSGD)算法
        3.2.2 兩級并行框架
    3.3 異同步結(jié)合兩級并行優(yōu)化算法
        3.3.1 兩級并行系統(tǒng)框架
        3.3.2 異同步兩級并行算法
        3.3.3 算法收斂性分析
    3.4 實驗
        3.4.1 MNIST實驗結(jié)果
        3.4.2 CIFAR-10實驗結(jié)果
        3.4.3 加速比和測試準(zhǔn)確率
    3.5 本章小結(jié)
第四章 異步并行一致化隨機(jī)梯度下降算法
    4.1 引言
        4.1.1 問題的提出
        4.1.2 一致化梯度
    4.2 相關(guān)工作
        4.2.1 SVRG算法
        4.2.2 Asy SVRG算法
    4.3 異步并行一致化隨機(jī)梯度下降算法
        4.3.1 ACSGD算法
        4.3.2 收斂性分析
    4.4 實驗
        4.4.1 MNIST實驗結(jié)果
        4.4.2 CIFAR-10實驗結(jié)果
        4.4.3 加速比和測試準(zhǔn)確率
    4.5 本章小結(jié)
第五章 深度學(xué)習(xí)算法異構(gòu)并行加速技術(shù)
    5.1 引言
    5.2 基于MIC的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練異構(gòu)并行加速
        5.2.1 CNN訓(xùn)練計算分析
        5.2.2 線程設(shè)置
    5.3 實驗
        5.3.1 實驗設(shè)置
        5.3.2 訓(xùn)練時間評估
        5.3.3 加速比評估
    5.4 本章小結(jié)
第六章 面向圖像-文本跨模態(tài)檢索的并行優(yōu)化技術(shù)
    6.1 引言
    6.2 DCMH模型
    6.3 DCMH模型訓(xùn)練過程
    6.4 面向跨模態(tài)檢索的并行優(yōu)化技術(shù)
    6.5 實驗結(jié)果
        6.5.1 數(shù)據(jù)集
        6.5.2 訓(xùn)練收斂性
        6.5.3 訓(xùn)練加速比
        6.5.4 平均準(zhǔn)確率和平均召回率
    6.6 本章小結(jié)
第七章 結(jié)論與展望
    7.1 工作總結(jié)
    7.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果



本文編號：3223651