發(fā)布時間：2022-11-03 21:16

　　近年來人工智能技術(shù)取得了前所未有的高速發(fā)展,在很多領(lǐng)域內(nèi)（比如互聯(lián)網(wǎng),自動駕駛等）扮演著不可或缺的角色。隨著人工智能時代的到來,為了解決海量訓(xùn)練數(shù)據(jù)和場景復(fù)雜度高等諸多難題,更大規(guī)模的機器學(xué)習(xí)模型應(yīng)運而生。大規(guī)模的機器學(xué)習(xí)模型往往具有更高準確性,同時也具備更強的表達能力,可以幫助人們解決難度較高的問題。然而,大規(guī)模的機器學(xué)習(xí)模型無可避免的將會使訓(xùn)練節(jié)點面臨計算能力和存儲的雙重壓力。模型計算復(fù)雜度高,會導(dǎo)致單機訓(xùn)練可能消耗無法接受的時長,機器學(xué)習(xí)模型的規(guī)模大,會導(dǎo)致單機的存儲可能無法滿足訓(xùn)練需求。因而使用分布式機器學(xué)習(xí)集群來完成訓(xùn)練任務(wù)變得至關(guān)重要。不同的并行化技術(shù)、集群架構(gòu)和通信機制等都會對分布式機器學(xué)習(xí)集群的性能造成很大影響,如何更好地在分布式機器學(xué)習(xí)集群上面進行數(shù)據(jù)及模型的劃分、存儲和訓(xùn)練等是分布式機器學(xué)習(xí)面臨的主要問題。不同模型在分布式集群上進行模型訓(xùn)練時可以使用不同的并行化技術(shù),對于單機無法存儲的大規(guī)模模型,只能使用模型并行方式進行訓(xùn)練,而目前分布式機器學(xué)習(xí)模型訓(xùn)練速度慢,模型參數(shù)規(guī)模大等依然是該領(lǐng)域面臨的主要問題。針對這兩個問題,本文首先從模型并行角度出發(fā),詳細分析了模型并行... 

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號對照表
縮略語對照表
第一章 緒論
    1.1 AI應(yīng)用及其發(fā)展
    1.2 海量數(shù)據(jù)以及大模型的挑戰(zhàn)
    1.3 分布式機器學(xué)習(xí)
        1.3.1 數(shù)據(jù)并行
        1.3.2 模型并行
    1.4 研究目標及研究內(nèi)容
        1.4.1 研究目標
        1.4.2 研究內(nèi)容
    1.5 內(nèi)容安排
第二章 分布式AI加速的技術(shù)基礎(chǔ)
    2.1 分布式AI訓(xùn)練的訓(xùn)練算法加速設(shè)計
        2.1.1 同步模型訓(xùn)練算法
        2.1.2 異步模型訓(xùn)練算法
    2.2 分布式AI的網(wǎng)絡(luò)架構(gòu)加速設(shè)計
    2.3 分布式AI的集群通信加速設(shè)計
    2.4 本章小結(jié)
第三章 分布式機器學(xué)習(xí)模型分割設(shè)計
    3.1 機器學(xué)習(xí)模型概述
    3.2 數(shù)據(jù)與模型并行
    3.3 模型按層分割通信分析
    3.4 模型跨層分割通信分析
        3.4.1 高維卷積模型通信分析
        3.4.2 Le Net縱向跨層劃分分析
        3.4.3 Vgg Net縱向跨層劃分分析
        3.4.4 Res Net 50縱向跨層劃分分析
    3.5 基于模型分割的優(yōu)化分割策略設(shè)計
        3.5.1 設(shè)計目標
        3.5.2 設(shè)計思路
        3.5.3 優(yōu)化分割策略設(shè)計
        3.5.4 性能分析
    3.6 本章小結(jié)
第四章 面向AI應(yīng)用的網(wǎng)絡(luò)架構(gòu)設(shè)計
    4.1 目標及設(shè)計思路
        4.1.1 目標
        4.1.2 設(shè)計思路
    4.2 模塊架構(gòu)設(shè)計
        4.2.1 基本模塊及拓撲結(jié)構(gòu)
        4.2.2 節(jié)點編址
        4.2.3 網(wǎng)絡(luò)連接規(guī)則
    4.3 架構(gòu)對比及分析
        4.3.1 架構(gòu)特性評估對比
        4.3.2 架構(gòu)性能仿真對比
    4.4 本章小結(jié)
第五章 總結(jié)
參考文獻
致謝
作者簡介



本文編號：3700639