近年來人工智能技術(shù)取得了前所未有的高速發(fā)展,在很多領(lǐng)域內(nèi)（比如互聯(lián)網(wǎng),自動(dòng)駕駛等）扮演著不可或缺的角色。隨著人工智能時(shí)代的到來,為了解決海量訓(xùn)練數(shù)據(jù)和場(chǎng)景復(fù)雜度高等諸多難題,更大規(guī)模的機(jī)器學(xué)習(xí)模型應(yīng)運(yùn)而生。大規(guī)模的機(jī)器學(xué)習(xí)模型往往具有更高準(zhǔn)確性,同時(shí)也具備更強(qiáng)的表達(dá)能力,可以幫助人們解決難度較高的問題。然而,大規(guī)模的機(jī)器學(xué)習(xí)模型無可避免的將會(huì)使訓(xùn)練節(jié)點(diǎn)面臨計(jì)算能力和存儲(chǔ)的雙重壓力。模型計(jì)算復(fù)雜度高,會(huì)導(dǎo)致單機(jī)訓(xùn)練可能消耗無法接受的時(shí)長,機(jī)器學(xué)習(xí)模型的規(guī)模大,會(huì)導(dǎo)致單機(jī)的存儲(chǔ)可能無法滿足訓(xùn)練需求。因而使用分布式機(jī)器學(xué)習(xí)集群來完成訓(xùn)練任務(wù)變得至關(guān)重要。不同的并行化技術(shù)、集群架構(gòu)和通信機(jī)制等都會(huì)對(duì)分布式機(jī)器學(xué)習(xí)集群的性能造成很大影響,如何更好地在分布式機(jī)器學(xué)習(xí)集群上面進(jìn)行數(shù)據(jù)及模型的劃分、存儲(chǔ)和訓(xùn)練等是分布式機(jī)器學(xué)習(xí)面臨的主要問題。不同模型在分布式集群上進(jìn)行模型訓(xùn)練時(shí)可以使用不同的并行化技術(shù),對(duì)于單機(jī)無法存儲(chǔ)的大規(guī)模模型,只能使用模型并行方式進(jìn)行訓(xùn)練,而目前分布式機(jī)器學(xué)習(xí)模型訓(xùn)練速度慢,模型參數(shù)規(guī)模大等依然是該領(lǐng)域面臨的主要問題。針對(duì)這兩個(gè)問題,本文首先從模型并行角度出發(fā),詳細(xì)分析了模型并行... 

【文章頁數(shù)】：79 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
符號(hào)對(duì)照表
縮略語對(duì)照表
第一章 緒論
    1.1 AI應(yīng)用及其發(fā)展
    1.2 海量數(shù)據(jù)以及大模型的挑戰(zhàn)
    1.3 分布式機(jī)器學(xué)習(xí)
        1.3.1 數(shù)據(jù)并行
        1.3.2 模型并行
    1.4 研究目標(biāo)及研究?jī)?nèi)容
        1.4.1 研究目標(biāo)
        1.4.2 研究?jī)?nèi)容
    1.5 內(nèi)容安排
第二章 分布式AI加速的技術(shù)基礎(chǔ)
    2.1 分布式AI訓(xùn)練的訓(xùn)練算法加速設(shè)計(jì)
        2.1.1 同步模型訓(xùn)練算法
        2.1.2 異步模型訓(xùn)練算法
    2.2 分布式AI的網(wǎng)絡(luò)架構(gòu)加速設(shè)計(jì)
    2.3 分布式AI的集群通信加速設(shè)計(jì)
    2.4 本章小結(jié)
第三章 分布式機(jī)器學(xué)習(xí)模型分割設(shè)計(jì)
    3.1 機(jī)器學(xué)習(xí)模型概述
    3.2 數(shù)據(jù)與模型并行
    3.3 模型按層分割通信分析
    3.4 模型跨層分割通信分析
        3.4.1 高維卷積模型通信分析
        3.4.2 Le Net縱向跨層劃分分析
        3.4.3 Vgg Net縱向跨層劃分分析
        3.4.4 Res Net 50縱向跨層劃分分析
    3.5 基于模型分割的優(yōu)化分割策略設(shè)計(jì)
        3.5.1 設(shè)計(jì)目標(biāo)
        3.5.2 設(shè)計(jì)思路
        3.5.3 優(yōu)化分割策略設(shè)計(jì)
        3.5.4 性能分析
    3.6 本章小結(jié)
第四章 面向AI應(yīng)用的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)
    4.1 目標(biāo)及設(shè)計(jì)思路
        4.1.1 目標(biāo)
        4.1.2 設(shè)計(jì)思路
    4.2 模塊架構(gòu)設(shè)計(jì)
        4.2.1 基本模塊及拓?fù)浣Y(jié)構(gòu)
        4.2.2 節(jié)點(diǎn)編址
        4.2.3 網(wǎng)絡(luò)連接規(guī)則
    4.3 架構(gòu)對(duì)比及分析
        4.3.1 架構(gòu)特性評(píng)估對(duì)比
        4.3.2 架構(gòu)性能仿真對(duì)比
    4.4 本章小結(jié)
第五章 總結(jié)
參考文獻(xiàn)
致謝
作者簡(jiǎn)介



本文編號(hào)：3700639