針對分布式深度學習系統(tǒng)網(wǎng)絡通信的全協(xié)議棧定制優(yōu)化問題,提出了一種分布式深度學習系統(tǒng)的網(wǎng)絡通信優(yōu)化技術的分類方法。從網(wǎng)絡協(xié)議棧層次的角度,分析了通信流量調(diào)度和網(wǎng)絡通信執(zhí)行的關鍵技術;自頂向下地從算法層面和網(wǎng)絡層面分別討論了分布式深度學習通信瓶頸優(yōu)化的幾種基本技術途徑,并展望其未來發(fā)展的機遇與挑戰(zhàn)。

【文章頁數(shù)】：7 頁

【部分圖文】：

圖1 計算與通信相對均衡的分布式訓練

除了數(shù)據(jù)并行，模型并行是另一種方法。該方法將神經(jīng)網(wǎng)絡模型分割到不同的計算節(jié)點上，每個計算節(jié)點僅負責計算模型的某一部分，只有輸入層所在的節(jié)點才負責讀取數(shù)據(jù)。當模型太大而無法放到一臺機器中時，則需要使用模型并行。本文主要關注常見的數(shù)據(jù)并行技術。圖2通信開銷占比過大的分布式訓練

圖2 通信開銷占比過大的分布式訓練

圖1計算與通信相對均衡的分布式訓練圖3數(shù)據(jù)并行與模型并行

圖4 通信優(yōu)化層次

梯度和模型參數(shù)中的每個元素都存儲在電氣和電子工程師協(xié)會標準（IEEE754）的單精度浮點變量中。交換大量的32位全精度變量經(jīng)常占用大量網(wǎng)絡帶寬。為了緩解這種通信瓶頸，研究人員嘗試使用低精度浮點數(shù)來表示訓練過程中傳輸?shù)奶荻�。圖5傳統(tǒng)并行SGD與本地SGD的對比

圖5 傳統(tǒng)并行SGD與本地SGD的對比

圖4通信優(yōu)化層次梯度量化的一般性描述為：首先梯度在發(fā)送之前通過量化函數(shù)量化為低精度值，然后在模型訓練期間，每個節(jié)點之間傳輸這些低精度值；接收節(jié)點通過反量化函數(shù)從量化值重構原始梯度，再聚合這些重構后的梯度向量并更新模型參數(shù)。根據(jù)所使用的量化函數(shù)的性質(zhì)，量化操作可以分為確定性量化和....

本文編號：4034471