隨著深度學(xué)習(xí)的快速發(fā)展,其規(guī)模越來越大,需要的計算越來越復(fù)雜。分布式擴展技術(shù)可以有效提高大規(guī)模數(shù)據(jù)的處理能力。基于神威太湖之光超算平臺對深度學(xué)習(xí)框架Caffe進(jìn)行分布式擴展研究,對比同步方式下參數(shù)服務(wù)器分布式擴展方法和去中心化的分布式擴展方法。實驗表明,同步方式下,去中心化的分布式擴展方法相比參數(shù)服務(wù)器分布式擴展方法在通信效率方面具有明顯的優(yōu)勢,對特定的模型通信性能提高可達(dá)98倍。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1“神威太湖之光”系統(tǒng)架構(gòu)圖

“神威太湖之光”是世界上首臺峰值運算速度超過十億億次量級的超級計算機,也是中國第一臺全部采用自主技術(shù)構(gòu)建的世界第一的超級計算機[6]�！吧裢狻庇嬎銠C系統(tǒng)采用基于高密度彈性超節(jié)點和高流量復(fù)合網(wǎng)絡(luò)的高效能體系結(jié)構(gòu),由高速計算系統(tǒng)、輔助計算系統(tǒng)、高速計算互聯(lián)網(wǎng)絡(luò)、輔助計算互聯(lián)網(wǎng)....

圖2SW26010異構(gòu)眾核處理器架構(gòu)

系統(tǒng)峰值運算性能125.436PFLOPS,實測LINPACK持續(xù)運算性能為93.015PFLOPS,LINPACK系統(tǒng)效率達(dá)到74.153%,內(nèi)存總?cè)萘?024TB,訪存總帶寬4473.16TB/s,互聯(lián)網(wǎng)絡(luò)的網(wǎng)絡(luò)鏈路帶寬14GB/s,I/O聚合帶寬341GB/....

圖3CNN組成圖

CNN由輸入層、輸出層和卷積層、池化層等多個隱藏層組成。輸入層一般為一個二維向量。卷積層是CNN的核心,用于從輸入層或較低級別的特征圖提取更高層次的特征。池化層的作用是簡化卷積層的輸出。輸出層完成對結(jié)果的預(yù)測,一般為一個Softmax函數(shù)。CNN組成如圖3所示。CNN需要為給定的....

圖4參數(shù)服務(wù)器方式架構(gòu)示意圖

參數(shù)服務(wù)器分布式擴展方式由一個或多個參數(shù)服務(wù)器節(jié)點和多個計算節(jié)點組成。參數(shù)服務(wù)器節(jié)點(ParameterServer)存儲和更新全部的網(wǎng)絡(luò)參數(shù)W。計算節(jié)點進(jìn)行網(wǎng)絡(luò)的前向特征計算和反向梯度計算。反向傳播時,每個網(wǎng)絡(luò)層從下到上依次計算損失函數(shù)相對權(quán)重的梯度,并將所在層的梯度傳遞給參....

本文編號：3934599