為了解決日益龐大的數(shù)據(jù)集與參數(shù)量而帶來的機器學(xué)習(xí)訓(xùn)練耗時過長的問題,分布式機器學(xué)習(xí)(Distributed Machine Learning,DML)成為加速機器學(xué)習(xí)模型訓(xùn)練的重要手段之一。DML在進行參數(shù)同步時需要多個主機間頻繁的網(wǎng)絡(luò)通信。然而,應(yīng)用在DML網(wǎng)絡(luò)傳輸中的遠(yuǎn)程直接存取技術(shù)(Remote Direct Memory Access,RDMA)并不能很好地支持DML同步時的網(wǎng)絡(luò)傳輸特性。本文將由此出發(fā),設(shè)計面向DML的網(wǎng)絡(luò)傳輸優(yōu)化。首先,為了解決因網(wǎng)絡(luò)多瓶頸問題而產(chǎn)生的慢流滯后DML同步進程問題,本文提出了平衡完成時間協(xié)議(Balanced Completion Time Protocol,BCTP)。BCTP協(xié)議由網(wǎng)絡(luò)節(jié)點記錄維護數(shù)據(jù)流的傳輸狀態(tài),根據(jù)網(wǎng)絡(luò)狀態(tài)和流的傳輸狀態(tài)進行速率的分配,采用了李亞普若夫優(yōu)化進行分配速率的求解,并由服務(wù)器進行速率的調(diào)控。在此基礎(chǔ)上,本文還設(shè)計了BCTP-NIC、BCTP-Switch和BCTP-Hybrid以滿足不同的網(wǎng)絡(luò)設(shè)備部署B(yǎng)CTP協(xié)議的需求。仿真實驗結(jié)果表明BCTP能夠?qū)崿F(xiàn)高達20%-45%的DML同步網(wǎng)絡(luò)通信開銷減少。更進一步地,...

【文章頁數(shù)】：78 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖5-3節(jié)點的速率對比

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-48-和BCTP作比較。接收節(jié)點的帶寬平均值對比如圖5-3所示，可知BCTP協(xié)議中工作節(jié)點帶寬平均值的實際值與理論值較為接近且高于DCQCN中工作節(jié)點的帶寬平均值。每個流的傳輸速率平均值如圖5-4所示，由圖可知BCTP協(xié)議流的速率分配能夠較為貼切理....

圖5-8Fat-Tree大規(guī)模節(jié)點All-Reduce同步機制下各節(jié)點的接收情況

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-51-傳輸模型為AlexNet、ResNet50和VGG-16下的一次迭代傳輸。此實驗?zāi)M了Fat-Tree和BCube網(wǎng)絡(luò)拓?fù)湎�，DML在Diffuse階段向其他工作節(jié)點傳輸參數(shù)的過程。Fat-Tree和BCube的仿真實驗結(jié)果如圖5-8和圖5-....

圖5-9BCube大規(guī)模節(jié)點All-Reduce同步機制下各節(jié)點的接收情況.

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-51-傳輸模型為AlexNet、ResNet50和VGG-16下的一次迭代傳輸。此實驗?zāi)M了Fat-Tree和BCube網(wǎng)絡(luò)拓?fù)湎�，DML在Diffuse階段向其他工作節(jié)點傳輸參數(shù)的過程。Fat-Tree和BCube的仿真實驗結(jié)果如圖5-8和圖5-....

圖5-10流完成時間

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-52-表5-5大規(guī)模節(jié)點下，兩種協(xié)議實驗對比TopologyModelDCQCNBCTPTimereductionFat-TreeResNet50196.36ms80.16ms59.18%AlexNet467.08ms197.24ms57.77%V....

本文編號：3925968