發(fā)布時(shí)間：2024-03-11 06:33

　　為了解決日益龐大的數(shù)據(jù)集與參數(shù)量而帶來的機(jī)器學(xué)習(xí)訓(xùn)練耗時(shí)過長(zhǎng)的問題,分布式機(jī)器學(xué)習(xí)(Distributed Machine Learning,DML)成為加速機(jī)器學(xué)習(xí)模型訓(xùn)練的重要手段之一。DML在進(jìn)行參數(shù)同步時(shí)需要多個(gè)主機(jī)間頻繁的網(wǎng)絡(luò)通信。然而,應(yīng)用在DML網(wǎng)絡(luò)傳輸中的遠(yuǎn)程直接存取技術(shù)(Remote Direct Memory Access,RDMA)并不能很好地支持DML同步時(shí)的網(wǎng)絡(luò)傳輸特性。本文將由此出發(fā),設(shè)計(jì)面向DML的網(wǎng)絡(luò)傳輸優(yōu)化。首先,為了解決因網(wǎng)絡(luò)多瓶頸問題而產(chǎn)生的慢流滯后DML同步進(jìn)程問題,本文提出了平衡完成時(shí)間協(xié)議(Balanced Completion Time Protocol,BCTP)。BCTP協(xié)議由網(wǎng)絡(luò)節(jié)點(diǎn)記錄維護(hù)數(shù)據(jù)流的傳輸狀態(tài),根據(jù)網(wǎng)絡(luò)狀態(tài)和流的傳輸狀態(tài)進(jìn)行速率的分配,采用了李亞普若夫優(yōu)化進(jìn)行分配速率的求解,并由服務(wù)器進(jìn)行速率的調(diào)控。在此基礎(chǔ)上,本文還設(shè)計(jì)了BCTP-NIC、BCTP-Switch和BCTP-Hybrid以滿足不同的網(wǎng)絡(luò)設(shè)備部署B(yǎng)CTP協(xié)議的需求。仿真實(shí)驗(yàn)結(jié)果表明BCTP能夠?qū)崿F(xiàn)高達(dá)20%-45%的DML同步網(wǎng)絡(luò)通信開銷減少。更進(jìn)一步地,...

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖5-3節(jié)點(diǎn)的速率對(duì)比

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-48-和BCTP作比較。接收節(jié)點(diǎn)的帶寬平均值對(duì)比如圖5-3所示，可知BCTP協(xié)議中工作節(jié)點(diǎn)帶寬平均值的實(shí)際值與理論值較為接近且高于DCQCN中工作節(jié)點(diǎn)的帶寬平均值。每個(gè)流的傳輸速率平均值如圖5-4所示，由圖可知BCTP協(xié)議流的速率分配能夠較為貼切理....

圖5-8Fat-Tree大規(guī)模節(jié)點(diǎn)All-Reduce同步機(jī)制下各節(jié)點(diǎn)的接收情況

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-51-傳輸模型為AlexNet、ResNet50和VGG-16下的一次迭代傳輸。此實(shí)驗(yàn)?zāi)M了Fat-Tree和BCube網(wǎng)絡(luò)拓?fù)湎�，DML在Diffuse階段向其他工作節(jié)點(diǎn)傳輸參數(shù)的過程。Fat-Tree和BCube的仿真實(shí)驗(yàn)結(jié)果如圖5-8和圖5-....

圖5-9BCube大規(guī)模節(jié)點(diǎn)All-Reduce同步機(jī)制下各節(jié)點(diǎn)的接收情況.

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-51-傳輸模型為AlexNet、ResNet50和VGG-16下的一次迭代傳輸。此實(shí)驗(yàn)?zāi)M了Fat-Tree和BCube網(wǎng)絡(luò)拓?fù)湎�，DML在Diffuse階段向其他工作節(jié)點(diǎn)傳輸參數(shù)的過程。Fat-Tree和BCube的仿真實(shí)驗(yàn)結(jié)果如圖5-8和圖5-....

圖5-10流完成時(shí)間

哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-52-表5-5大規(guī)模節(jié)點(diǎn)下，兩種協(xié)議實(shí)驗(yàn)對(duì)比TopologyModelDCQCNBCTPTimereductionFat-TreeResNet50196.36ms80.16ms59.18%AlexNet467.08ms197.24ms57.77%V....

本文編號(hào)：3925968