隨著大數(shù)據(jù)與人工智能的發(fā)展,深度學(xué)習(xí)模型面對的問題越來越復(fù)雜,模型參數(shù)越來越多,處理的數(shù)據(jù)集規(guī)模也越來越大。為了突破單機(jī)計算資源的限制,構(gòu)建一個高效易用的分布式深度學(xué)習(xí)平臺已經(jīng)成為學(xué)術(shù)界和工業(yè)界廣泛關(guān)注的問題。已有的大部分分布式深度學(xué)習(xí)平臺僅支持靜態(tài)計算圖,且都是基于參數(shù)服務(wù)器單一框架的。相較于靜態(tài)計算圖,動態(tài)計算圖可以在運(yùn)行過程中修改或定義圖中節(jié)點從而能夠處理更復(fù)雜的網(wǎng)絡(luò)模型。單一的分布式深度學(xué)習(xí)框架無法高效地處理不同的現(xiàn)實應(yīng)用場景,比如網(wǎng)絡(luò)模型的大小不同、分布式節(jié)點的多少不同和各節(jié)點計算資源均勻與否等多種場景。目前國際上仍沒有一個支持多種分布式框架、支持動態(tài)計算圖的分布式深度學(xué)習(xí)平臺。為了填補(bǔ)這一國際空白,本文基于PyTorch設(shè)計并研發(fā)了一個分布式深度學(xué)習(xí)平臺DisPyTorch。為了能夠處理各種復(fù)雜應(yīng)用場景,本文在DisPyTorch平臺上設(shè)計并實現(xiàn)了三種分布式深度學(xué)習(xí)框架:MR-DisPyTorch、RA-DisPyTorch和PS-DisPyTorch。用戶可以根據(jù)實際的應(yīng)用場景選擇合適的框架。本文的貢獻(xiàn)如下:一、設(shè)計并實現(xiàn)了一種基于MapReduce編程模型的分布式深度學(xué)...

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１．２：單隱層前饋網(wǎng)絡(luò)??

?第一章緒論???輸出??１?Ｉ?１??輸出層?ｐ．．．廠）…ｒ）??／?＼??隱層?〇?－?〇■？■〇？？？〇??、Ｘ?＇、、ｙ?，??ｐＫ??輸入層?（）＿＿？（）？■？（）??Ｖ?Ｙ?Ｙ??輸入??圖１．２：單隱層前饋網(wǎng)絡(luò)??表Ｕ：常見ＣＮＮ的參數(shù)大小??模型?｜層數(shù)｜??....

圖１．３：?ＢＰ算法中的變量??

?第一章緒論???入爲(wèi)知。那么，對于訓(xùn)練數(shù)據(jù)（Ｘｆｃ，ｙｆｃ），令ｈ為神經(jīng)網(wǎng)絡(luò)的輸出，則??神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)（Ｘｆｃ，ｙｆｃ）上的誤差表示為￡＾?＝?Ｌｊｙｆｃ，；＾）。令對為輸出層第ｊ個??神經(jīng)元的輸出，我們根據(jù)這個訓(xùn)練數(shù)據(jù)，可以利用ＢＰ算法，求得￡；ｆｃ關(guān)于??和ｕ＾｝的梯度，....

圖１．４：數(shù)據(jù)并行??

?第一章緒論???！模型ｍ?ｉ?！模型ｍ?；?！模型ｍ?ｉ??ｉ曜?ｉ囑?：ｗ；??？］．．．??！?＾Ｂ；?！?＾Ｓ；?！?＾９；??節(jié)點１?節(jié)點２?節(jié)點ｐ??圖１．４：數(shù)據(jù)并行??每個節(jié)點分別負(fù)責(zé)不同數(shù)據(jù)上的計算量，將多個節(jié)點上求得的梯度通過網(wǎng)??絡(luò)通信來進(jìn)行模型參數(shù)的更新。....

圖１．５：模型并行??

?第一章緒論???丨節(jié)點ｐ??Ｌ＝ｔ＝ｌ???Ｉ?■??■?■?■?Ｉ?■??■?■??：ｒ－４—＼???■■?ｉ節(jié)點２??■■丨節(jié)點ｌ??！?；??圖１．５：模型并行??通過模型并行構(gòu)成多機(jī)流水線，就可以訓(xùn)練非常大的神經(jīng)網(wǎng)絡(luò)，克服了單??機(jī)無法保存大模型的困難［４］。一方面，在....

本文編號：3959104