近年來(lái),越來(lái)越多的公司部署分布式機(jī)器學(xué)習(xí)集群用來(lái)訓(xùn)練機(jī)器學(xué)習(xí)模型,以提供各種人工智能驅(qū)動(dòng)的服務(wù)。與此同時(shí),機(jī)器學(xué)習(xí)任務(wù)也給集群資源調(diào)度（為任務(wù)匹配合適的資源）帶來(lái)了一些獨(dú)特的挑戰(zhàn),如復(fù)雜的資源-訓(xùn)練速度關(guān)系、任務(wù)完成時(shí)間不可預(yù)知等�，F(xiàn)有的相關(guān)研究大多基于研究者對(duì)特定的機(jī)器學(xué)習(xí)框架和工作負(fù)載的理解對(duì)資源-任務(wù)完成時(shí)間建立白盒模型,再通過(guò)啟發(fā)式算法求解。白盒模型的準(zhǔn)確性會(huì)極大的影響資源調(diào)度的性能且不具備通用性。因此,本文引入黑盒優(yōu)化技術(shù)來(lái)解決分布式機(jī)器學(xué)習(xí)集群的資源調(diào)度問(wèn)題,主要的工作如下:1.當(dāng)集群中的機(jī)器學(xué)習(xí)模型為生產(chǎn)級(jí)模型時(shí),用戶主要關(guān)心模型的訓(xùn)練時(shí)間。資源調(diào)度問(wèn)題主要考慮如何為每個(gè)任務(wù)選擇合適的物理計(jì)算節(jié)點(diǎn)上以使得總?cè)蝿?wù)完成時(shí)間最小。本文對(duì)該問(wèn)題進(jìn)行了形式化數(shù)學(xué)建模,并對(duì)該問(wèn)題存在的挑戰(zhàn)進(jìn)行了深入分析,提出了一種基于貝葉斯優(yōu)化的資源調(diào)度算法,首次引入貝葉斯優(yōu)化這種黑盒優(yōu)化算法來(lái)解決該問(wèn)題,并在其中提出了收斂曲線學(xué)習(xí)子算法來(lái)解決機(jī)器學(xué)習(xí)訓(xùn)練迭代次數(shù)未知的問(wèn)題。本文對(duì)4種不同的概率代理模型和采集函數(shù)組合的貝葉斯優(yōu)化子算法以及其他目前領(lǐng)先的研究進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明,貝葉斯優(yōu)化子算... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：81 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

貝葉斯優(yōu)化過(guò)程示例圖

助采樣的子訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練；在預(yù)測(cè)的時(shí)候，通過(guò)對(duì)多棵決策樹的預(yù)測(cè)結(jié)果取平均得到最終的結(jié)果。隨機(jī)森林回歸模型固有的并行性，以及對(duì)數(shù)據(jù)進(jìn)行下采樣的特點(diǎn)，使得隨機(jī)森林回歸非常適用于大規(guī)模數(shù)據(jù)集。此外，如果每個(gè)樣本的特征維度為M，隨機(jī)森林回歸指定一個(gè)常數(shù)，隨機(jī)地從M個(gè)特征中選取m個(gè)特征子集，每次樹進(jìn)行分裂時(shí)，從這m個(gè)特征中選擇最優(yōu)的特征。這一特點(diǎn)使得隨機(jī)森林回歸非常適用于高維搜索空間。更重要的是，隨機(jī)森林回歸在處理各種數(shù)據(jù)類型時(shí)繼承了決策樹的靈活性，可以很容易的處理離散型變量、分類變量等。圖3-9概率代理模型的對(duì)比。（a）高斯過(guò)程；（b）隨機(jī)森林。雖然隨機(jī)森林回歸在訓(xùn)練數(shù)據(jù)附近的數(shù)據(jù)點(diǎn)能夠快速得到高精度預(yù)測(cè)，但是在遠(yuǎn)離訓(xùn)練數(shù)據(jù)的數(shù)據(jù)點(diǎn)的預(yù)測(cè)效果通常都很差。因?yàn)�，�?duì)于遠(yuǎn)離訓(xùn)練數(shù)據(jù)的數(shù)據(jù)點(diǎn)，所有決策樹的預(yù)測(cè)可能都是相同的，導(dǎo)致集成學(xué)習(xí)并不能提升預(yù)測(cè)的精度。更重要的是，隨機(jī)森林回歸模型本身不提供對(duì)預(yù)測(cè)值的不確定性估計(jì)，SMAC算法用每棵決策樹的預(yù)測(cè)值之間的經(jīng)驗(yàn)方差作為隨機(jī)森林回歸的預(yù)測(cè)值的方差。這種方差估計(jì)可能導(dǎo)致非常極端的置信區(qū)間。如圖3-9所示，圖3-9（a）為高斯過(guò)程，圖3-9（b）為隨機(jī)森林回歸。藍(lán)色實(shí)線表示后驗(yàn)均值，陰影部分劃定了95%（a）（b）

電子科技大學(xué)碩士學(xué)位論文58（3）樹形，這種通信模式的典型代表為采用BinaryTree這種AllReduce架構(gòu)的分布式機(jī)器學(xué)習(xí)任務(wù)。數(shù)據(jù)使用類似樹的結(jié)構(gòu)進(jìn)行聚合和分發(fā)。通信時(shí)間和log()成正比，可以用3×log()表示。（4）蝶形，這種通信模式的典型代表為采用Butterfly這種AllReduce架構(gòu)的分布式機(jī)器學(xué)習(xí)任務(wù)。通信時(shí)間也和log()成正比，同樣可以用4×log()表示。其他一些更復(fù)雜的通信模式，都可以視為上述通信模式的變體和組合。比如文獻(xiàn)[50]提出的分層AllReduce架構(gòu)，如圖4-5所示，可以視為環(huán)形和一對(duì)多的組合。其中環(huán)形的工作節(jié)點(diǎn)數(shù)目可以用0×表示，一對(duì)多的工作節(jié)點(diǎn)可以用1×，綜合起來(lái)通信時(shí)間可以表示為：1×1×+2110×=1′×+2′×1+2(4-10)圖4-5分層AllReduce架構(gòu)綜上，資源-單次迭代時(shí)間模型可以建模為：=0×1+1×+2×()+3(4-11)最后將收斂曲線的參數(shù)和資源-單次迭代時(shí)間模型的參數(shù)結(jié)合起來(lái)就得到分布式機(jī)器學(xué)習(xí)任務(wù)的編碼[0,1,2,0,1,2,3]。在小規(guī)模集群、小規(guī)模數(shù)據(jù)集上學(xué)習(xí)到的收斂曲線和資源-單次迭代時(shí)間模型，必然不是精確的，并且也沒(méi)有考慮集群中其他任務(wù)的干擾問(wèn)題。但是這里并不是直接基于該收斂曲線和資源-單次迭代時(shí)間模型分配資源。而是用學(xué)習(xí)到的參數(shù)向Agent描述這個(gè)任務(wù)，這些參數(shù)包含了關(guān)于模型的損失函數(shù)和訓(xùn)練速度的信息，可以幫助Agent做出正確的決策。4.3.2標(biāo)準(zhǔn)化模型性能度量不同的機(jī)器學(xué)習(xí)任務(wù)通常有不同的性能度量指標(biāo)。例如，對(duì)于分類任務(wù)最常用的性能度量是錯(cuò)誤率和精度，錯(cuò)誤率是分類錯(cuò)誤的樣本數(shù)占樣本總數(shù)的比例，

【參考文獻(xiàn)】：
期刊論文
[1]貝葉斯優(yōu)化方法和應(yīng)用綜述[J]. 崔佳旭,楊博.  軟件學(xué)報(bào). 2018(10)



本文編號(hào)：3605523