發(fā)布時間：2024-03-01 18:39

　　資源利用率低是現(xiàn)今云計算系統(tǒng)中普遍存在的問題。資源利用率低不但會降低作業(yè)的執(zhí)行效率,而且會增加用戶使用集群資源的成本。如何高效地分配和使用資源是云計算系統(tǒng)中需要重點關(guān)注的問題。應(yīng)用程序的多樣性和集群的異構(gòu)性是目前云計算系統(tǒng)中資源分配所面臨的主要挑戰(zhàn)。負載的多樣性和集群的異構(gòu)性使得在應(yīng)用程序運行之前很難準(zhǔn)確預(yù)測其資源消耗。分析集群負載日志可以了解集群與任務(wù)的特性,進而作為資源分配策略設(shè)計的依據(jù)�，F(xiàn)有基于歷史信息的研究工作假定同類型任務(wù)的資源消耗與完成時間是相同,然而任務(wù)的實際資源消耗與完成時間只是相似的。為此深入分析了任務(wù)的資源消耗與完成時間的相似性特征。通過資源消耗與完成時間的概率分布能夠很好地描述任務(wù)的特性。并通過高斯擬合得出其概率分布函數(shù),用于資源分配策略的設(shè)計。根據(jù)任務(wù)的資源消耗概率分布函數(shù),提出了一種基于任務(wù)統(tǒng)計特征的資源分配策略。分析表明,該資源分配策略可以達到資源利用率在理論上的極值。實驗結(jié)果表明,該策略在異構(gòu)集群中的多種應(yīng)用中都取得了良好的性能,可以最大限度地縮小資源分配與資源消耗之間的差距,可以使資源利用率達到85%以上,能夠縮短應(yīng)用程序25%以上的執(zhí)行時間。此外,隨著...

【文章頁數(shù)】：70 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2.1兩次Terasort作業(yè)map任務(wù)的CPU與內(nèi)存的消耗量

次測試的Map任務(wù)CPU的實際消耗量，CPU的消耗量在占分配量的0.51左右。從資源消耗的情況中，可以得出實際的使用量處于較低水平，使得集群資源使用率較低。圖2.2a、2.2b為Terasort1與Terasort2的map任務(wù)的完成時間的統(tǒng)計圖。從....

圖2.2兩次terasort作業(yè)的map任務(wù)的完成時間

(a)Terasort1map任務(wù)完成時間(b)Terasort2map任務(wù)完成時間圖2.2兩次terasort作業(yè)的map任務(wù)的完成時間2.2相同節(jié)點上的不同類型的任務(wù)不同類型的應(yīng)用資源需求存在差異，在同一服務(wù)器節(jié)點上表現(xiàn)出不同資源消耗。通過對w....

圖2.4wordcount在NODE1上Map任務(wù)的完成時間

2.4wordcount在NODE1上Map任務(wù)的完成2.2中的Terasort的map任務(wù)資源消耗量與任務(wù)rdcount，wordcount的CPU消耗量多于Terasorasort。測試表明不同的應(yīng)用在相同的服務(wù)器節(jié)異。統(tǒng)一的資源分配方案并不能適用于復(fù)雜1....

圖2.6Terasort1在NODE2上的任務(wù)完成時間

圖2.6Terasort1在NODE2上的任務(wù)完成時間rt的Map任務(wù)在NODE1和NODE2上CPU資群服務(wù)器節(jié)點的處理能力不同，同一應(yīng)用在不在差異。Teasort的Map任務(wù)在NODE1與N。異構(gòu)服務(wù)器節(jié)點使用相同的資源分配方案并分布....

本文編號：3915657