【摘要】：在現(xiàn)代數(shù)據(jù)中心中,異構(gòu)機(jī)器的數(shù)量成千上萬,且它們之間的硬件資源細(xì)粒度異構(gòu)性表現(xiàn)明顯,如不同的處理器體系架構(gòu)、CPU主頻、CPU緩存大小、內(nèi)存型號(hào)、內(nèi)存容量以及硬盤的I/O讀寫速度等等。然而,當(dāng)前數(shù)據(jù)中心對(duì)資源的度量是粗粒度的,如CPU個(gè)數(shù)和內(nèi)存大小的組合。這種粗粒度的資源度量方式忽略了不同機(jī)器之間硬件的細(xì)粒度異構(gòu)性,沒有考量異構(gòu)機(jī)器的實(shí)際計(jì)算能力。因此,它不能使資源分配和任務(wù)調(diào)度達(dá)到性能最優(yōu),減慢了任務(wù)處理的時(shí)間。針對(duì)上述問題,本文提出 SMHC(a synthetic metric for heterogeous cloud resources)—一個(gè)合成的云資源度量方式,它的主要作用有:1.SMHC考慮了五種細(xì)粒度硬件資源(CPU型號(hào)、CPU主頻大小、CPU三級(jí)緩存大小以及內(nèi)存頻率、硬盤I/O讀寫速度),它們通過加權(quán)的方式組合起來,比較準(zhǔn)確地反映出一臺(tái)服務(wù)器的計(jì)算能力。2.SMHC通過線性組合的數(shù)學(xué)模型,綜合評(píng)估了粗粒度和細(xì)粒度的異構(gòu)硬件資源對(duì)大數(shù)據(jù)處理任務(wù)的加速效果。3.集群資源管理系統(tǒng)可以基于SMHC,設(shè)計(jì)出根據(jù)異構(gòu)機(jī)器實(shí)際計(jì)算能力比較的任務(wù)調(diào)度策略,有效利用異構(gòu)機(jī)器的計(jì)算能力,加速任務(wù)運(yùn)行。為了驗(yàn)證SMHC的有效性,針對(duì)Spark大數(shù)據(jù)處理任務(wù),本文提出一種通過異構(gòu)機(jī)器之間SMHC加速因子比較的任務(wù)調(diào)度策略,并在流行的分布式資源管理系統(tǒng)Mesos上得以實(shí)現(xiàn)。在異構(gòu)的集群環(huán)境中,基于SMHC的加速因子大小比較,調(diào)度器能夠?qū)⒋髷?shù)據(jù)處理任務(wù)優(yōu)先地調(diào)度到計(jì)算性能較好的機(jī)器上運(yùn)行。實(shí)驗(yàn)結(jié)果表明,與Mesos原有基于粗粒度資源度量單位的調(diào)度策略相比,基于SMHC的任務(wù)調(diào)度策略能更能有效利用異構(gòu)機(jī)器的計(jì)算能力,平均降低Spark任務(wù)運(yùn)行時(shí)間約16.7%。
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP308
【圖文】：

圖２．１調(diào)度模塊總體結(jié)構(gòu)圖逡逑Ｆｉｇｕｒｅ邋２．１邋Ａ邋ｇｅｎｅｒａｌ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ｓｃｈｅｄｕｌｉｎｇ逡逑如圖２．１所示，集群資源管理系統(tǒng)中一個(gè)任務(wù)的調(diào)度過程如下？？用戶通過任逡逑務(wù)提交入口提交所需要運(yùn)行的計(jì)算任務(wù)，并通過粗粒度的硬件度T岱絞轎渲稿義隙ㄋ璧募撲闋試�，例燃偯ＰＵ郝桚、脑煁z笮『陀才倘萘�。虓䦃哪葥腭被送到辶x希瑰義

本文編號(hào)：2779457