數(shù)據(jù)中心的出現(xiàn),使得大數(shù)據(jù)分析任務(wù)被分散到不同的計(jì)算節(jié)點(diǎn)。隨著GPU計(jì)算的廣泛應(yīng)用,如何為不同的計(jì)算框架合理分配異構(gòu)計(jì)算資源是目前的研究熱點(diǎn)。研究了傳統(tǒng)大數(shù)據(jù)計(jì)算框架和GPU計(jì)算的特點(diǎn),針對(duì)現(xiàn)有的集群資源管理和GPU管理模式,提出了一種集中式異構(gòu)資源管理模型,計(jì)算節(jié)點(diǎn)負(fù)責(zé)本地資源管理和任務(wù)的執(zhí)行和管理,資源管理中心統(tǒng)一管理各個(gè)計(jì)算框架。對(duì)于不同的計(jì)算框架,根據(jù)其使用CPU以及GPU資源的不同,設(shè)計(jì)并實(shí)現(xiàn)了一種混合主資源共享分配算法,通過(guò)計(jì)算不同框架對(duì)主資源的使用,優(yōu)先從可用資源中為主資源使用率最小的框架分配資源,實(shí)現(xiàn)主資源在各個(gè)框架的公平共享,防止CPU任務(wù)過(guò)多而導(dǎo)致GPU資源"饑餓",或者反過(guò)來(lái)導(dǎo)致CPU資源"饑餓"的現(xiàn)象發(fā)生。通過(guò)實(shí)驗(yàn)驗(yàn)證,該分配算法在異構(gòu)資源使用效率以及任務(wù)完成數(shù)量方面能提高15%左右。 

【文章來(lái)源】：西北工業(yè)大學(xué)學(xué)報(bào). 2020,38(03)北大核心EICSCD

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

異構(gòu)集群資源管理模型

圖2a)是JOB1中的任務(wù)隨著時(shí)間變化而分配得到的CPU和內(nèi)存資源曲線,圖2b)是JOB2中的任務(wù)隨著時(shí)間變化而分配得到的CPU、內(nèi)存和GPU顯存資源曲線,圖2c)是JOB1和JOB2隨著時(shí)間變化而分配得到的主資源曲線。在前1 min,JOB1的主資源是CPU,JOB2的主資源為GPU內(nèi)存,在后續(xù)的時(shí)間里面,每個(gè)作業(yè)都能夠使用60%左右自己的主資源,高于平均分配資源給不同的作業(yè)的方式。所以,從測(cè)試的數(shù)據(jù)看,使用混合主資源分配方法,可以很好地利用CPU資源和GPU資源。3.2 任務(wù)執(zhí)行數(shù)量的評(píng)價(jià)

針對(duì)實(shí)驗(yàn)中的任務(wù),計(jì)算框架分別按照粗粒度和細(xì)粒度方式分配GPU計(jì)算資源,實(shí)驗(yàn)中1個(gè)計(jì)算框架完成后,繼續(xù)提交相同類型的任務(wù),實(shí)驗(yàn)持續(xù)時(shí)間75 min。實(shí)驗(yàn)中的計(jì)算框架與任務(wù)與3.2中的相同,實(shí)驗(yàn)結(jié)束后,圖3給出了粗細(xì)粒度資源調(diào)度下GPU資源使用率曲線。從圖3可以看出,當(dāng)任務(wù)獨(dú)占GPU時(shí),GPU利用率大約只有30%左右;當(dāng)根據(jù)GPU顯存大小來(lái)進(jìn)行細(xì)粒度GPU分配時(shí),由于同一個(gè)GPU上存在多個(gè)任務(wù)對(duì)GPU的共享,數(shù)據(jù)從主機(jī)內(nèi)存拷貝到顯存以及從顯存拷貝到主機(jī)內(nèi)存是并行運(yùn)行,間接提高了GPU中kernel函數(shù)的執(zhí)行效率,GPU使用率平均達(dá)到45%左右。因此,使用GPU資源的細(xì)粒度共享,可以提高GPU資源利用率。


本文編號(hào)：3267529