近年來(lái)各領(lǐng)域?qū)Ω咝阅苡?jì)算的需求與日俱增,服務(wù)商為了迎合計(jì)算需求通常需要在硬件資源上投入大量資金,而大部分平臺(tái)的資源利用率卻并不高,故集群資源的有效利用成為一個(gè)亟待解決的問(wèn)題。眾所周知,調(diào)度策略是聯(lián)系上層作業(yè)和底層硬件資源的中樞,其對(duì)資源利用以及用戶體驗(yàn)影響顯著。而目前國(guó)內(nèi)大部分高性能計(jì)算集群通常采用先來(lái)先服務(wù)等傳統(tǒng)的作業(yè)調(diào)度方法,因?yàn)榇祟愓{(diào)度方法實(shí)現(xiàn)簡(jiǎn)單、實(shí)用性很強(qiáng)。然而,為了保證公平性原則,當(dāng)需要調(diào)度一個(gè)資源需求較大而現(xiàn)有空閑資源不能滿足的大作業(yè)時(shí),往往需要為其預(yù)留資源,這就容易產(chǎn)生大量閑置的資源碎片。針對(duì)上述問(wèn)題,一種比較普遍的策略是使用回填,它優(yōu)化了資源碎片的利用,但好的回填依賴于對(duì)作業(yè)執(zhí)行時(shí)間的預(yù)知,而由于作業(yè)預(yù)估執(zhí)行時(shí)間的缺失使得回填調(diào)度很難在生產(chǎn)系統(tǒng)中運(yùn)用,故對(duì)作業(yè)執(zhí)行時(shí)間的預(yù)測(cè)也是亟待解決的問(wèn)題。鑒于vasp是國(guó)內(nèi)應(yīng)用最普及的高性能計(jì)算應(yīng)用軟件之一,在我校TC4600平臺(tái)上,其作業(yè)數(shù)占比約43%,機(jī)時(shí)占比約50%,故對(duì)vasp作業(yè)時(shí)長(zhǎng)進(jìn)行預(yù)測(cè)具有重要意義。本文分析了 vasp作業(yè)特性,通過(guò)解析日志及輸入文件來(lái)抽取相應(yīng)的作業(yè)特征集,基于這些特征集提出一種基于stacking...

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖１．３?ＴＣ４６００集群各應(yīng)用機(jī)時(shí)占比分布??

?—Ｅｌ?ｆ?１１??圖１．２回填優(yōu)化思想示意圖??然而，由于高性能計(jì)算集群中作業(yè)種類繁多以及作業(yè)之間的內(nèi)部差異甚大，??對(duì)所有類型的作業(yè)進(jìn)行時(shí)長(zhǎng)預(yù)測(cè)工作量巨大甚至是不現(xiàn)實(shí)的，而鑒于ｖａｓｐ是國(guó)??內(nèi)應(yīng)用最為普及的高性能計(jì)算軟件之一，所以對(duì)于ｖａｓｐ作業(yè)時(shí)長(zhǎng)的預(yù)測(cè)問(wèn)題非??常值得....

圖１．２回填優(yōu)化思想示意圖??

常值得被關(guān)注。本文的所有工作都是基于中科大超算中心的“曙光ＴＣ４６００百萬(wàn)??億次超級(jí)計(jì)算機(jī)系統(tǒng)”（以下簡(jiǎn)稱”?ＴＣ４６００集群“）上的作業(yè)數(shù)據(jù)，ＴＣ４６００集群??上各種應(yīng)用的機(jī)時(shí)分布信息如圖１．３所示，ｖａｓｐ作業(yè)機(jī)時(shí)占比將近５０％，據(jù)統(tǒng)計(jì)，??ｖａｓｐ作業(yè)數(shù)占比也接近４０％....

圖２．１?Ｅａｓｙ?Ｂａｃｋｆｉｌｌｉｎｇ策略的不良影響??１］??

第２章相關(guān)研究與技術(shù)??（ａ）對(duì)當(dāng)前的資源時(shí)空?qǐng)D進(jìn)行遍歷，找到滿足該作業(yè)ＣＰＵ核數(shù)需求的第??一個(gè)時(shí)間點(diǎn)，該時(shí)間點(diǎn)即為該作業(yè)對(duì)應(yīng)的插入點(diǎn)。??（ｂ）從該作業(yè)對(duì)應(yīng)的插入點(diǎn)開(kāi)始，遍歷資源時(shí)空分布圖，檢查集群剩余??ＣＰＵ核在該作業(yè)執(zhí)行完畢前的這段時(shí)間內(nèi)是否一直可以滿足該作業(yè)??的執(zhí)行....

圖３．１?用戶??

業(yè)時(shí)長(zhǎng)預(yù)測(cè)問(wèn)題建模??平臺(tái)作業(yè)時(shí)長(zhǎng)預(yù)測(cè)問(wèn)題有一個(gè)全相關(guān)角色和對(duì)象進(jìn)行建模和分析，來(lái)分析對(duì)作業(yè)執(zhí)行時(shí)間有影響的因的最終目的以及使用場(chǎng)景，明確的用戶可以租用集群的計(jì)算資源，使用權(quán)。用戶可以提交任務(wù)，產(chǎn)生ｒｏｕｐＩＤ、ｎａｍｅ，支持提交作業(yè)、刪

本文編號(hào)：3939577