隨著云計(jì)算的發(fā)展以及大數(shù)據(jù)時(shí)代的到來,企業(yè)對(duì)大數(shù)據(jù)業(yè)務(wù)的需求日益增長(zhǎng),大數(shù)據(jù)分析所需要的計(jì)算速度、存儲(chǔ)容量,使得云計(jì)算與大數(shù)據(jù)的結(jié)合日益緊密。同時(shí),云計(jì)算彈性伸縮的特點(diǎn)可以很好得解決高性能計(jì)算領(lǐng)域的峰值問題,高性能計(jì)算與云計(jì)算的結(jié)合也越來越受到業(yè)界的矚目與追捧。工業(yè)云時(shí)代的興起是必然的,個(gè)人計(jì)算機(jī)、工作站全面云化,以及高性能計(jì)算云化發(fā)展是大勢(shì)所趨,計(jì)算型任務(wù)逐漸在云數(shù)據(jù)中心占據(jù)越來越重要的地位。時(shí)至今日,數(shù)據(jù)中心的資源利用率低仍然是一個(gè)亟待解決的問題,即使是Google這樣的頂級(jí)公司,其數(shù)據(jù)中心的資源利用率低于50%。其主要原因是用戶過高估計(jì)任務(wù)的資源需求,而服務(wù)提供商需要保證服務(wù)質(zhì)量,導(dǎo)致大量計(jì)算資源空閑。同時(shí),在科學(xué)計(jì)算任務(wù)中,存在一些已經(jīng)死循環(huán)的任務(wù),它們的計(jì)算結(jié)果對(duì)用戶來說已經(jīng)價(jià)值不大,但是仍占用了計(jì)算資源。為了提高數(shù)據(jù)中心的資源利用率以及用戶體驗(yàn),本文針對(duì)計(jì)算型任務(wù)設(shè)計(jì)了一種自適應(yīng)的動(dòng)態(tài)資源需求預(yù)測(cè)算法。通過預(yù)測(cè)值輔助云資源管理器動(dòng)態(tài)伸縮資源,提高資源利用率。文中利用Google數(shù)據(jù)中心的監(jiān)控?cái)?shù)據(jù),驗(yàn)證了算法在生產(chǎn)平臺(tái)的準(zhǔn)確率以及自適應(yīng)能力。同時(shí),本文還針對(duì)HPC中的迭代計(jì)算型任務(wù)VASP設(shè)計(jì)了一種兩階段的模型進(jìn)行收斂性判定。其目的是判斷用戶提交任務(wù)的收斂性,從而提前結(jié)束非收斂的長(zhǎng)任務(wù),提高資源利用率和用戶體驗(yàn)。利用中科大超算中心VASP任務(wù)的監(jiān)控?cái)?shù)據(jù),本文驗(yàn)證了算法的有效性。
【學(xué)位單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP308;TP311.13
【部分圖文】：

??資源利用率卻不盡人意。圖１．１？展示了?２００６年Ｇｏｏｇｌｅ數(shù)據(jù)中心５０００臺(tái)服務(wù)器??的平均ＣＰＵ資源利用率分布情況。可以看到資源利用率小于０．０５％甚至是空閑??的機(jī)器占了一部分，整個(gè)數(shù)據(jù)中心的平均ＣＰＵ利用率在３０％左右。ＣＰＵ利用率??在７５％以上的只有０．１％左右。經(jīng)過七年的發(fā)展，Ｇｏｏｇｌｅ數(shù)據(jù)中心ＣＰＵ利用率??ＯＯＱ－Ｊ??Ａ?ｍ??｜〇〇．ｓｍ??丨，■＇．＇■Ｉｋ??�！狐I＾??０?０１?０．３?ＯＡ?０５?０６?０．７?Ｑ．Ｓ?０；?１．０??ＣＰＵ利用率??圖１．１?２００６年Ｇｏｏｇｋ數(shù)據(jù)中心５０００臺(tái)服務(wù)器的ＣＰＵ利用率??有了一些變化。圖１．２？展示了?２０１３年１至３月份Ｇｏｏｇｌｅ數(shù)據(jù)中心２萬臺(tái)服務(wù)器??的ＣＰＵ資源利用率。相較于２００６年，可以看到空閑服務(wù)器以及資源利用率低于??０．０５％的機(jī)器占比基本上趨于零。ＣＰＵ利用率平均值依然維持在３０％，并沒有??明顯的提高。ＣＰＵ利用率在７５％以上的只有０．１％左右。??０．０３－１?＊??嫌Ｓ?？?｜?｜??０．０２－?！?Ｉ??Ｉ?Ｖ??Ｉ＂，?／??〇〇１?？?ｒ?＼??０?００６＊?／ｕ?ｖ??０?０．？?０，２?０３?０４?０．５?０．８?０

??資源利用率卻不盡人意。圖１．１？展示了?２００６年Ｇｏｏｇｌｅ數(shù)據(jù)中心５０００臺(tái)服務(wù)器??的平均ＣＰＵ資源利用率分布情況�？梢钥吹劫Y源利用率小于０．０５％甚至是空閑??的機(jī)器占了一部分，整個(gè)數(shù)據(jù)中心的平均ＣＰＵ利用率在３０％左右。ＣＰＵ利用率??在７５％以上的只有０．１％左右。經(jīng)過七年的發(fā)展，Ｇｏｏｇｌｅ數(shù)據(jù)中心ＣＰＵ利用率??ＯＯＱ－Ｊ??Ａ?ｍ??｜〇〇．ｓｍ??丨，■＇．＇■Ｉｋ??�！狐I＾??０?０１?０．３?ＯＡ?０５?０６?０．７?Ｑ．Ｓ?０；?１．０??ＣＰＵ利用率??圖１．１?２００６年Ｇｏｏｇｋ數(shù)據(jù)中心５０００臺(tái)服務(wù)器的ＣＰＵ利用率??有了一些變化。圖１．２？展示了?２０１３年１至３月份Ｇｏｏｇｌｅ數(shù)據(jù)中心２萬臺(tái)服務(wù)器??的ＣＰＵ資源利用率。相較于２００６年，可以看到空閑服務(wù)器以及資源利用率低于??０．０５％的機(jī)器占比基本上趨于零。ＣＰＵ利用率平均值依然維持在３０％，并沒有??明顯的提高。ＣＰＵ利用率在７５％以上的只有０．１％左右。??０．０３－１?＊??嫌Ｓ?？?｜?｜??０．０２－?！?Ｉ??Ｉ?Ｖ??Ｉ＂，?／??〇〇１?？?ｒ?＼??０?００６＊?／ｕ?ｖ??０?０．？?０，２?０３?０４?０．５?０．８?０

導(dǎo)致資源利用率低的原因主要是為了保證用戶的服務(wù)質(zhì)量ＱｏＳ需求，由??于事先并不知道會(huì)有多少計(jì)算資源，用戶將申請(qǐng)額外的資源以應(yīng)對(duì)突發(fā)請(qǐng)求。??圖１．３？展示了?Ｔｗｉｔｔｅｒ上一個(gè)生產(chǎn)集群３０天的資源利用率（（ＣＰＵ和內(nèi)存）。其中??虛線表示用戶申請(qǐng)的資源量，實(shí)線表示任務(wù)實(shí)際使用的資源量�？梢钥吹剑茫校�??上大約有６０％處于空閑狀態(tài)，內(nèi)存也有５０％左右處于空閑狀態(tài)。由于用戶對(duì)自??己任務(wù)的資源需求量無法準(zhǔn)確把握，趨向于申請(qǐng)過多的資源，導(dǎo)致大量計(jì)算資源??被浪費(fèi)。??１〇〇?｜??使用量?申請(qǐng)置?｜?１〇〇?｜??使用置?申請(qǐng)量?＾１??８０?８０??壽：：—：???°?：。Ｅ?：。??０?１００?２００?３００?４００?５００?６００?０?１００?２００?３００?４００?５００?６００??時(shí)間（小時(shí)）?時(shí)間（小時(shí)）??圖丨．３?Ｔｗｉｔｔｅｒ數(shù)據(jù)中心資源使用狀況??同時(shí)，Ｋａｐｏｏｒ等人ｔ１５］對(duì)ＣＰＵ利用率和響應(yīng)時(shí)間的分析如圖Ｉ．４？所示。其??中左圖是ＣＰＵ利用率３０％的情況，右圖是ＣＰＵ利用率７０％的情況。結(jié)果表明??ＣＰＵ利用率從３０％提高到７０％，響應(yīng)時(shí)間尾延遲將增加１０倍。當(dāng)前數(shù)據(jù)中心??無法同時(shí)保障用戶體驗(yàn)和高資源利用率，二者只能選其一。對(duì)于云服務(wù)提供商來??說
【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳國(guó)良;毛睿;蔡曄;;高性能計(jì)算及其相關(guān)新興技術(shù)[J];深圳大學(xué)學(xué)報(bào)(理工版);2015年01期

2 TONG Jun-jie;E Hai-hong;SONG Mei-na;SONG Jun-de;;Host load prediction in cloud based on classification methods[J];The Journal of China Universities of Posts and Telecommunications;2014年04期

本文編號(hào)：2838915