高性能計算（HPC,High Performance Computing）在天文地球物理、大氣海洋環(huán)境等眾多領(lǐng)域具有廣泛的應(yīng)用,而性能是高性能計算程序的關(guān)鍵。HPC程序通常包含一些可以調(diào)節(jié)的參數(shù),例如并行核數(shù)、算法選擇等,研究表明,經(jīng)過性能調(diào)優(yōu)的程序可以達(dá)到10甚至100倍的性能加速。然而HPC程序的參數(shù)和性能往往呈現(xiàn)出復(fù)雜的非線性函數(shù),因此性能調(diào)優(yōu)變得異常困難。經(jīng)驗性能建模（EPM,Empirical Performance Modeling）可以很好地擬合這種復(fù)雜的關(guān)系,實現(xiàn)高效的啟發(fā)式參數(shù)搜索。然而,經(jīng)驗性能建模需要大量的樣本作為訓(xùn)練數(shù)據(jù),再加上HPC程序通常占用大量的計算資源,并且運行時間較長,例如幾個小時甚至幾個月,這些因素導(dǎo)致了 EPM高昂的計算和時間開銷。為了減少建模開銷,已有工作提出了一種基于主動學(xué)習(xí)的建模方法PBUS（Performance Biased Uncertainty Sampling）,它首先采樣出可能的高性能樣本,然后采用主動學(xué)習(xí)算法選擇其中不確定性最高的樣本,進而減少數(shù)據(jù)冗余。相對于隨機均勻采樣,PBUS在一定程度上減少了所需的樣本數(shù)據(jù),但是本文的實驗... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁數(shù)】：74 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．２決策樹模型示意圖??決策樹具有眾多的優(yōu)點，比較關(guān)鍵的兩點包括：具有較好的可解釋性和對特??征友好

?第６章實驗驗證與分析???在字典結(jié)構(gòu)中。這樣，主動學(xué)習(xí)中的標(biāo)注步驟，即字典查詢操作來實現(xiàn)，相比于??主動學(xué)習(xí)的迭代過程，這個操作的開銷可以忽略不計。另一方面，這也保證了不??同的實驗輪次中的數(shù)據(jù)集能夠保持一致，避免了由于數(shù)據(jù)集波動（盡管已經(jīng)通過??自適應(yīng)標(biāo)注方法降到了很�。┮鸬挠绊�。??圖６．２展示了?１２個計算核的１００００個配置參數(shù)的性能分布。可以看出，（１）它??們的性能分布大致分為兩類：單峰分布和多峰分布。其中，只有ＡＤＩ、ＤＧＥＭＶ３、??ＦＤＴＤ這３個計算核呈單峰分布，其余則是明顯的多峰分布，典型的例子包括??ＧＥＭＶＥＲ、ＧＥＳＵＭＭＶ、ＴＥＮＳＯＲ，其中ＴＥＮＳＯＲ的兩個峰值甚至都沒有交集，??說明其某些參數(shù)對性能具有顯著的影響。（２）另外，從性能的浮動范圍來看，最??壞性能與最優(yōu)性能的差異非常顯著。以計算核ＢＩＣＧ為例，其最短執(zhí)行時間為??０．３＾而最長執(zhí)行時間達(dá)到了?性能相差整整十倍，并且高性能樣本只占很小??的比例，即大部分樣本的性能較差，恰好說明了盡量避免選擇差性能樣本的必要??性。（３）從性能分布的集中位置來看，有一半的程序集中在高性能區(qū)域，包括??ＡＴＡＸ、ＤＧＥＭＶ３、ＦＤＴＤ、ＧＥＭＶＥＲ、ＡＤＩ，其余程序則要么集中在差性能區(qū)??域，例如ＭＭ、ＴＥＮＳＯＲ等，要么不表現(xiàn)出明顯的趨勢。從以上分析可以看出，??不同程序的性能分布沒有規(guī)律可循，這給采樣方法帶來了巨大的挑戰(zhàn)。??ｋｒｉｐｋｅ?ｈｙｐｒｅ??１２００?－Ｉ???—???５００－??１０００－??４００?－??８００－??ｅｒ?５??§?６００－?Ｉ?３００＇?｜??？?Ｉ?Ｉ??Ｕ－?

／?３Ｓ０００－?／??Ｊ?３０－?４００００?■?３００００＇??〇?１００?２００?３００?４００?５００?０?１００?２００?３００?４００?５００?０?１００?２００?３００?４００?５００?０?１００?２００?３００?４００?５００??＃ｓａｍｐｌｅｓ?＃ｓａｍｐｌｅｓ?＃ｓａｍｐｌｅｓ?＃ｓａｍｐｌｅｓ??ＢＲＳ?－ｆ１－?ＭａｘＵ?－ｉ￣?ＢｅｓｔＰｅｒｆ?－ｆ－?ＰＢＵＳ?ＰＷＵ?ＢＲＳ?－ｆ－?ＭａｘＵ?ＢｅｓｔＰｅｒｆ?ＰＢＵＳ?ＰＷＵ??圖６．５兩個并行應(yīng)用的ＲＭＳＥ?圖６．６兩個并行應(yīng)用的ＣＣ??隨樣本數(shù)量的變化?隨樣本數(shù)量的變化???２１．８???２０．０－??Ｋｅｒｎｅｌｓ／Ａｐｐｌｉｃａｔｉｏｎｓ??圖６．７相比于ＰＢＵＳ，采用ＰＷＵ采樣策略進行建模的時間開銷加速比（３．３為加速比的幾??何平均值）??間開銷的變化上來看，在為并行應(yīng)用程序建模時，ＰＷＵ依然具有明顯的優(yōu)勢。??６．３．２不同目標(biāo)程序的建模結(jié)果??在對１２個計算核程序的經(jīng)驗建模過程中，本文提出了?ＰＷＵ采樣策略在其??中１１個計算核（除了?ＡＤＩ）上的表現(xiàn)都是最好，無論它們的性能分布多么復(fù)雜，??例如單峰或者多峰分布。它們的ＲＭＳＥ誤差曲線的趨勢大致相同，采用ＰＷＵ采??樣策略都是在學(xué)習(xí)到少量的樣本之后，ＲＭＳＥ誤差曲線迅速下降，并且率先收??斂，這說明ＰＷＵ采樣策略從巨大的參數(shù)空間中成功識別并選擇出了高價值的樣??本，鮮有信息冗余，也因此達(dá)到了如此高效的建模效率。另一方面，在不同采樣??方法的ＣＣ開銷方面，相比于ＰＢＵＳ方法，ＰＷＵ方法在其屮１２個樣本上都花費??了更少或者至少相當(dāng)?shù)?

【參考文獻】：
期刊論文
[1]高性能計算之源起——科學(xué)計算的應(yīng)用現(xiàn)狀及發(fā)展思考[J]. 金鐘,陸忠華,李會元,遲學(xué)斌,孫家昶.  中國科學(xué)院院刊. 2019(06)
[2]一種典型的高性能計算:地球系統(tǒng)模擬[J]. 王斌.  物理. 2009(08)
[3]海洋環(huán)流模式的發(fā)展和應(yīng)用 Ⅰ.全球海洋環(huán)流模式[J]. 張學(xué)洪,俞永強,劉海龍.  大氣科學(xué). 2003(04)

碩士論文
[1]基于歷史日志的作業(yè)運行時間預(yù)測[D]. 許倫凡.中國工程物理研究院 2019
[2]并行程序解析性能模型的自動生成技術(shù)研究[D]. 王學(xué)惠.哈爾濱工業(yè)大學(xué) 2014



本文編號：3410525