Spark的配置參數(shù)對(duì)作業(yè)運(yùn)行性能有較大影響,針對(duì)配置參數(shù)種類多、參數(shù)搜索空間大、參數(shù)間相互影響導(dǎo)致人工配置參數(shù)調(diào)優(yōu)效率低下的問(wèn)題,提出了一種Spark作業(yè)配置參數(shù)智能優(yōu)化方法。首先,在Spark眾多配置參數(shù)中選擇對(duì)作業(yè)運(yùn)行性能影響較大的關(guān)鍵配置參數(shù),建立典型Spark作業(yè)的運(yùn)行數(shù)據(jù)集,利用支持向量回歸算法,構(gòu)建作業(yè)性能預(yù)測(cè)模型,通過(guò)改變數(shù)據(jù)集的規(guī)模,對(duì)比分析了模型預(yù)測(cè)值和作業(yè)的真實(shí)運(yùn)行時(shí)間,模型評(píng)估指標(biāo)證明了作業(yè)性能預(yù)測(cè)模型的有效性和準(zhǔn)確性。其次,基于作業(yè)性能預(yù)測(cè)模型,設(shè)計(jì)并實(shí)現(xiàn)了基于爬山算法、模擬退火算法、遞歸隨機(jī)搜索算法以及粒子群算法的配置參數(shù)優(yōu)化算法,并對(duì)4種算法的求解質(zhì)量進(jìn)行對(duì)比分析,實(shí)驗(yàn)表明遞歸隨機(jī)搜索算法在3種不同類型的作業(yè)上收斂結(jié)果較優(yōu)且標(biāo)準(zhǔn)差較小,證明該算法對(duì)不同類型作業(yè)的適應(yīng)性較強(qiáng)、穩(wěn)定性較好。將本文的智能優(yōu)化配置與傳統(tǒng)經(jīng)驗(yàn)優(yōu)化配置相比,實(shí)驗(yàn)結(jié)果表明,智能優(yōu)化配置為典型Spark作業(yè)分別帶來(lái)了4%、15%、22%的平均性能提升,證明智能優(yōu)化配置能夠高效地獲取到具備較好作業(yè)適應(yīng)性的配置,提升作業(yè)運(yùn)行性能。 

【文章來(lái)源】：工程科學(xué)與技術(shù). 2020,52(01)北大核心EICSCD

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

配置參數(shù)智能優(yōu)化方法

式中，C j,ori為該配置參數(shù)的原始值，Cj,max為該配置參數(shù)所有取值中的最大值，Cj,min為該配置參數(shù)所有取值中的最小值。歸一化可以保證每個(gè)配置參數(shù)的值都縮放到相同的數(shù)值范圍，確保數(shù)據(jù)處于同一數(shù)量級(jí)，提高不同特征數(shù)據(jù)的可比性。2.4 作業(yè)性能預(yù)測(cè)模型建立與評(píng)估

分別在集群上運(yùn)行Sort、WordCount、K-Means這3類作業(yè)，采集運(yùn)行時(shí)間的平均值，與模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，如圖3所示。從圖3中可以看出，模型預(yù)測(cè)結(jié)果和實(shí)際運(yùn)行時(shí)間存在一定誤差，但是從整體趨勢(shì)上看，兩者較為貼合。實(shí)驗(yàn)結(jié)果說(shuō)明了Spark作業(yè)性能預(yù)測(cè)模型的有效性。

【參考文獻(xiàn)】：
期刊論文
[1]Spark性能優(yōu)化技術(shù)研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰.  計(jì)算機(jī)科學(xué). 2018(07)
[2]基于運(yùn)行數(shù)據(jù)分析的Spark任務(wù)參數(shù)優(yōu)化[J]. 陳僑安,李峰,曹越,龍明盛.  計(jì)算機(jī)工程與科學(xué). 2016(01)
[3]基于灰盒模型的Hadoop MapReduce job參數(shù)性能分析與預(yù)測(cè)[J]. 周世龍,陳興蜀,羅永剛.  四川大學(xué)學(xué)報(bào)(工程科學(xué)版). 2014(S1)

碩士論文
[1]Spark Shuffle的內(nèi)存調(diào)度算法分析及優(yōu)化[D]. 陳英芝.浙江大學(xué) 2016



本文編號(hào)：3260089