發(fā)布時間：2024-03-29 18:52

　　Hadoop作為大規(guī)模分布式數(shù)據(jù)處理框架已經(jīng)在工業(yè)界得到廣泛的應(yīng)用,針對手動和經(jīng)驗調(diào)優(yōu)方法中參數(shù)空間龐大和運行流程復(fù)雜的問題,提出了一種Hadoop參數(shù)自動優(yōu)化的方法和分析框架。首先,對作業(yè)運行流程進(jìn)行解耦,從可變參數(shù)直接影響的更細(xì)粒度的角度定義微操作,從而分析參數(shù)和單次微操作執(zhí)行時間的關(guān)系;然后,利用微操作對作業(yè)運行流程進(jìn)行重構(gòu),建立參數(shù)和作業(yè)運行時間關(guān)系的模型;最后,在此模型上應(yīng)用各類搜索優(yōu)化算法高效快速得出優(yōu)化后的系統(tǒng)參數(shù)。在terasort和wordcount兩個作業(yè)類型上進(jìn)行了實驗,實驗結(jié)果表明,相對于默認(rèn)參數(shù)情況,該方法使作業(yè)執(zhí)行時間分別縮短了至少41%和30%。該方法能夠有效提高Hadoop作業(yè)執(zhí)行效率,縮短作業(yè)執(zhí)行時間。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖2terasort的sdmicop模型Fig．2sdmicopmodelofterasort第三個實驗是在和任務(wù)上對

本文編號：3941150