Hadoop作為大規(guī)模分布式數(shù)據(jù)處理框架已經(jīng)在工業(yè)界得到廣泛的應(yīng)用,針對(duì)手動(dòng)和經(jīng)驗(yàn)調(diào)優(yōu)方法中參數(shù)空間龐大和運(yùn)行流程復(fù)雜的問題,提出了一種Hadoop參數(shù)自動(dòng)優(yōu)化的方法和分析框架。首先,對(duì)作業(yè)運(yùn)行流程進(jìn)行解耦,從可變參數(shù)直接影響的更細(xì)粒度的角度定義微操作,從而分析參數(shù)和單次微操作執(zhí)行時(shí)間的關(guān)系;然后,利用微操作對(duì)作業(yè)運(yùn)行流程進(jìn)行重構(gòu),建立參數(shù)和作業(yè)運(yùn)行時(shí)間關(guān)系的模型;最后,在此模型上應(yīng)用各類搜索優(yōu)化算法高效快速得出優(yōu)化后的系統(tǒng)參數(shù)。在terasort和wordcount兩個(gè)作業(yè)類型上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,相對(duì)于默認(rèn)參數(shù)情況,該方法使作業(yè)執(zhí)行時(shí)間分別縮短了至少41%和30%。該方法能夠有效提高Hadoop作業(yè)執(zhí)行效率,縮短作業(yè)執(zhí)行時(shí)間。

【文章頁(yè)數(shù)】：6 頁(yè)

【部分圖文】：

圖2terasort的sdmicop模型Fig．2sdmicopmodelofterasort第三個(gè)實(shí)驗(yàn)是在和任務(wù)上對(duì)

本文編號(hào)：3941150