MapReduce是目前最流行的云計算框架,其調(diào)度優(yōu)化問題一直是云計算領(lǐng)域的重要研究問題。MapReduce調(diào)度優(yōu)化的主要目標是,提高MapReduce作業(yè)的運行效率。針對這一目標,本文研究了面向MapReduce的數(shù)據(jù)分配、Map任務(wù)調(diào)度、非精確應(yīng)用加速和串行程序的并行執(zhí)行等四個問題。MapReduce原模型中,數(shù)據(jù)分配只考慮Map任務(wù)的負載均衡和數(shù)據(jù)本地化需求。然而,數(shù)據(jù)分配既會影響Map任務(wù)的運行效率,也會影響Shuffle的數(shù)據(jù)傳輸時間。針對Map任務(wù)運行和Shuffle數(shù)據(jù)傳輸?shù)母咝詥栴},本文提出了一種面向MapReduce計算過程的最優(yōu)數(shù)據(jù)分配方法OPTAS,以獲得最短的Map+Shuffle的運行時間。其基本思路是:(1)利用作業(yè)數(shù)據(jù)分配方案(Data Placement Instance,DPI)的Map時間值的離散化特征,將所有數(shù)據(jù)分配方案劃分成若干個DPI子空間,通過比較子空間最優(yōu)DPI來獲得最優(yōu)數(shù)據(jù)分配方案,提高搜索效率;(2)基于子空間的Map時間值,確定子空間最優(yōu)DPI的Shuffle時間下界,以快速構(gòu)造子空間最優(yōu)數(shù)據(jù)分配方案;(3)按照Map時間值的大小順序...

【文章頁數(shù)】：125 頁

【學位級別】：博士

【部分圖文】：

圖1.2MapReduce作業(yè)流程

圖1.2MapReduce作業(yè)流程.2MapReduce任務(wù)調(diào)度方法

圖2.5Map-Reduce-Merge模型

圖2.5Map-Reduce-Merge模型educe能夠?qū)ν瑯?gòu)數(shù)據(jù)源進行高效處理。但是，存在很多需要

圖2.6Haloop體系結(jié)構(gòu)

圖2.6Haloop體系結(jié)構(gòu)

圖2.7HadoopDB體系結(jié)構(gòu)圖

圖2.7HadoopDB體系結(jié)構(gòu)圖

本文編號：4022515