由于單個(gè)數(shù)據(jù)中心的資源有限,復(fù)雜的Spark工作流應(yīng)用需要在多個(gè)數(shù)據(jù)中心內(nèi)執(zhí)行。當(dāng)輸入數(shù)據(jù)太大而無法傳輸(不可移動(dòng)數(shù)據(jù))時(shí),依賴該數(shù)據(jù)的Task只能被分配在該數(shù)據(jù)所在的數(shù)據(jù)中心執(zhí)行,然而Spark并不能保證這一分配。另一方面,Spark提供的基于同構(gòu)的調(diào)度策略并不適合于異構(gòu)環(huán)境。本文研究異構(gòu)多數(shù)據(jù)中心下帶不可移動(dòng)數(shù)據(jù)的Spark任務(wù)調(diào)度問題,以優(yōu)化Spark工作流應(yīng)用的完工時(shí)間為目標(biāo),具有重要實(shí)際意義和應(yīng)用前景。該問題面臨的挑戰(zhàn)主要包括兩方面:(1)部分依賴不可移動(dòng)數(shù)據(jù)的任務(wù)只能被分配在特定的數(shù)據(jù)中心執(zhí)行,這類任務(wù)和其它任務(wù)在該數(shù)據(jù)中心的資源競爭將對(duì)完工時(shí)間造成不利影響;(2)Spark工作流應(yīng)用的可選Stage調(diào)度序列數(shù)量巨大,且異構(gòu)多數(shù)據(jù)中心環(huán)境下關(guān)鍵路徑無法獲得,很難找到合適的Stage調(diào)度序列來優(yōu)化完工時(shí)間。針對(duì)所考慮的問題,本文提出了一種基于規(guī)則的任務(wù)調(diào)度算法(STSID)。該算法分為時(shí)間參數(shù)估計(jì)和Stage分配兩個(gè)階段。時(shí)間參數(shù)估計(jì)階段提出了兩種Node速率估計(jì)方式,根據(jù)估計(jì)的Stage執(zhí)行時(shí)間求出Stage的各個(gè)時(shí)間參數(shù)。Stage分配階段分為Stage選擇、資源分配和添...

【文章頁數(shù)】：54 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖1.2RDD之間的依賴關(guān)系

用戶提交的作業(yè)(Job)可以描述成一組RDD的轉(zhuǎn)換操作,Spark調(diào)度器會(huì)根據(jù)RDD的“血統(tǒng)”(依賴關(guān)系)將整個(gè)作業(yè)根據(jù)寬依賴構(gòu)建成由若干調(diào)度階段(Stage)組成的有向無環(huán)圖(DAG),每個(gè)調(diào)度階段由一系列RDD之間的連續(xù)窄依賴構(gòu)成,一個(gè)Stage內(nèi)部各個(gè)RDD分區(qū)的連續(xù)窄依賴....

圖1.3Spark調(diào)度階段的劃分

圖1.2RDD之間的依賴關(guān)系1.1.2應(yīng)用場景

圖1.4單基因遺傳病預(yù)測工作流

為了減少最大完工時(shí)間,其中一個(gè)很常采用的方法就是提高數(shù)據(jù)本地化程度。在分布式計(jì)算中,數(shù)據(jù)通常分布在地理位置不同的數(shù)據(jù)中心,通過將任務(wù)分配在其輸入數(shù)據(jù)所在的數(shù)據(jù)中心,可以減少任務(wù)執(zhí)行所需輸入數(shù)據(jù)的傳輸時(shí)間,使任務(wù)提前完成,有利于縮短整個(gè)工作流的完工時(shí)間。Guo等[26]在MapRe....

圖2.1基于現(xiàn)有Spark架構(gòu)的改進(jìn)

針對(duì)本文給出的問題,在Spark框架的基礎(chǔ)上提出改進(jìn)的系統(tǒng)架構(gòu),如圖2.1所示。該系統(tǒng)架構(gòu)下,存在一個(gè)MasterNode用于任務(wù)調(diào)度,其他Node為WorkNode。其中Master節(jié)點(diǎn)用于調(diào)度的Driver模塊分為三層:第一層STSID(SparkTaskSchedu....

本文編號(hào)：3893708