發(fā)布時間：2024-03-31 22:03

　　Spark作為基于DAG的分布式計算框架廣泛應用于電商、物聯(lián)網(wǎng)、數(shù)據(jù)分析等復雜大數(shù)據(jù)處理,其中Task調(diào)度是影響大數(shù)據(jù)分析性能的關鍵因素。隨著應用程序的擴大和數(shù)據(jù)量快速增長,依靠單個數(shù)據(jù)中心無法滿足海量數(shù)據(jù)的存儲和處理。此外,數(shù)據(jù)中心內(nèi)部隨著高性能機器的引入,原有的數(shù)據(jù)中心已經(jīng)變成由異構節(jié)點組成。因此,研究異構Spark集群下的Task調(diào)度具有現(xiàn)實意義。本文考慮基于異構Spark集群下的Task調(diào)度問題,以最小化最大完工時間為優(yōu)化目標。首先提出改進后的系統(tǒng)架構,然后,針對具有DAG偏序關系Job和Stage以及同一Stage中并行Task之間的問題特點和特征建立數(shù)學模型,并且以最小化最大完工時間為優(yōu)化目標。最后提出基于異構Spark集群下的Task調(diào)度算法(STSA),該算法主要由以下四個部分組成:臨時參數(shù)估計、Job序列動態(tài)調(diào)整、Stage調(diào)度、Task調(diào)度。在評估參數(shù)過程中通過前向遞歸計算和后向遞歸計算評估Job和Stage的相關臨時參數(shù)。根據(jù)臨時參數(shù),提出兩種Job排序規(guī)則,并基于三種Job排序規(guī)則來動態(tài)調(diào)整Job的序列。在Stage調(diào)度過程中提出了兩種Stage權重設置規(guī)則,并...

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
第2章 應用場景及研究現(xiàn)狀
    2.1 Spark原理
    2.2 應用場景
    2.3 研究現(xiàn)狀
    2.4 研究動機與內(nèi)容
    2.5 論文組織結(jié)構
第3章 基于異構Spark集群下的Task調(diào)度問題
    3.1 系統(tǒng)架構
    3.2 問題假設
    3.3 問題描述
    3.4 基于異構Spark集群下的Task調(diào)度問題數(shù)學模型
    3.5 本章小結(jié)
第4章 基于異構Spark集群下的Task調(diào)度算法
    4.1 基于異構Spark集群下的Task調(diào)度算法總體框架
    4.2 臨時參數(shù)估計
    4.3 動態(tài)調(diào)節(jié)Job序列
    4.4 基于DAG的Stage調(diào)度
    4.5 基于最早完工時間的Task調(diào)度
    4.6 調(diào)度序列調(diào)整方法
    4.7 本章小結(jié)
第5章 實驗結(jié)果及分析比較
    5.1 實驗環(huán)境
        5.1.1 仿真平臺
        5.1.2 工作流的實例生成
    5.2 評價指標
        5.2.1 相對誤差百分比
        5.2.2 負載均衡度
    5.3 參數(shù)測定
    5.4 方法比較與分析
    5.5 本章小結(jié)
第6章 結(jié)論與展望
    6.1 論文主要工作
    6.2 未來展望
致謝
參考文獻
讀碩士學位期間發(fā)表的學術論文



本文編號：3944553