隨著大數(shù)據(jù)技術(shù)的發(fā)展,各種大數(shù)據(jù)處理框架不斷出現(xiàn)。Spark是目前最主流的一種大數(shù)據(jù)處理計(jì)算框架。Spark支持內(nèi)存計(jì)算,提供交互式計(jì)算和查詢,支持豐富的數(shù)據(jù)操作,并提供數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí),流計(jì)算等服務(wù)。計(jì)算機(jī)集群的異構(gòu)性是指集群中的計(jì)算機(jī)具有不同的硬件配置,從而使得這些計(jì)算機(jī)在Spark作業(yè)中的表現(xiàn)存在差異。云計(jì)算的發(fā)展和數(shù)據(jù)中心的使用使得集群更容易變得異構(gòu),機(jī)器學(xué)習(xí)的興起使得集群可能存在混合CPU和GPU架構(gòu)的計(jì)算機(jī),從而使得集群變得異構(gòu)。集群負(fù)載均衡是將作業(yè)或者任務(wù)分?jǐn)偟蕉鄠�(gè)計(jì)算單元進(jìn)行執(zhí)行,增加吞吐量,提高數(shù)據(jù)處理能力和可用性。為了進(jìn)行資源隔離和資源復(fù)用,軟件架構(gòu)的運(yùn)行時(shí)環(huán)境越來越復(fù)雜,Spark可能運(yùn)行在復(fù)雜多變的負(fù)載環(huán)境下。通過分析Spark的源代碼,發(fā)現(xiàn)兩點(diǎn)問題:Spark的基于同構(gòu)處理器核心數(shù)量的資源分配策略無法適應(yīng)異構(gòu)的集群環(huán)境;Spark的任務(wù)調(diào)度缺少基于負(fù)載的任務(wù)調(diào)度策略。為了對(duì)上述兩點(diǎn)進(jìn)行優(yōu)化,本文提出一種基于異構(gòu)Spark集群的分區(qū)動(dòng)態(tài)負(fù)載調(diào)度算法。該算法由兩部分組成,分別是基于區(qū)域的作業(yè)調(diào)度和根據(jù)動(dòng)態(tài)負(fù)載的任務(wù)調(diào)度。基于區(qū)域的作業(yè)調(diào)度包括根據(jù)異構(gòu)性將集群劃分... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：86 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究工作的背景與意義
    1.2 本文的主要貢獻(xiàn)與創(chuàng)新
    1.3 本論文的結(jié)構(gòu)安排
第二章 相關(guān)技術(shù)與原理
    2.1 Spark基本概念
        2.1.1 Spark介紹
        2.1.2 彈性分布式數(shù)據(jù)集
        2.1.3 鍵值對(duì)操作
        2.1.4 數(shù)據(jù)分區(qū)
        2.1.5 RDD依賴關(guān)系
        2.1.6 惰性求值
        2.1.7 Spark調(diào)度策略
        2.1.8 集群管理器
        2.1.9 文件系統(tǒng)
    2.2 Spark調(diào)度模型分析
        2.2.1 Spark資源分配
        2.2.2 劃分Stage過程
        2.2.3 Task調(diào)度過程
        2.2.4 數(shù)據(jù)本地性
    2.3 Spark通信模型分析
        2.3.1 啟動(dòng)時(shí)通信
        2.3.2 運(yùn)行時(shí)通信
    2.4 異構(gòu)集群
    2.5 負(fù)載均衡
    2.6 本章小結(jié)
第三章 Spark調(diào)度算法優(yōu)化研究
    3.1 Spark調(diào)度問題分析
        3.1.1 基于同構(gòu)集群的CPU資源分配
        3.1.2 忽略負(fù)載的任務(wù)調(diào)度
    3.2 分區(qū)動(dòng)態(tài)負(fù)載調(diào)度算法
        3.2.1 整體流程
        3.2.2 調(diào)度中心組件
        3.2.3 通信模型分析
    3.3 基于區(qū)域的作業(yè)調(diào)度
        3.3.1 區(qū)域定義
        3.3.2 區(qū)域劃分策略
        3.3.3 基于區(qū)域的資源分配策略
    3.4 負(fù)載均衡的任務(wù)調(diào)度
        3.4.1 Spark負(fù)載定義
        3.4.2 負(fù)載更新規(guī)則
        3.4.3 負(fù)載均衡任務(wù)調(diào)度
    3.5 本章小結(jié)
第四章 實(shí)驗(yàn)與分析
    4.1 實(shí)驗(yàn)環(huán)境和配置
        4.1.1 硬件配置
        4.1.2 軟件環(huán)境
        4.1.3 測(cè)試程序
        4.1.4 影響因素
    4.2 實(shí)驗(yàn) 1：集群異構(gòu)性和區(qū)域劃分實(shí)驗(yàn)
        4.2.1 實(shí)驗(yàn)設(shè)計(jì)
        4.2.2 實(shí)驗(yàn)結(jié)果分析
    4.3 實(shí)驗(yàn) 2：區(qū)域調(diào)度實(shí)驗(yàn)
        4.3.1 實(shí)驗(yàn)設(shè)計(jì)
        4.3.2 實(shí)驗(yàn)結(jié)果分析
    4.4 實(shí)驗(yàn) 3：負(fù)載均衡調(diào)度實(shí)驗(yàn)
        4.4.1 實(shí)驗(yàn) 3-1 設(shè)計(jì)
        4.4.2 實(shí)驗(yàn) 3-1 結(jié)果分析
        4.4.3 實(shí)驗(yàn) 3-2 設(shè)計(jì)
        4.4.4 實(shí)驗(yàn) 3-2 結(jié)果分析
    4.5 實(shí)驗(yàn) 4：基于異構(gòu)集群的分區(qū)動(dòng)態(tài)負(fù)載調(diào)度實(shí)驗(yàn)
        4.5.1 實(shí)驗(yàn)設(shè)計(jì)
        4.5.2 實(shí)驗(yàn)結(jié)果分析
    4.6 本章小結(jié)
第五章 總結(jié)與展望
    5.1 論文總結(jié)
    5.2 改進(jìn)方向
致謝
參考文獻(xiàn)


【參考文獻(xiàn)】：
期刊論文
[1]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅(jiān),周樂樂.  計(jì)算機(jī)工程. 2016(01)



本文編號(hào)：3032865