隨著大數據應用需求的發(fā)展,分布式計算也越來越流行,諸如Spark、Storm、Dryad等多個并行計算框架應運而生。與MapReduce不同,Spark計算過程中將數據存放在內存中,減少了頻繁的I/O讀寫,因此在處理迭代型作業(yè)時有更好的表現。作為類MapReduce的通用并行框架,Spark計算過程中也會包含Shuffle過程,該過程用于連接Map階段和Reduce階段。由于Shuffle過程會觸發(fā)大量的網絡和磁盤I/O,所以Shuffle過程直接影響到整個系統(tǒng)的計算效率。論文針對Spark Shuffle過程中存在的網絡擁塞問題、異構集群下“木桶效應”問題,進行優(yōu)化研究。具體完成了以下工作:1.為保持Stage的順序性,Shuffle過程需要節(jié)點之間進行任務同步操作,目前的同步機制不僅會浪費集群的計算資源,更會產生嚴重的網絡擁堵,最終降低集群計算性能。針對該問題,提出一種局部任務優(yōu)先Shuffle策略,動態(tài)生成ShuffleWrite任務,并對部分已完成的任務提前執(zhí)行Shuffle操作。該策略增加了數據計算與網絡傳輸的并行度,降低了Shuffle階段網絡傳輸的峰值,使集群在執(zhí)行作業(yè)過...

【文章頁數】：61 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
注釋表
第1章 緒論
    1.1 研究背景與意義
    1.2 研究現狀
    1.3 主要研究工作
    1.4 論文的組織架構
第2章 技術基礎
    2.1 Spark框架結構
    2.2 Spark運行模式
        2.2.1 Standalone模式
        2.2.2 YARN模式
    2.3 彈性分布式數據集
        2.3.1 基本屬性
        2.3.2 RDD的操作
    2.4 Shuffle過程
        2.4.1 ShuffleWrite
        2.4.2 ShuffleRead
    2.5 本章小結
第3章 局部任務優(yōu)先Shuffle策略
    3.1 相關工作
    3.2 問題分析
    3.3 Shuffle過程優(yōu)化
        3.3.1 執(zhí)行狀態(tài)預測模型
        3.3.2 局部任務優(yōu)先Shuffle策略
    3.4 實驗結果與分析
        3.4.1 實驗環(huán)境
        3.4.2 數據集
        3.4.3 實驗分析
    3.5 本章小結
第4章 異構集群Spark Shuffle的自適應分區(qū)策略
    4.1 相關工作
    4.2 問題分析
    4.3 節(jié)點計算性能評估模型
        4.3.1 計算效率模型
        4.3.2 目標函數
    4.4 自適應分區(qū)策略
        4.4.1 整體結構
        4.4.2 分區(qū)策略
        4.4.3 分區(qū)匹配算法
    4.5 實驗結果與分析
        4.5.1 實驗環(huán)境
        4.5.2 實驗分析
    4.6 本章小結
第5章 總結與展望
    5.1 總結
    5.2 未來工作
參考文獻
致謝
攻讀碩士學位期間從事的科研工作及取得的成果



本文編號：3741917