本文關鍵詞：Spark數(shù)據(jù)處理平臺中資源動態(tài)分配技術研究

  更多相關文章： 大數(shù)據(jù) Spark 資源動態(tài)分配 蟻群算法 分布式內存計算

【摘要】：Spark海量數(shù)據(jù)處理平臺是大數(shù)據(jù)處理領域的最新技術進展,該平臺提出新的數(shù)據(jù)表達模型RDD,引入內存計算引擎與數(shù)據(jù)復用技術,通過基于內存的RDD數(shù)據(jù)存儲與處理,提升海量數(shù)據(jù)處理應用的執(zhí)行效率。既有Spark平臺采用粗粒度資源動態(tài)分配技術,僅針對CPU資源進行資源動態(tài)分配,且缺乏任務容器級的資源調整方法,無法在任務資源需求非對稱性場景下進行精細化資源動態(tài)分配。針對上述問題,本文提出面向Spark平臺的CPU與內存資源協(xié)同動態(tài)分配技術。該技術的核心思想是以任務執(zhí)行器為粒度,根據(jù)任務執(zhí)行器中任務的CPU及內存資源的使用特征,動態(tài)調整任務執(zhí)行器的CPU和內存資源分配量,并通過多任務執(zhí)行器間資源的組合優(yōu)化調度,充分利用Spark平臺的CPU與內存資源,提升平臺的應用吞吐率。本文的主要貢獻包括:1)任務執(zhí)行器資源使用均衡-飽和度定義。資源使用均衡-飽和度是對任務執(zhí)行器資源使用效率的量化評價指標,是進行資源分配的基礎依據(jù)。資源使用均衡-飽和度綜合刻畫了任務執(zhí)行器的CPU和內存資源的利用率以及這兩類資源利用率的差距。在Spark平臺中,較高的資源使用均衡-飽和度表征任務執(zhí)行器同時具有較好的CPU和內存資源利用效率。2)基于任務執(zhí)行器資源使用均衡-飽和度評估的資源動態(tài)調整決策模型。根據(jù)資源使用均衡-飽和度定義了任務執(zhí)行器資源動態(tài)調整觸發(fā)條件。資源動態(tài)決策模型針對具有資源動態(tài)調整需求的任務執(zhí)行器,設計三級資源調整策略,分別通過改變任務并行度、改變任務CPU資源需求量、重分配任務執(zhí)行器資源來實現(xiàn)資源的動態(tài)調整,減少資源碎片產(chǎn)生。3)基于蟻群算法的任務執(zhí)行器資源動態(tài)分配方法。資源動態(tài)方法是對任務執(zhí)行器資源需求與平臺可用資源進行組合分配,以實現(xiàn)平臺資源最大化利用。任務執(zhí)行器資源動態(tài)分配中,存在任務執(zhí)行器追加CPU資源需求、重啟任務執(zhí)行器和新增任務執(zhí)行器三種資源需求。用任務執(zhí)行器在節(jié)點上的資源收益定義蟻群算法中的路徑,將資源組合分配問題映射成蟻群算法的收益函數(shù)。基于蟻群算法實現(xiàn)的任務執(zhí)行器資源動態(tài)分配方法,能夠識別三種不同資源請求,并通過CPU與內存資源協(xié)同調度,實現(xiàn)資源最大化分配。4)綜合本文的研究成果,基于Spark平臺既有資源分配框架Mesos,實現(xiàn)了基于任務執(zhí)行器資源使用均衡-飽和度評估的資源動態(tài)分配原型系統(tǒng)DRSpark。DRSpark整合了上述資源使用均衡-飽和度評估與資源動態(tài)分配的相關技術。5)對DRSpark進行了性能分析,性能分析結果表明,與Standalone模式、YARN模式以及Mesos模式相比,平臺任務吞吐率最大提高了71.14%,平均提升了32.48%;應用平均周轉時間最大縮短了37.64%,平均縮短了23.71%。
【關鍵詞】：大數(shù)據(jù) Spark 資源動態(tài)分配 蟻群算法 分布式內存計算
【學位授予單位】：北京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要4-6
• Abstract6-11
• 第1章 緒論11-17
• 1.1 研究背景11-13
• 1.1.1 大數(shù)據(jù)處理技術發(fā)展背景11-12
• 1.1.2 Spark數(shù)據(jù)處理平臺12-13
• 1.2 Spark平臺中既有資源分配方式及不足13-15
• 1.2.1 目前Spark平臺資源分配方式13-14
• 1.2.2 目前Spark平臺資源分配方式存在的不足14-15
• 1.3 本文的主要貢獻15-16
• 1.4 本文的組織結構16
• 1.5 本章小結16-17
• 第2章 相關工作17-25
• 2.1 海量數(shù)據(jù)處理平臺發(fā)展概述17-18
• 2.1.1 海量數(shù)據(jù)處理應用新特征17
• 2.1.2 新型海量數(shù)據(jù)處理平臺發(fā)展歷程17-18
• 2.2 Spark平臺概述18-20
• 2.2.1 Spark平臺架構18
• 2.2.2 Spark并行計算模型18-19
• 2.2.3 Spark運行時環(huán)境19
• 2.2.4 Spark平臺作業(yè)調度19-20
• 2.3 資源管理系統(tǒng)20-21
• 2.3.1 YARN平臺20
• 2.3.2 Mesos平臺20-21
• 2.4 資源管理相關研究工作21-24
• 2.4.1 資源分配技術相關研究21-22
• 2.4.2 資源調度算法相關研究22-24
• 2.5 本章小結24-25
• 第3章 任務執(zhí)行器資源動態(tài)調整決策模型25-35
• 3.1 任務執(zhí)行器資源使用特征分析25-27
• 3.1.1 單任務資源使用特征分析25-26
• 3.1.2 任務對資源累積使用特征分析26-27
• 3.2 任務執(zhí)行器資源使用均衡-飽和度定義27-29
• 3.3 任務執(zhí)行器資源動態(tài)調整決策模型29-33
• 3.3.1 主要設計思想及核心定義29-30
• 3.3.2 任務執(zhí)行器資源動態(tài)調整決策算法30-33
• 3.4 本章小結33-35
• 第4章 任務執(zhí)行器資源組合分配策略35-43
• 4.1 多任務執(zhí)行器資源組合調度策略的設計目標35-38
• 4.1.1 問題描述35-37
• 4.1.2 目標函數(shù)的建立37-38
• 4.2 基于蟻群算法的多任務執(zhí)行器資源動態(tài)分配策略設計38-42
• 4.2.1 核心定義與約束條件38-40
• 4.2.2 基于蟻群算法的多任務執(zhí)行器資源動態(tài)分配策略40-41
• 4.2.3 時間復雜度分析41-42
• 4.3 本章小結42-43
• 第5章 任務執(zhí)行器資源動態(tài)分配原型系統(tǒng)實現(xiàn)43-53
• 5.1 DRSpark系統(tǒng)總體框架43-45
• 5.2 基于任務執(zhí)行器資源動態(tài)分配方法元數(shù)據(jù)組織模型45-47
• 5.2.1 平臺資源數(shù)據(jù)組織模型45-46
• 5.2.2 平臺資源請求數(shù)據(jù)組織模型46
• 5.2.3 Spark平臺任務執(zhí)行器數(shù)據(jù)組織模型46-47
• 5.3 基于蟻群算法的任務執(zhí)行器資源動態(tài)分配技術實現(xiàn)47-51
• 5.3.1 任務執(zhí)行器資源動態(tài)調整決策功能實現(xiàn)47-49
• 5.3.2 任務執(zhí)行器資源動態(tài)分配技術的功能能實現(xiàn)49-51
• 5.4 本章小結51-53
• 第6章 性能測試與分析53-75
• 6.1 測試負載53-56
• 6.1.1 Spark平臺多應用混合負載現(xiàn)狀53
• 6.1.2 測試負載與數(shù)據(jù)集選取53-54
• 6.1.3 負載混合比例54-55
• 6.1.4 負載分發(fā)原則55
• 6.1.5 混合負載構造結果55-56
• 6.2 性能評價指標56-58
• 6.2.1 任務吞吐率56
• 6.2.2 應用平均周轉時間56
• 6.2.3 節(jié)點平均CPU利用率56
• 6.2.4 節(jié)點平均內存利用率56-57
• 6.2.5 任務吞吐率提升比重57
• 6.2.6 應用平均周轉時間提升比重57
• 6.2.7 節(jié)點平均CPU利用率提升比重57-58
• 6.2.8 節(jié)點平均內存利用率提升比重58
• 6.3 測試結果與分析58-73
• 6.3.1 測試環(huán)境58
• 6.3.2 系統(tǒng)性能測試與分析58-68
• 6.3.3 DRSpark系統(tǒng)可變參數(shù)測試與性能分析68-73
• 6.4 本章小結73-75
• 結論75-77
• 參考文獻77-81
• 攻讀碩士學位期間所發(fā)表的學術論文81-83
• 致謝83

，

本文編號：965959