隨著科學技術的快速發(fā)展,人類進入了信息爆炸的時代,呈指數(shù)型增長的數(shù)據(jù)量驅(qū)動著大數(shù)據(jù)分析、分布式計算框架、云計算等技術的日益成熟。為了應對多種數(shù)據(jù)處理需求,Hadoop YARN將資源管理模塊構(gòu)建成一個獨立的通用系統(tǒng)YARN,這種結(jié)構(gòu)不僅解決了Hadoop 1.0中的可擴展性差、可靠性低、資源利用率低等問題,還使得Hadoop YARN可以支持多種計算框架。通過對具備多種用途的Hadoop YARN集群上的異構(gòu)負載分析發(fā)現(xiàn),集群中的任務不成比例的共享著集群的資源,并且短任務數(shù)量遠遠多于長任務,但占比很少的長任務卻消耗了集群的大部分資源,這種情況不利于短任務的執(zhí)行。同時,運行異構(gòu)負載的集群往往存在著大量“已分配但未使用”的資源碎片,降低了集群的資源利用率。已有的研究工作YARN-mix通過引入分布式調(diào)度器將YARN原有的中央式調(diào)度器擴展為混合式調(diào)度器,將長任務和短任務分開處理,讓分布式調(diào)度器利用資源碎片。這種改進初步解決了上述問題,但是YARN-mix利用靜態(tài)時間閾值將任務分類為長任務和短任務的方式也阻礙了集群資源利用率的優(yōu)化。為了解決上述YARN-mix存在的問題,本課題在具有混合式調(diào)度...

【文章頁數(shù)】：74 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題背景及研究的目的和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 集群資源調(diào)度器
        1.2.2 集群資源管理及調(diào)度策略的優(yōu)化
    1.3 相關研究工作介紹
        1.3.1 YARN的工作流程
        1.3.2 YARN-mix的工作流程
        1.3.3 YARN-mix的不足
    1.4 本文的主要研究內(nèi)容
    1.5 論文組織結(jié)構(gòu)
第2章 YARN-P資源調(diào)度策略的概要設計
    2.1 YARN-P的整體架構(gòu)
    2.2 YARN-P的資源調(diào)度策略
    2.3 負載預測方法
    2.4 閾值決策方法
        2.4.1 學習最優(yōu)閾值決策策略的方法
    2.5 長短任務動態(tài)分類方法
        2.5.1 Map任務執(zhí)行時間估計
        2.5.2 Reduce任務執(zhí)行時間估計
    2.6 本章小結(jié)
第3章 YARN-P資源調(diào)度策略的詳細設計與實現(xiàn)
    3.1 負載預測模塊的實現(xiàn)
        3.1.1 集群負載的定義
        3.1.2 負載預測算法
        3.1.3 負載預測模塊獲取數(shù)據(jù)
    3.2 閾值決策模塊的實現(xiàn)
        3.2.1 變量定義
        3.2.2 DDPG算法
        3.2.3 閾值決策模塊獲取數(shù)據(jù)
    3.3 長短任務動態(tài)分類模塊的實現(xiàn)
        3.3.1 獲取任務的參數(shù)
        3.3.2 長短任務分類模塊與系統(tǒng)整合
    3.4 本章小結(jié)
第4章 系統(tǒng)驗證
    4.1 實驗環(huán)境
    4.2 相關數(shù)據(jù)集及測試負載
        4.2.1 Google Cluster-Usage Traces
        4.2.2 SWIM
        4.2.3 自定義訓練負載
        4.2.4 自定義測試負載
    4.3 實驗結(jié)果
        4.3.1 負載預測模塊驗證
        4.3.2 長短任務動態(tài)分類模塊驗證
        4.3.3 整體系統(tǒng)的功能及性能驗證
    4.4 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表的論文及其它成果
致謝



本文編號：3815497