發(fā)布時間：2023-05-22 04:41

　　Hadoop是一個支持并行計算的軟件框架,它在數(shù)據(jù)的分布式存儲、提取、分析、計算等方面有著得天獨厚的優(yōu)勢,使得其在大數(shù)據(jù)處理領(lǐng)域受到人們的廣泛關(guān)注。自從Hadoop2.0引入了YARN做為其統(tǒng)一資源管理系統(tǒng)后,集群在任務(wù)分配、資源監(jiān)控和數(shù)據(jù)共享等方面有了巨大突破。YARN內(nèi)置三種資源調(diào)度器,然而隨著應(yīng)用的擴(kuò)展,這些內(nèi)置的調(diào)度器在集群資源利用率和系統(tǒng)吞吐量上并不能讓用戶滿意。因此,研究如何合理的進(jìn)行資源分配和調(diào)度,優(yōu)化和提高YARN資源管理系統(tǒng)的調(diào)度性能對于海量數(shù)據(jù)計算和處理具有重要意義。本文對Hadoop YARN的資源調(diào)度機(jī)制進(jìn)行了深入研究分析,從如何提高集群整體資源利用率、減少系統(tǒng)整體任務(wù)執(zhí)行時間角度出發(fā),針對YARN中存在的預(yù)留資源不能充分利用問題、推測執(zhí)行機(jī)制預(yù)測備份任務(wù)啟動不準(zhǔn)確問題,提出了相應(yīng)解決辦法。首先,對于如何更合理的分配資源,提出一種基于多維度約束遺傳算法的Hadoop資源調(diào)度方法。該方法通過YARN的心跳機(jī)制獲取節(jié)點CPU速度、內(nèi)存大小、負(fù)載等信息來初始化染色體。同時在算法的交叉、變異、復(fù)制等操作環(huán)節(jié)上進(jìn)行了改進(jìn),引入了雙適應(yīng)度函數(shù),充分保證算法的收斂性和有效性。...

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究意義
    1.3 國內(nèi)外研究現(xiàn)狀
    1.4 本文組織結(jié)構(gòu)
第二章 Hadoop YARN調(diào)度模型與策略分析
    2.1 引言
    2.2 YARN的架構(gòu)及執(zhí)行流程介紹
        2.2.1 YARN基本組成結(jié)構(gòu)
        2.2.2 YARN工作流程
    2.3 YARN資源調(diào)度器運行機(jī)理
        2.3.1 YARN機(jī)制介紹
        2.3.2 YARN中資源調(diào)度算法介紹
    2.4 Hadoop YARN存在問題分析
    2.5 本章小結(jié)
第三章 基于多維度約束遺傳算法的Hadoop資源調(diào)度器
    3.1 引言
    3.2 相關(guān)介紹
        3.2.1 遺傳算法概念介紹
        3.2.2 遺傳算法執(zhí)行流程
    3.3 MCGA資源調(diào)度算法
        3.3.1 MCGA算法執(zhí)行流程
        3.3.2 MCGA算法集群環(huán)境描述
        3.3.3 MCGA算法模型設(shè)計
    3.4 實驗與分析
        3.4.1 實驗環(huán)境
        3.4.2 實驗結(jié)果與分析
第四章 漸進(jìn)式非阻塞資源預(yù)留機(jī)制
    4.1 引言
    4.2 Hadoop中的資源預(yù)留機(jī)制
    4.3 漸進(jìn)式非阻塞資源預(yù)留機(jī)制設(shè)計
        4.3.1 預(yù)留容器和機(jī)會資源介紹
        4.3.2 預(yù)留節(jié)點選擇
        4.3.3 機(jī)會資源分配
    4.4 實驗與分析
        4.4.1 實驗環(huán)境
        4.4.2 實驗結(jié)果與分析
第五章 基于時間序列的推測執(zhí)行機(jī)制
    5.1 引言
    5.2 相關(guān)介紹
        5.2.1 Hadoop中的推測執(zhí)行機(jī)制
        5.2.2 Hadoop中任務(wù)執(zhí)行過程介紹
    5.3 基于時間序列的推測執(zhí)行機(jī)制設(shè)計
        5.3.1 掉隊任務(wù)的判定方法
        5.3.2 預(yù)測掉隊任務(wù)完成時間
        5.3.3 選擇備份任務(wù)啟動節(jié)點
        5.3.4 預(yù)測備份任務(wù)完成時間
        5.3.5 備份任務(wù)啟動必要性判斷
    5.4 實驗與分析
        5.4.1 實驗環(huán)境
        5.4.2 實驗結(jié)果與分析
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
作者在讀期間科研成果簡介
致謝



本文編號：3822023