Hadoop是一個(gè)支持并行計(jì)算的軟件框架,它在數(shù)據(jù)的分布式存儲(chǔ)、提取、分析、計(jì)算等方面有著得天獨(dú)厚的優(yōu)勢(shì),使得其在大數(shù)據(jù)處理領(lǐng)域受到人們的廣泛關(guān)注。自從Hadoop2.0引入了YARN做為其統(tǒng)一資源管理系統(tǒng)后,集群在任務(wù)分配、資源監(jiān)控和數(shù)據(jù)共享等方面有了巨大突破。YARN內(nèi)置三種資源調(diào)度器,然而隨著應(yīng)用的擴(kuò)展,這些內(nèi)置的調(diào)度器在集群資源利用率和系統(tǒng)吞吐量上并不能讓用戶滿意。因此,研究如何合理的進(jìn)行資源分配和調(diào)度,優(yōu)化和提高YARN資源管理系統(tǒng)的調(diào)度性能對(duì)于海量數(shù)據(jù)計(jì)算和處理具有重要意義。本文對(duì)Hadoop YARN的資源調(diào)度機(jī)制進(jìn)行了深入研究分析,從如何提高集群整體資源利用率、減少系統(tǒng)整體任務(wù)執(zhí)行時(shí)間角度出發(fā),針對(duì)YARN中存在的預(yù)留資源不能充分利用問題、推測(cè)執(zhí)行機(jī)制預(yù)測(cè)備份任務(wù)啟動(dòng)不準(zhǔn)確問題,提出了相應(yīng)解決辦法。首先,對(duì)于如何更合理的分配資源,提出一種基于多維度約束遺傳算法的Hadoop資源調(diào)度方法。該方法通過YARN的心跳機(jī)制獲取節(jié)點(diǎn)CPU速度、內(nèi)存大小、負(fù)載等信息來初始化染色體。同時(shí)在算法的交叉、變異、復(fù)制等操作環(huán)節(jié)上進(jìn)行了改進(jìn),引入了雙適應(yīng)度函數(shù),充分保證算法的收斂性和有效性。...

【文章頁(yè)數(shù)】：73 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究意義
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
    1.4 本文組織結(jié)構(gòu)
第二章 Hadoop YARN調(diào)度模型與策略分析
    2.1 引言
    2.2 YARN的架構(gòu)及執(zhí)行流程介紹
        2.2.1 YARN基本組成結(jié)構(gòu)
        2.2.2 YARN工作流程
    2.3 YARN資源調(diào)度器運(yùn)行機(jī)理
        2.3.1 YARN機(jī)制介紹
        2.3.2 YARN中資源調(diào)度算法介紹
    2.4 Hadoop YARN存在問題分析
    2.5 本章小結(jié)
第三章 基于多維度約束遺傳算法的Hadoop資源調(diào)度器
    3.1 引言
    3.2 相關(guān)介紹
        3.2.1 遺傳算法概念介紹
        3.2.2 遺傳算法執(zhí)行流程
    3.3 MCGA資源調(diào)度算法
        3.3.1 MCGA算法執(zhí)行流程
        3.3.2 MCGA算法集群環(huán)境描述
        3.3.3 MCGA算法模型設(shè)計(jì)
    3.4 實(shí)驗(yàn)與分析
        3.4.1 實(shí)驗(yàn)環(huán)境
        3.4.2 實(shí)驗(yàn)結(jié)果與分析
第四章 漸進(jìn)式非阻塞資源預(yù)留機(jī)制
    4.1 引言
    4.2 Hadoop中的資源預(yù)留機(jī)制
    4.3 漸進(jìn)式非阻塞資源預(yù)留機(jī)制設(shè)計(jì)
        4.3.1 預(yù)留容器和機(jī)會(huì)資源介紹
        4.3.2 預(yù)留節(jié)點(diǎn)選擇
        4.3.3 機(jī)會(huì)資源分配
    4.4 實(shí)驗(yàn)與分析
        4.4.1 實(shí)驗(yàn)環(huán)境
        4.4.2 實(shí)驗(yàn)結(jié)果與分析
第五章 基于時(shí)間序列的推測(cè)執(zhí)行機(jī)制
    5.1 引言
    5.2 相關(guān)介紹
        5.2.1 Hadoop中的推測(cè)執(zhí)行機(jī)制
        5.2.2 Hadoop中任務(wù)執(zhí)行過程介紹
    5.3 基于時(shí)間序列的推測(cè)執(zhí)行機(jī)制設(shè)計(jì)
        5.3.1 掉隊(duì)任務(wù)的判定方法
        5.3.2 預(yù)測(cè)掉隊(duì)任務(wù)完成時(shí)間
        5.3.3 選擇備份任務(wù)啟動(dòng)節(jié)點(diǎn)
        5.3.4 預(yù)測(cè)備份任務(wù)完成時(shí)間
        5.3.5 備份任務(wù)啟動(dòng)必要性判斷
    5.4 實(shí)驗(yàn)與分析
        5.4.1 實(shí)驗(yàn)環(huán)境
        5.4.2 實(shí)驗(yàn)結(jié)果與分析
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
作者在讀期間科研成果簡(jiǎn)介
致謝



本文編號(hào)：3822023