云計(jì)算技術(shù)的發(fā)展使得數(shù)據(jù)中心的規(guī)模和數(shù)量不斷擴(kuò)大,隨之而來(lái)的問(wèn)題是能耗成本越來(lái)越高。Hadoop是現(xiàn)階段應(yīng)用廣泛的數(shù)據(jù)處理平臺(tái),在數(shù)據(jù)中心的部署規(guī)模巨大。如何降低Hadoop集群的功率消耗,既節(jié)約成本,又保證服務(wù)質(zhì)量,是當(dāng)前研究的熱點(diǎn)問(wèn)題。本文從實(shí)際應(yīng)用出發(fā),首先分析了傳統(tǒng)Hadoop集群的YARN和HDFS數(shù)據(jù)塊存儲(chǔ)的原理。Hadoop YARN的主流調(diào)度策略更多關(guān)注于計(jì)算資源的分配,忽略了集群任務(wù)處理量的動(dòng)態(tài)變化,導(dǎo)致集群節(jié)點(diǎn)可能長(zhǎng)時(shí)間處于低負(fù)載的狀態(tài)而造成能耗浪費(fèi)。同時(shí),數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)塊會(huì)有相當(dāng)大比例的時(shí)間變?yōu)槔鋽?shù)據(jù),而且這些數(shù)據(jù)會(huì)占用計(jì)算節(jié)點(diǎn)的存儲(chǔ)資源。針對(duì)以上問(wèn)題,本文結(jié)合Hadoop的系統(tǒng)結(jié)構(gòu)和原理,進(jìn)行了如下研究工作:(1)設(shè)計(jì)了針對(duì)Hadoop集群的節(jié)能系統(tǒng)方案,包括底層集群節(jié)點(diǎn)的數(shù)據(jù)收集,中間層的能耗模型、節(jié)點(diǎn)負(fù)載的預(yù)測(cè),上層的作業(yè)調(diào)度。方案的每層都結(jié)合開(kāi)源工具和框架的優(yōu)點(diǎn),使得整體Hadoop方案達(dá)到較好的節(jié)能效果。(2)Hadoop集群的負(fù)載在多數(shù)情況下處于很低的水平,但是節(jié)點(diǎn)依然以較低的負(fù)載運(yùn)行。本文提出了基于長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM的節(jié)點(diǎn)負(fù)載狀態(tài)預(yù)測(cè)任務(wù)調(diào)度...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文主要工作
    1.4 本文的組織結(jié)構(gòu)
2 相關(guān)概念和理論
    2.1 Hadoop原理介紹
    2.2 LSTM
    2.3 Zabbix
    2.4 本章小結(jié)
3 Hadoop集群節(jié)能系統(tǒng)方案設(shè)計(jì)
    3.1 系統(tǒng)架構(gòu)設(shè)計(jì)
    3.2 節(jié)能方案分析
    3.3 能耗模型
    3.4 本章小結(jié)
4 基于集群節(jié)點(diǎn)負(fù)載狀態(tài)預(yù)測(cè)的作業(yè)調(diào)度算法
    4.1 負(fù)載分析和節(jié)點(diǎn)任務(wù)處理特征
    4.2 節(jié)能算法描述
    4.3 節(jié)能效果分析
    4.4 實(shí)驗(yàn)結(jié)果和分析
    4.5 本章小結(jié)
5 基于集群節(jié)點(diǎn)負(fù)載狀態(tài)預(yù)測(cè)的冷熱區(qū)域劃分節(jié)能存儲(chǔ)策略
    5.1 數(shù)據(jù)塊存儲(chǔ)設(shè)計(jì)思想
    5.2 數(shù)據(jù)存儲(chǔ)算法描述
    5.3 算法節(jié)能分析
    5.4 實(shí)驗(yàn)結(jié)果和分析
    5.5 本章小結(jié)
6 總結(jié)與展望
    6.1 本文總結(jié)
    6.2 未來(lái)工作展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間主要成果



本文編號(hào)：3826074