本文關(guān)鍵詞：基于存儲驅(qū)動的Hadoop節(jié)能調(diào)度策略研究

  更多相關(guān)文章： 綠色計(jì)算 大數(shù)據(jù)分析 Hadoop HDFS 存儲策略

【摘要】：二十一世紀(jì)是信息的時代,信息傳輸伴隨著數(shù)據(jù)量的增加,人們逐漸發(fā)現(xiàn)隱含在這些海量數(shù)據(jù)下的價值,于是用于分析處理海量數(shù)據(jù)的平臺應(yīng)運(yùn)而生,Hadoop便是這其中最經(jīng)典的海量數(shù)據(jù)處理框架。Hadoop需要構(gòu)建一個龐大的數(shù)據(jù)節(jié)點(diǎn)集群,通過HDFS,Yarn,Map Reduce等組件實(shí)現(xiàn)海量數(shù)據(jù)的高效并行計(jì)算。然而近年來二氧化碳等溫室氣體的排放量逐年增加,導(dǎo)致了全球溫室效應(yīng)日益嚴(yán)重,與此同時大規(guī)模數(shù)據(jù)中心需要龐大的服務(wù)器集群作為支撐,以及大規(guī)模的制冷設(shè)備會消耗大量的能量以及企業(yè)成本開銷,使得數(shù)據(jù)中心的節(jié)能減排問題越來越受到重視,基于這些原因使得Hadoop節(jié)能研究變得十分必要。本文通過對Hadoop自帶的隨機(jī)選擇存儲策略和磁盤輪詢存儲策略兩種副本存儲策略深入剖析,找出兩種策略在能耗控制方面的缺陷,同時結(jié)合數(shù)據(jù)本地化的Hadoop任務(wù)調(diào)度原則,本文提出一種策略,即通過數(shù)據(jù)本地化原則將任務(wù)的調(diào)度問題轉(zhuǎn)化為數(shù)據(jù)塊副本的調(diào)度問題,創(chuàng)新的設(shè)計(jì)出一種基于存儲驅(qū)動的Hadoop節(jié)能調(diào)度策略,同時構(gòu)建出兩層副本存儲策略來控制集群負(fù)載均衡以及能量消耗,作為本文設(shè)計(jì)的節(jié)能調(diào)度策略的核心。本文設(shè)計(jì)的節(jié)能策略可以實(shí)現(xiàn)Hadoop集群任務(wù)的運(yùn)行時間和總體能耗兩個維度上的節(jié)能。該策略核心是兩層副本存儲策略。其中第一層副本存儲策略根據(jù)數(shù)據(jù)節(jié)點(diǎn)磁盤的剩余容量,讀寫操作引用數(shù)實(shí)現(xiàn)兩層算法,通過實(shí)現(xiàn)負(fù)載均衡提高集群整體性能,從而減少任務(wù)的運(yùn)行時間。第二層副本存儲策略主要考慮任務(wù)本身的種類特征以及任務(wù)所在數(shù)據(jù)節(jié)點(diǎn)的實(shí)時狀態(tài),通過對任務(wù)特征任務(wù)與數(shù)據(jù)節(jié)點(diǎn)的實(shí)時狀態(tài)進(jìn)行匹配,使任務(wù)被分配到能耗最少的數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行,從而達(dá)到減少集群能耗的目的。最后本文通過Xen Server平臺搭建了具有32個數(shù)據(jù)節(jié)點(diǎn)的Hadoop集群環(huán)境,首先通過兩組實(shí)驗(yàn)得出了本文設(shè)計(jì)的能量度量模型理論推導(dǎo)公式的近似參數(shù),接下來將本文設(shè)計(jì)的節(jié)能調(diào)度策略與Hadoop自帶的隨機(jī)選擇和磁盤輪詢存儲策略相對比,用三組對比實(shí)驗(yàn)證明了本文設(shè)計(jì)的節(jié)能調(diào)度策略在控制數(shù)據(jù)節(jié)點(diǎn)磁盤負(fù)載均衡方面具有較好地調(diào)節(jié)能力,可以相對減少Hadoop集群任務(wù)的總體運(yùn)行時間,并且可以有效降低Hadoop集群的能量消耗。
【關(guān)鍵詞】：綠色計(jì)算 大數(shù)據(jù)分析 Hadoop HDFS 存儲策略
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;TP333
【目錄】：

• 摘要4-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 課題背景10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.2.1 硬件層面節(jié)能技術(shù)11
• 1.2.2 軟件層面節(jié)能技術(shù)11-13
• 1.3 課題的主要工作13-14
• 1.4 論文的內(nèi)容安排14-15
• 第2章 Hadoop HDFS相關(guān)背景介紹15-21
• 2.1 Hadoop HDFS分布式存儲系統(tǒng)剖析15-19
• 2.2 Hadoop任務(wù)調(diào)度的數(shù)據(jù)本地化原則19-20
• 2.3 本章小結(jié)20-21
• 第3章 HDFS數(shù)據(jù)節(jié)點(diǎn)副本存放策略研究21-31
• 3.1 機(jī)架感知策略的原理與實(shí)現(xiàn)21-23
• 3.1.1 機(jī)架感知策略的原理21-22
• 3.1.2 機(jī)架感知策略的實(shí)現(xiàn)22-23
• 3.2 隨機(jī)選擇存儲策略剖析23-27
• 3.3 磁盤輪詢存儲策略剖析27-30
• 3.4 Hadoop自帶存儲策略弊端分析30
• 3.5 本章小結(jié)30-31
• 第4章 基于存儲驅(qū)動的Hadoop節(jié)能調(diào)度設(shè)計(jì)與實(shí)現(xiàn)31-52
• 4.1 總體設(shè)計(jì)分析31-35
• 4.1.1 節(jié)能調(diào)度框架設(shè)計(jì)31-33
• 4.1.2 節(jié)能調(diào)度設(shè)計(jì)目標(biāo)33-35
• 4.2 Block指定發(fā)送模塊35-40
• 4.2.1 文件數(shù)據(jù)塊發(fā)送過程剖析35-38
• 4.2.2 Block指定發(fā)送模塊實(shí)現(xiàn)38-40
• 4.3 能耗監(jiān)測模塊40-44
• 4.3.1 能耗數(shù)據(jù)的收集40-43
• 4.3.2 能量度量模型的構(gòu)建43-44
• 4.3.3 任務(wù)能耗計(jì)算模型的構(gòu)建44
• 4.4 第一層副本存儲策略及實(shí)現(xiàn)44-49
• 4.4.1 剩余容量存儲算法及實(shí)現(xiàn)44-47
• 4.4.2 引用計(jì)量存儲算法及實(shí)現(xiàn)47-49
• 4.5 第二層副本存儲策略49-51
• 4.5.1 能量特征點(diǎn)的提取與匹配模型構(gòu)建49-50
• 4.5.2 任務(wù)與數(shù)據(jù)節(jié)點(diǎn)匹配模塊50-51
• 4.6 本章小結(jié)51-52
• 第5章 實(shí)驗(yàn)及結(jié)果分析52-66
• 5.1 Hadoop集群環(huán)境搭建52-54
• 5.1.1 Xen Server云平臺的構(gòu)建52-53
• 5.1.2 Hadoop虛擬機(jī)集群配置53-54
• 5.2 實(shí)驗(yàn)過程54-65
• 5.2.1 能量度量模型驗(yàn)證54-59
• 5.2.2 三種策略對比實(shí)驗(yàn)方案59-60
• 5.2.3 實(shí)驗(yàn)結(jié)果及分析60-65
• 5.3 實(shí)驗(yàn)結(jié)論65
• 5.4 本章小結(jié)65-66
• 結(jié)論66-68
• 參考文獻(xiàn)68-72
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文72-74
• 致謝74-75

，

本文編號：822126