本文關鍵詞：基于存儲驅動的Hadoop節(jié)能調度策略研究

  更多相關文章： 綠色計算 大數(shù)據(jù)分析 Hadoop HDFS 存儲策略

【摘要】：二十一世紀是信息的時代,信息傳輸伴隨著數(shù)據(jù)量的增加,人們逐漸發(fā)現(xiàn)隱含在這些海量數(shù)據(jù)下的價值,于是用于分析處理海量數(shù)據(jù)的平臺應運而生,Hadoop便是這其中最經(jīng)典的海量數(shù)據(jù)處理框架。Hadoop需要構建一個龐大的數(shù)據(jù)節(jié)點集群,通過HDFS,Yarn,Map Reduce等組件實現(xiàn)海量數(shù)據(jù)的高效并行計算。然而近年來二氧化碳等溫室氣體的排放量逐年增加,導致了全球溫室效應日益嚴重,與此同時大規(guī)模數(shù)據(jù)中心需要龐大的服務器集群作為支撐,以及大規(guī)模的制冷設備會消耗大量的能量以及企業(yè)成本開銷,使得數(shù)據(jù)中心的節(jié)能減排問題越來越受到重視,基于這些原因使得Hadoop節(jié)能研究變得十分必要。本文通過對Hadoop自帶的隨機選擇存儲策略和磁盤輪詢存儲策略兩種副本存儲策略深入剖析,找出兩種策略在能耗控制方面的缺陷,同時結合數(shù)據(jù)本地化的Hadoop任務調度原則,本文提出一種策略,即通過數(shù)據(jù)本地化原則將任務的調度問題轉化為數(shù)據(jù)塊副本的調度問題,創(chuàng)新的設計出一種基于存儲驅動的Hadoop節(jié)能調度策略,同時構建出兩層副本存儲策略來控制集群負載均衡以及能量消耗,作為本文設計的節(jié)能調度策略的核心。本文設計的節(jié)能策略可以實現(xiàn)Hadoop集群任務的運行時間和總體能耗兩個維度上的節(jié)能。該策略核心是兩層副本存儲策略。其中第一層副本存儲策略根據(jù)數(shù)據(jù)節(jié)點磁盤的剩余容量,讀寫操作引用數(shù)實現(xiàn)兩層算法,通過實現(xiàn)負載均衡提高集群整體性能,從而減少任務的運行時間。第二層副本存儲策略主要考慮任務本身的種類特征以及任務所在數(shù)據(jù)節(jié)點的實時狀態(tài),通過對任務特征任務與數(shù)據(jù)節(jié)點的實時狀態(tài)進行匹配,使任務被分配到能耗最少的數(shù)據(jù)節(jié)點上執(zhí)行,從而達到減少集群能耗的目的。最后本文通過Xen Server平臺搭建了具有32個數(shù)據(jù)節(jié)點的Hadoop集群環(huán)境,首先通過兩組實驗得出了本文設計的能量度量模型理論推導公式的近似參數(shù),接下來將本文設計的節(jié)能調度策略與Hadoop自帶的隨機選擇和磁盤輪詢存儲策略相對比,用三組對比實驗證明了本文設計的節(jié)能調度策略在控制數(shù)據(jù)節(jié)點磁盤負載均衡方面具有較好地調節(jié)能力,可以相對減少Hadoop集群任務的總體運行時間,并且可以有效降低Hadoop集群的能量消耗。
【關鍵詞】：綠色計算 大數(shù)據(jù)分析 Hadoop HDFS 存儲策略
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13;TP333
【目錄】：

• 摘要4-6
• Abstract6-10
• 第1章 緒論10-15
• 1.1 課題背景10-11
• 1.2 國內外研究現(xiàn)狀11-13
• 1.2.1 硬件層面節(jié)能技術11
• 1.2.2 軟件層面節(jié)能技術11-13
• 1.3 課題的主要工作13-14
• 1.4 論文的內容安排14-15
• 第2章 Hadoop HDFS相關背景介紹15-21
• 2.1 Hadoop HDFS分布式存儲系統(tǒng)剖析15-19
• 2.2 Hadoop任務調度的數(shù)據(jù)本地化原則19-20
• 2.3 本章小結20-21
• 第3章 HDFS數(shù)據(jù)節(jié)點副本存放策略研究21-31
• 3.1 機架感知策略的原理與實現(xiàn)21-23
• 3.1.1 機架感知策略的原理21-22
• 3.1.2 機架感知策略的實現(xiàn)22-23
• 3.2 隨機選擇存儲策略剖析23-27
• 3.3 磁盤輪詢存儲策略剖析27-30
• 3.4 Hadoop自帶存儲策略弊端分析30
• 3.5 本章小結30-31
• 第4章 基于存儲驅動的Hadoop節(jié)能調度設計與實現(xiàn)31-52
• 4.1 總體設計分析31-35
• 4.1.1 節(jié)能調度框架設計31-33
• 4.1.2 節(jié)能調度設計目標33-35
• 4.2 Block指定發(fā)送模塊35-40
• 4.2.1 文件數(shù)據(jù)塊發(fā)送過程剖析35-38
• 4.2.2 Block指定發(fā)送模塊實現(xiàn)38-40
• 4.3 能耗監(jiān)測模塊40-44
• 4.3.1 能耗數(shù)據(jù)的收集40-43
• 4.3.2 能量度量模型的構建43-44
• 4.3.3 任務能耗計算模型的構建44
• 4.4 第一層副本存儲策略及實現(xiàn)44-49
• 4.4.1 剩余容量存儲算法及實現(xiàn)44-47
• 4.4.2 引用計量存儲算法及實現(xiàn)47-49
• 4.5 第二層副本存儲策略49-51
• 4.5.1 能量特征點的提取與匹配模型構建49-50
• 4.5.2 任務與數(shù)據(jù)節(jié)點匹配模塊50-51
• 4.6 本章小結51-52
• 第5章 實驗及結果分析52-66
• 5.1 Hadoop集群環(huán)境搭建52-54
• 5.1.1 Xen Server云平臺的構建52-53
• 5.1.2 Hadoop虛擬機集群配置53-54
• 5.2 實驗過程54-65
• 5.2.1 能量度量模型驗證54-59
• 5.2.2 三種策略對比實驗方案59-60
• 5.2.3 實驗結果及分析60-65
• 5.3 實驗結論65
• 5.4 本章小結65-66
• 結論66-68
• 參考文獻68-72
• 攻讀學位期間發(fā)表的學術論文72-74
• 致謝74-75

，

本文編號：822126