伴隨著網絡技術的發(fā)展和進步,網絡中的數據量產生了爆發(fā)式增長,促使了一批專門用來處理和存儲大數據的分布式系統(tǒng)的出現和發(fā)展,Hadoop大數據平臺就是其中最著名的一員。而近些年為了應對海量數據的壓力,人們選擇了具有強大計算能力的GPU。自此,分布式系統(tǒng)尤其是擁有多個GPU的分布式系統(tǒng)的地位越來越高,在人們享受這些分布式系統(tǒng)帶來的便利的同時,其能耗問題也稱為了人們關注的重點。由于最初設計Hadoop時沒有將節(jié)能問題考慮進來,導致在Hadoop集群運行之后能耗過高的問題比較嚴重。最近,Hadoop又提出了使用GPU處理任務的解決方案,而GPU能耗占節(jié)點總能耗的比重不容小視,這加劇了Hadoop集群能耗過高的問題。因此研究如何減少Hadoop集群的能耗對于提高互聯網企業(yè)的效益乃至響應國家節(jié)能減排的號召都有著極其重要的意義。本文通過對Hadoop平臺整體架構以及運行機制進行深入剖析,將Hadoop集群拆分為HDFS集群和YARN集群,同時使用Docker容器技術將集群的各個節(jié)點進行封裝,便于實現對Hadoop節(jié)點的操作完成節(jié)能的目的。接著基于容器編排平臺Kubernetes實現了Hadoop集群的...

【文章頁數】：78 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題來源
    1.2 課題研究背景及意義
    1.3 國內外研究現狀
        1.3.1 硬件層面節(jié)能技術
        1.3.2 軟件層面節(jié)能技術
        1.3.3 研究現狀的分析及存在的問題
    1.4 本文研究內容及組織結構
        1.4.1 本文主要研究內容
        1.4.2 本文結構安排
第2章 系統(tǒng)需求分析與設計
    2.1 能耗優(yōu)化系統(tǒng)設計前提
        2.1.1 集群服務器能耗分析
        2.1.2 集群服務器能耗建模
        2.1.3 集群能耗的優(yōu)化思路
    2.2 能耗優(yōu)化系統(tǒng)的需求分析
        2.2.1 系統(tǒng)功能性需求
        2.2.2 系統(tǒng)非功能性需求
    2.3 能耗優(yōu)化系統(tǒng)的設計
        2.3.1 能耗優(yōu)化系統(tǒng)總體設計
        2.3.2 集群管理模塊設計
        2.3.3 鏡像管理模塊設計
        2.3.4 調度管理模塊設計
        2.3.5 監(jiān)控管理模塊設計
        2.3.6 節(jié)能管理模塊設計
    2.4 本章小結
第3章 Hadoop集群的容器化實現
    3.1 Docker容器相關技術
        3.1.1 Docker容器技術
        3.1.2 Docker總體架構
        3.1.3 Docker容器的優(yōu)勢
    3.2 Kubernetes容器編排平臺
        3.2.1 Kubernetes概述
        3.2.2 Kubernetes系統(tǒng)架構
    3.3 Hadoop集群的容器化
        3.3.1 容器的網絡模型
        3.3.2 Flannel實現集群跨主機網絡
        3.3.3 Hadoop節(jié)點容器通信的實現
        3.3.4 HDFS集群的容器化實現
        3.3.5 YARN集群的容器化實現
    3.4 本章小結
第4章 Hadoop集群能耗優(yōu)化系統(tǒng)的實現
    4.1 Hadoop集群管理的實現
    4.2 鏡像管理模塊的實現
    4.3 Hadoop工作節(jié)點調度的實現
        4.3.1 工作節(jié)點調度架構
        4.3.2 預選調度和優(yōu)選調度的實現
        4.3.3 面向GPU的親和性調度功能的實現
    4.4 資源監(jiān)控系統(tǒng)的實現
        4.4.1 監(jiān)控系統(tǒng)的具體實現
        4.4.2 監(jiān)控系統(tǒng)適配器的實現
    4.5 Hadoop節(jié)點節(jié)能伸縮功能的實現
        4.5.1 基于Kubernetes的彈性伸縮框架
        4.5.2 Hadoop節(jié)點節(jié)能伸縮的實現
    4.6 Hadoop能耗優(yōu)化完整流程
    4.7 本章小結
第5章 系統(tǒng)測試與結果分析
    5.1 系統(tǒng)的測試環(huán)境
        5.1.1 測試環(huán)境硬件配置
        5.1.2 測試環(huán)境軟件配置
    5.2 系統(tǒng)功能測試
        5.2.1 Hadoop平臺管理功能測試
        5.2.2 鏡像管理模塊功能測試
        5.2.3 Hadoop節(jié)能伸縮功能測試
    5.3 系統(tǒng)性能測試
        5.3.1 基準測試程序簡介
        5.3.2 性能測試結果分析
    5.4 節(jié)能效果仿真實驗
        5.4.1 Cloud Sim仿真平臺介紹
        5.4.2 仿真實驗相關參數
        5.4.3 仿真結果與分析
    5.5 本章小結
結論
參考文獻
攻讀碩士學位期間發(fā)表的論文及其它成果
致謝



本文編號：3776841