本文選題：節(jié)能存儲 + Hadoop系統(tǒng)��； 參考：《華中科技大學》2012年碩士論文

【摘要】：近年來，基于云計算的互聯(lián)網(wǎng)服務不斷涌現(xiàn)，其中MapReduce計算范式和HDFS分布式文件系統(tǒng)已逐漸成為開發(fā)大型數(shù)據(jù)密集型應用的首選模型。從硬件供應商的角度，這類應用部署的規(guī)模如此巨大，降低服務集群的功率消耗既可以顯著降低運營成本，又能降低碳排放量，從而提高整體能效。 在傳統(tǒng)服務器節(jié)能策略的基礎上，針對提供MapReduce作業(yè)服務的集群，提出一種節(jié)能優(yōu)化算法。該算法能根據(jù)集群當前整體和局部的工作負載動態(tài)地重構節(jié)點或節(jié)點上的數(shù)據(jù)；同時，控制數(shù)據(jù)放置策略很好的支持上述操作。該節(jié)能優(yōu)化算法具備了節(jié)能效果明顯、實時性高以及負載均衡開銷小等特性，，可應用于數(shù)據(jù)密集型計算集群和企業(yè)數(shù)據(jù)中心等環(huán)境中。 具體地，實現(xiàn)節(jié)能優(yōu)化的能耗控制系統(tǒng)由數(shù)據(jù)分發(fā)模塊、節(jié)點失效模塊和能耗調節(jié)模塊三個組件組成。數(shù)據(jù)分發(fā)模塊通過對HDFS數(shù)據(jù)塊分發(fā)和對應副本放置流程進行修改，實現(xiàn)人為控制數(shù)據(jù)塊號到DataNode節(jié)點映射；節(jié)點失效模塊使得HDFS具備容忍節(jié)點增加/缺失的功能；能耗調節(jié)器是提高能效的核心，包含兩個線程，分別對應兩種算法：dilution和enrichment。在集群的某個機架利用率高于管理員預定的閾值時，能耗調節(jié)模塊會根據(jù)dilution算法適時地添加新節(jié)點，并將附近節(jié)點上的數(shù)據(jù)遷移到新節(jié)點上；當集群出現(xiàn)某個機架的利用率偏低時，能耗調節(jié)器可依據(jù)enrichment算法移除目標節(jié)點，并其上的數(shù)據(jù)遷移到附近節(jié)點上。從而，實現(xiàn)系統(tǒng)當前工作負載與系統(tǒng)性能的動態(tài)匹配。 在最終測試方面，利用GridSim Toolkit對節(jié)能優(yōu)化算法從功能和節(jié)能效果兩個方面進行了測試和評估，前者主要驗證了enrichment和dilution算法是否能在集群負載變化時重構節(jié)點或者數(shù)據(jù)；后者著重測試了在平均負載和低負載條件下節(jié)能的效果，并與傳統(tǒng)Covering Set技術進行了比較。實驗結果表明提出的節(jié)能優(yōu)化算法在MapReduce計算中高負載情況下能達到30.32%的節(jié)能效果，在低負載情況下能達到69.77%的節(jié)能效果。
[Abstract]:In recent years, cloud based Internet services have springing up. The MapReduce computing paradigm and HDFS distributed file systems have gradually become the preferred model for developing large data intensive applications. From the point of view of hardware vendors, the scale of such applications is so large that the power consumption of lower service clusters can be significantly reduced. Operating costs can also reduce carbon emissions, thereby improving overall energy efficiency.
On the basis of the traditional server energy saving strategy, an energy-saving optimization algorithm is proposed for the cluster providing MapReduce job service. This algorithm can dynamically restructure the data on nodes or nodes according to the current overall and local workload of the cluster. At the same time, the control data placement strategy supports the above operation very well. The method has the characteristics of obvious energy saving effect, high real time and low load balance, which can be used in data intensive computing cluster and enterprise data center.
Specifically, the energy control system for energy saving optimization is composed of three components: data distribution module, node failure module and energy consumption regulation module. The data distribution module can control the data block number to the DataNode node by changing the HDFS data block distribution and corresponding replica placement process, and the node failure module makes HDFS The energy regulator is the core of increased energy efficiency; the energy regulator is the core of energy efficiency improvement, including two threads, which correspond to two algorithms respectively: dilution and enrichment. can add new nodes according to the dilution algorithm at a time when the utilization rate of a frame in the cluster is higher than that of the administrator. The data on the point is migrated to the new node. When the utilization rate of a frame is low, the energy regulator can remove the target nodes according to the enrichment algorithm and migrate the data to the nearby nodes. Thus, the current workload of the system can be matched with the dynamic state of the system performance.
In the final test, the GridSim Toolkit is used to test and evaluate the energy saving optimization algorithm from two aspects of function and energy efficiency. The former mainly validates whether the enrichment and dilution algorithms can reconstruct nodes or data when the cluster load changes; the latter focuses on testing the energy saving under the average load and low load conditions. The results are compared with the traditional Covering Set technology. The experimental results show that the proposed energy saving optimization algorithm can achieve 30.32% energy saving effect in the case of high load in the MapReduce calculation, and can achieve 69.77% energy saving effect under low load conditions.

【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 張詢;速度快容量大的新型存儲系統(tǒng)[J];世界電子元器件;1997年09期

2 楊春燕;用SAN構筑現(xiàn)代企業(yè)信息存儲系統(tǒng)的優(yōu)勢[J];內蒙古電力技術;2002年S1期

3 ;專家觀點[J];中國計算機用戶;2006年43期

4 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

5 金文新;;大型高校圖書館計算機網(wǎng)絡集成系統(tǒng)建設[J];情報科學;2009年04期

6 李靜;;淺談HIS系統(tǒng)對服務器和存儲設備的要求及設計方案[J];信息與電腦(理論版);2009年11期

7 劉剛;張海濤;李瑞東;張強;;一種基于模塊化設計的NAS集群存儲系統(tǒng)[J];微計算機信息;2011年05期

8 于耳;;建立面向應用的存儲系統(tǒng)[J];中國教育網(wǎng)絡;2011年06期

9 ;數(shù)字視頻存儲系統(tǒng)[J];光學精密工程;1977年06期

10 張明明;;為信息傳輸設備保駕護航——訪EMC公司中國區(qū)產品經(jīng)理馬永亨先生[J];上海微型計算機;1998年Z1期

相關會議論文 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計算存儲關鍵技術研究[A];2010年第16屆全國信息存儲技術大會（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達數(shù)據(jù)傳輸存儲系統(tǒng)設計[A];全國第二屆信號處理與應用學術會議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進才;;寄生存儲原理及實現(xiàn)機制[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

5 汪黎;章文嵩;楊學軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學術會議論文集（一）[C];2006年

6 聶明;;構建海量存儲系統(tǒng) 提升媒體競爭力[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應用[A];中國氣象學會2006年年會“中尺度天氣動力學、數(shù)值模擬和預測”分會場論文集[C];2006年

8 劉湛明;吳柳堅;;數(shù)字電視臺的建設[A];2007第二屆全國廣播電視技術論文集2（下）[C];2007年

9 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設計[A];安全高效礦井機電裝備及信息化技術——陜西省煤炭學會學術年會論文集（2011）[C];2011年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯組的布局策略研究[A];第18屆全國多媒體學術會議（NCMT2009）、第5屆全國人機交互學術會議（CHCI2009）、第5屆全國普適計算學術會議（PCC2009）論文集[C];2009年

相關重要報紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國計算機報;2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國計算機報;2007年

3 本報記者　　張峰;知己知彼建存儲（上）[N];網(wǎng)絡世界;2006年

4 森林;NAS資源存儲系統(tǒng)[N];中國電腦教育報;2002年

5 Hifn(漢帆)杭州信息技術有限公司 馬劍杰;自動精簡配置：提升存儲利用率有絕招[N];中國計算機報;2009年

6 ;IBM收購存儲解決方案公司[N];計算機世界;2007年

7 本報記者 徐恒;面臨機遇 中國新型存儲業(yè)合作求創(chuàng)新[N];中國電子報;2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個人文件安全存儲系統(tǒng)[N];中國電力報;2006年

9 ;HDS推出企業(yè)入門級存儲系統(tǒng)[N];計算機世界;2005年

10 ;戴爾EMC打造新一代高容量存儲系統(tǒng)[N];人民郵電;2004年

相關博士學位論文 前10條

1 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學;2010年

2 聶雪軍;內容感知存儲系統(tǒng)中信息信息生命周期管理關鍵技術研究[D];華中科技大學;2011年

3 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關鍵技術研究[D];華中科技大學;2011年

4 聶雪軍;內容感知存儲系統(tǒng)中信息生命周期管理關鍵技術研究[D];華中科技大學;2010年

5 王玉林;多節(jié)點容錯存儲系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學;2010年

6 王鵬;低密度奇偶校驗碼應用于存儲系統(tǒng)的關鍵技術研究[D];華中科技大學;2013年

7 施展;基于本體的存儲系統(tǒng)管理研究[D];華中科技大學;2011年

8 黃繼鵬;高速高可靠小型數(shù)字視頻存儲系統(tǒng)的設計與實現(xiàn)[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2012年

9 劉科;內容感知存儲系統(tǒng)中的信息檢索關鍵技術研究[D];華中科技大學;2012年

10 姜明華;基于冗余智能存儲通道的存儲系統(tǒng)關鍵技術研究[D];華中科技大學;2011年

相關碩士學位論文 前10條

1 陸正武;面向流媒體應用存儲系統(tǒng)的研究與實現(xiàn)[D];華中科技大學;2004年

2 杜睿;基于IP-SAN技術的石化企業(yè)數(shù)據(jù)集中存儲系統(tǒng)的設計與實現(xiàn)[D];華東理工大學;2010年

3 金強;基于HBase的RDF存儲系統(tǒng)的研究與設計[D];浙江大學;2011年

4 余智敏;數(shù)字化圖書館的數(shù)據(jù)存儲技術的研究[D];武漢理工大學;2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2007年

6 張小艷;基于嵌入式技術的USB存儲系統(tǒng)的設計與實現(xiàn)[D];內蒙古大學;2011年

7 蔣亞群;基于DLX體系結構的微處理器核的設計與實現(xiàn)[D];中國人民解放軍國防科學技術大學;2002年

8 亓偉;關系數(shù)據(jù)庫存儲子系統(tǒng)研究與實現(xiàn)[D];清華大學;2005年

9 宋迎迎;數(shù)字館藏評價指標體系研究[D];鄭州大學;2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術研究[D];華中科技大學;2007年

本文編號：1869564