本文選題：節(jié)能存儲(chǔ) + Hadoop系統(tǒng)��； 參考：《華中科技大學(xué)》2012年碩士論文

【摘要】：近年來(lái)，基于云計(jì)算的互聯(lián)網(wǎng)服務(wù)不斷涌現(xiàn)，其中MapReduce計(jì)算范式和HDFS分布式文件系統(tǒng)已逐漸成為開(kāi)發(fā)大型數(shù)據(jù)密集型應(yīng)用的首選模型。從硬件供應(yīng)商的角度，這類應(yīng)用部署的規(guī)模如此巨大，降低服務(wù)集群的功率消耗既可以顯著降低運(yùn)營(yíng)成本，又能降低碳排放量，從而提高整體能效。 在傳統(tǒng)服務(wù)器節(jié)能策略的基礎(chǔ)上，針對(duì)提供MapReduce作業(yè)服務(wù)的集群，提出一種節(jié)能優(yōu)化算法。該算法能根據(jù)集群當(dāng)前整體和局部的工作負(fù)載動(dòng)態(tài)地重構(gòu)節(jié)點(diǎn)或節(jié)點(diǎn)上的數(shù)據(jù)；同時(shí)，控制數(shù)據(jù)放置策略很好的支持上述操作。該節(jié)能優(yōu)化算法具備了節(jié)能效果明顯、實(shí)時(shí)性高以及負(fù)載均衡開(kāi)銷小等特性，，可應(yīng)用于數(shù)據(jù)密集型計(jì)算集群和企業(yè)數(shù)據(jù)中心等環(huán)境中。 具體地，實(shí)現(xiàn)節(jié)能優(yōu)化的能耗控制系統(tǒng)由數(shù)據(jù)分發(fā)模塊、節(jié)點(diǎn)失效模塊和能耗調(diào)節(jié)模塊三個(gè)組件組成。數(shù)據(jù)分發(fā)模塊通過(guò)對(duì)HDFS數(shù)據(jù)塊分發(fā)和對(duì)應(yīng)副本放置流程進(jìn)行修改，實(shí)現(xiàn)人為控制數(shù)據(jù)塊號(hào)到DataNode節(jié)點(diǎn)映射；節(jié)點(diǎn)失效模塊使得HDFS具備容忍節(jié)點(diǎn)增加/缺失的功能；能耗調(diào)節(jié)器是提高能效的核心，包含兩個(gè)線程，分別對(duì)應(yīng)兩種算法：dilution和enrichment。在集群的某個(gè)機(jī)架利用率高于管理員預(yù)定的閾值時(shí)，能耗調(diào)節(jié)模塊會(huì)根據(jù)dilution算法適時(shí)地添加新節(jié)點(diǎn)，并將附近節(jié)點(diǎn)上的數(shù)據(jù)遷移到新節(jié)點(diǎn)上；當(dāng)集群出現(xiàn)某個(gè)機(jī)架的利用率偏低時(shí)，能耗調(diào)節(jié)器可依據(jù)enrichment算法移除目標(biāo)節(jié)點(diǎn)，并其上的數(shù)據(jù)遷移到附近節(jié)點(diǎn)上。從而，實(shí)現(xiàn)系統(tǒng)當(dāng)前工作負(fù)載與系統(tǒng)性能的動(dòng)態(tài)匹配。 在最終測(cè)試方面，利用GridSim Toolkit對(duì)節(jié)能優(yōu)化算法從功能和節(jié)能效果兩個(gè)方面進(jìn)行了測(cè)試和評(píng)估，前者主要驗(yàn)證了enrichment和dilution算法是否能在集群負(fù)載變化時(shí)重構(gòu)節(jié)點(diǎn)或者數(shù)據(jù)；后者著重測(cè)試了在平均負(fù)載和低負(fù)載條件下節(jié)能的效果，并與傳統(tǒng)Covering Set技術(shù)進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明提出的節(jié)能優(yōu)化算法在MapReduce計(jì)算中高負(fù)載情況下能達(dá)到30.32%的節(jié)能效果，在低負(fù)載情況下能達(dá)到69.77%的節(jié)能效果。
[Abstract]:In recent years, cloud based Internet services have springing up. The MapReduce computing paradigm and HDFS distributed file systems have gradually become the preferred model for developing large data intensive applications. From the point of view of hardware vendors, the scale of such applications is so large that the power consumption of lower service clusters can be significantly reduced. Operating costs can also reduce carbon emissions, thereby improving overall energy efficiency.
On the basis of the traditional server energy saving strategy, an energy-saving optimization algorithm is proposed for the cluster providing MapReduce job service. This algorithm can dynamically restructure the data on nodes or nodes according to the current overall and local workload of the cluster. At the same time, the control data placement strategy supports the above operation very well. The method has the characteristics of obvious energy saving effect, high real time and low load balance, which can be used in data intensive computing cluster and enterprise data center.
Specifically, the energy control system for energy saving optimization is composed of three components: data distribution module, node failure module and energy consumption regulation module. The data distribution module can control the data block number to the DataNode node by changing the HDFS data block distribution and corresponding replica placement process, and the node failure module makes HDFS The energy regulator is the core of increased energy efficiency; the energy regulator is the core of energy efficiency improvement, including two threads, which correspond to two algorithms respectively: dilution and enrichment. can add new nodes according to the dilution algorithm at a time when the utilization rate of a frame in the cluster is higher than that of the administrator. The data on the point is migrated to the new node. When the utilization rate of a frame is low, the energy regulator can remove the target nodes according to the enrichment algorithm and migrate the data to the nearby nodes. Thus, the current workload of the system can be matched with the dynamic state of the system performance.
In the final test, the GridSim Toolkit is used to test and evaluate the energy saving optimization algorithm from two aspects of function and energy efficiency. The former mainly validates whether the enrichment and dilution algorithms can reconstruct nodes or data when the cluster load changes; the latter focuses on testing the energy saving under the average load and low load conditions. The results are compared with the traditional Covering Set technology. The experimental results show that the proposed energy saving optimization algorithm can achieve 30.32% energy saving effect in the case of high load in the MapReduce calculation, and can achieve 69.77% energy saving effect under low load conditions.

【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張?jiān)?速度快容量大的新型存儲(chǔ)系統(tǒng)[J];世界電子元器件;1997年09期

2 楊春燕;用SAN構(gòu)筑現(xiàn)代企業(yè)信息存儲(chǔ)系統(tǒng)的優(yōu)勢(shì)[J];內(nèi)蒙古電力技術(shù);2002年S1期

3 ;專家觀點(diǎn)[J];中國(guó)計(jì)算機(jī)用戶;2006年43期

4 ;HDS AMS 2000系列的創(chuàng)新之道[J];通信世界;2009年08期

5 金文新;;大型高校圖書(shū)館計(jì)算機(jī)網(wǎng)絡(luò)集成系統(tǒng)建設(shè)[J];情報(bào)科學(xué);2009年04期

6 李靜;;淺談HIS系統(tǒng)對(duì)服務(wù)器和存儲(chǔ)設(shè)備的要求及設(shè)計(jì)方案[J];信息與電腦(理論版);2009年11期

7 劉剛;張海濤;李瑞東;張強(qiáng);;一種基于模塊化設(shè)計(jì)的NAS集群存儲(chǔ)系統(tǒng)[J];微計(jì)算機(jī)信息;2011年05期

8 于耳;;建立面向應(yīng)用的存儲(chǔ)系統(tǒng)[J];中國(guó)教育網(wǎng)絡(luò);2011年06期

9 ;數(shù)字視頻存儲(chǔ)系統(tǒng)[J];光學(xué)精密工程;1977年06期

10 張明明;;為信息傳輸設(shè)備保駕護(hù)航——訪EMC公司中國(guó)區(qū)產(chǎn)品經(jīng)理馬永亨先生[J];上海微型計(jì)算機(jī);1998年Z1期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 朱平;朱建濤;高劍剛;蔣金虎;;高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

3 周博;宿紹瑩;陳曾平;;基于CPCI總線的寬帶雷達(dá)數(shù)據(jù)傳輸存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];全國(guó)第二屆信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議�？痆C];2008年

4 周功業(yè);周江;陳希;陳進(jìn)才;;寄生存儲(chǔ)原理及實(shí)現(xiàn)機(jī)制[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

5 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對(duì)象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

6 聶明;;構(gòu)建海量存儲(chǔ)系統(tǒng) 提升媒體競(jìng)爭(zhēng)力[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（下）[C];2008年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 劉湛明;吳柳堅(jiān);;數(shù)字電視臺(tái)的建設(shè)[A];2007第二屆全國(guó)廣播電視技術(shù)論文集2（下）[C];2007年

9 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

10 羅香玉;李傳佑;汪蕓;;糾刪碼容錯(cuò)組的布局策略研究[A];第18屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2009）、第5屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2009）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2009）論文集[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 朗飛;IBM“冰立方”就像搭積木[N];中國(guó)計(jì)算機(jī)報(bào);2006年

2 郭濤;MediaGrid既不是SAN也不是NAS[N];中國(guó)計(jì)算機(jī)報(bào);2007年

3 本報(bào)記者　　張峰;知己知彼建存儲(chǔ)（上）[N];網(wǎng)絡(luò)世界;2006年

4 森林;NAS資源存儲(chǔ)系統(tǒng)[N];中國(guó)電腦教育報(bào);2002年

5 Hifn(漢帆)杭州信息技術(shù)有限公司 馬劍杰;自動(dòng)精簡(jiǎn)配置：提升存儲(chǔ)利用率有絕招[N];中國(guó)計(jì)算機(jī)報(bào);2009年

6 ;IBM收購(gòu)存儲(chǔ)解決方案公司[N];計(jì)算機(jī)世界;2007年

7 本報(bào)記者 徐恒;面臨機(jī)遇 中國(guó)新型存儲(chǔ)業(yè)合作求創(chuàng)新[N];中國(guó)電子報(bào);2011年

8 李想 徐晉;福州電業(yè)局研發(fā)個(gè)人文件安全存儲(chǔ)系統(tǒng)[N];中國(guó)電力報(bào);2006年

9 ;HDS推出企業(yè)入門級(jí)存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2005年

10 ;戴爾EMC打造新一代高容量存儲(chǔ)系統(tǒng)[N];人民郵電;2004年

相關(guān)博士學(xué)位論文 前10條

1 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

2 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

3 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 施展;基于本體的存儲(chǔ)系統(tǒng)管理研究[D];華中科技大學(xué);2011年

8 黃繼鵬;高速高可靠小型數(shù)字視頻存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2012年

9 劉科;內(nèi)容感知存儲(chǔ)系統(tǒng)中的信息檢索關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

10 姜明華;基于冗余智能存儲(chǔ)通道的存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陸正武;面向流媒體應(yīng)用存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

2 杜睿;基于IP-SAN技術(shù)的石化企業(yè)數(shù)據(jù)集中存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2010年

3 金強(qiáng);基于HBase的RDF存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];浙江大學(xué);2011年

4 余智敏;數(shù)字化圖書(shū)館的數(shù)據(jù)存儲(chǔ)技術(shù)的研究[D];武漢理工大學(xué);2006年

5 陶博舟;磁盤陣列快照系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2007年

6 張小艷;基于嵌入式技術(shù)的USB存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2011年

7 蔣亞群;基于DLX體系結(jié)構(gòu)的微處理器核的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué);2002年

8 亓偉;關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)子系統(tǒng)研究與實(shí)現(xiàn)[D];清華大學(xué);2005年

9 宋迎迎;數(shù)字館藏評(píng)價(jià)指標(biāo)體系研究[D];鄭州大學(xué);2006年

10 袁曉銘;磁盤陣列系統(tǒng)的快照技術(shù)研究[D];華中科技大學(xué);2007年

本文編號(hào)：1869564