本文關(guān)鍵詞： 云計(jì)算 能效 資源比 MapReduce　出處：《計(jì)算機(jī)學(xué)報(bào)》2015年01期 　論文類(lèi)型：期刊論文

【摘要】：隨著云計(jì)算的快速發(fā)展,IT資源規(guī)模的不斷擴(kuò)大導(dǎo)致能耗問(wèn)題日益凸顯.為降低MapReduce編程模型帶來(lái)的高能耗,文中研究Map/Reduce任務(wù)的資源消費(fèi)特征及該特征與能效的關(guān)系,旨在尋找一種能夠指導(dǎo)資源分配和任務(wù)調(diào)度的資源模型,進(jìn)而實(shí)現(xiàn)能效優(yōu)化.文中提出任務(wù)的能效與任務(wù)被分配的資源量無(wú)關(guān),而與其被分配的各種資源的資源量比例相關(guān),且存在一個(gè)"最佳資源比"使得能效達(dá)到最高.基于此,文中首先提出了普適的資源和能效模型,從模型層面證明最佳資源比和能效之間的關(guān)系,量化空閑資源量和空閑能耗;隨后分析MapReduce編程模型,將普適資源比模型變換到MapReduce下.通過(guò)抽象的數(shù)據(jù)的"生產(chǎn)者-消費(fèi)者"模式,求解Map/Reduce任務(wù)的最佳資源比;最后,通過(guò)實(shí)驗(yàn)從任務(wù)能效和空閑能耗兩個(gè)角度證明了最佳資源比的存在,并根據(jù)實(shí)驗(yàn)結(jié)果,對(duì)MapReduce執(zhí)行過(guò)程進(jìn)行劃分,給出了部分Map/Reduce任務(wù)的最佳資源比.最佳資源比的提出和求解將有利于基于該最佳資源比的任務(wù)調(diào)度和資源分配算法的研究,進(jìn)而實(shí)現(xiàn)Map/Reduce任務(wù)能效的提高.
[Abstract]:With the rapid development of cloud computing, the problem of energy consumption is becoming more and more serious due to the expansion of IT resources. In order to reduce the high energy consumption brought by MapReduce programming model, this paper studies the resource consumption characteristics of Map/Reduce task and its relationship with energy efficiency. The purpose of this paper is to find a resource model that can guide resource allocation and task scheduling so as to optimize energy efficiency. In this paper, it is proposed that the energy efficiency of a task is independent of the amount of resources assigned to the task, but is related to the proportion of resources allocated to various resources. And there is a "best resource ratio" to achieve the highest energy efficiency. Based on this, a universal resource and energy efficiency model is proposed in this paper. The relationship between the optimal resource ratio and energy efficiency is proved from the model level, and the amount of free resources and free energy consumption are quantified. Then, the MapReduce programming model is analyzed, and the universal resource ratio model is transformed to MapReduce. Through the "producer-consumer" model of abstract data, the optimal resource ratio of the Map/Reduce task is solved. The existence of optimal resource ratio is proved from two aspects of task energy efficiency and idle energy consumption through experiments. According to the experimental results, the execution process of MapReduce is divided. In this paper, the optimal resource ratio of some Map/Reduce tasks is given, which will benefit the research of task scheduling and resource allocation algorithm based on the optimal resource ratio, and then improve the efficiency of Map/Reduce tasks.
【作者單位】： 東北大學(xué)軟件學(xué)院;東北大學(xué)信息科學(xué)與工程學(xué)院;
【基金】：國(guó)家自然科學(xué)青年基金(61202088) 中國(guó)博士后科學(xué)基金面上項(xiàng)目(2013M540232) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金(N120817001) 教育部博士點(diǎn)基金(20120042110028)資助~~
【分類(lèi)號(hào)】：TP3

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 宋杰;李甜甜;朱志良;鮑玉斌;于戈;;云數(shù)據(jù)管理系統(tǒng)能耗基準(zhǔn)測(cè)試與分析[J];計(jì)算機(jī)學(xué)報(bào);2013年07期

2 宋杰;李甜甜;閆振興;那俊;朱志良;;一種云計(jì)算環(huán)境下的能效模型和度量方法[J];軟件學(xué)報(bào);2012年02期

3 宋杰;侯泓穎;王智;朱志良;;云計(jì)算環(huán)境下改進(jìn)的能效度量模型[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2013年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 巫晨云;;數(shù)據(jù)中心能效影響因素及評(píng)估模型淺析[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2014年01期

2 王梓名;吳邦華;李玉明;;一種基于云計(jì)算環(huán)境下的降低能耗RECMSA算法[J];電子技術(shù)與軟件工程;2014年07期

3 韓秋英;殷秀葉;張少輝;;云環(huán)境下基于改進(jìn)遺傳算法的資源調(diào)度分配算法[J];智能計(jì)算機(jī)與應(yīng)用;2014年04期

4 彭紅姣;李安南;曹新欣;;一種基于QOS約束簡(jiǎn)化的云計(jì)算資源調(diào)度策略研究[J];電腦知識(shí)與技術(shù);2014年30期

5 何麗;饒俊;趙富強(qiáng);;一種基于能耗優(yōu)化的云計(jì)算系統(tǒng)任務(wù)調(diào)度方法[J];計(jì)算機(jī)工程與應(yīng)用;2013年20期

6 熊智;劉衛(wèi)軍;崔張偉;;一種基于排隊(duì)模型和差分進(jìn)化算法的Web集群節(jié)能部署方案[J];計(jì)算機(jī)科學(xué);2013年09期

7 黃緯;溫志萍;程初;;云計(jì)算中基于K-均值聚類(lèi)的虛擬機(jī)調(diào)度算法研究[J];南京理工大學(xué)學(xué)報(bào);2013年06期

8 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

9 陳志軍;;基于云模型的被動(dòng)隊(duì)列管理算法[J];計(jì)算機(jī)應(yīng)用;2014年04期

10 蔣文賢;程光;;無(wú)線傳感器網(wǎng)絡(luò)能效模型的量化評(píng)價(jià)與優(yōu)化[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2014年05期

相關(guān)博士學(xué)位論文 前1條

1 張小慶;基于云計(jì)算環(huán)境的資源提供優(yōu)化方法研究[D];武漢理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前7條

1 潘鈺;云計(jì)算平臺(tái)中的能耗管理方法[D];南京郵電大學(xué);2013年

2 張?zhí)?云計(jì)算環(huán)境下節(jié)能任務(wù)調(diào)度策略研究[D];新疆大學(xué);2013年

3 侯偉;云計(jì)算中基于遺傳算法的能效管理研究[D];武漢理工大學(xué);2013年

4 呂秋云;云計(jì)算聯(lián)盟資源調(diào)度方法研究[D];武漢理工大學(xué);2013年

5 郭頌;基于云計(jì)算的銀行信貸管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2013年

6 李偉;基于能量感知的Hadoop平臺(tái)調(diào)度器研究[D];哈爾濱工業(yè)大學(xué);2014年

7 馮偉;多目標(biāo)優(yōu)化的虛擬機(jī)調(diào)度模型與關(guān)鍵算法研究[D];復(fù)旦大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 林闖;田源;姚敏;;綠色網(wǎng)絡(luò)和綠色評(píng)價(jià):節(jié)能機(jī)制、模型和評(píng)價(jià)[J];計(jì)算機(jī)學(xué)報(bào);2011年04期

2 李新;賈智平;鞠雷;趙衍恒;宗子良;;一種面向同構(gòu)集群系統(tǒng)的并行任務(wù)節(jié)能調(diào)度優(yōu)化方法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

3 張法;Antonio Fernandez Anta;王林;侯晨穎;劉志勇;;網(wǎng)絡(luò)能耗系統(tǒng)模型及能效算法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

4 葉可江;吳朝暉;姜曉紅;何欽銘;;虛擬化云計(jì)算平臺(tái)的能耗管理[J];計(jì)算機(jī)學(xué)報(bào);2012年06期

5 宋杰;李甜甜;閆振興;那俊;朱志良;;一種云計(jì)算環(huán)境下的能效模型和度量方法[J];軟件學(xué)報(bào);2012年02期

6 林子雨;賴(lài)永炫;林琛;謝怡;鄒權(quán);;云數(shù)據(jù)庫(kù)研究[J];軟件學(xué)報(bào);2012年05期

7 劉晨;陸佳亮;孔令和;吳鳳剛;吳強(qiáng);伍民友;;基于軟件的無(wú)線網(wǎng)綠色代理系統(tǒng)[J];軟件學(xué)報(bào);2012年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

2 司方豪;鐘春琳;;使用MapReduce提高多路數(shù)組聚集效率[J];電腦編程技巧與維護(hù);2014年10期

3 翟東升;蔡萬(wàn)江;陳晨;黃魯成;趙京;;基于MapReduce構(gòu)建專(zhuān)利技術(shù)功效圖的研究[J];情報(bào)雜志;2013年06期

4 賈瑞玉;劉范范;潘雯雯;王偉東;;基于MapReduce模型的并行量子進(jìn)化算法[J];計(jì)算機(jī)工程;2012年08期

5 亢麗蕓;王效岳;白如江;;MapReduce原理及其主要實(shí)現(xiàn)平臺(tái)分析[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2012年02期

6 周濤;賀其備;黃光明;林和平;;基于MapReduce的海量圖像處理模型的研究[J];信息技術(shù);2013年11期

7 楊紹禹;王世卿;;MapReduce模型下數(shù)據(jù)隱私保護(hù)機(jī)制研究[J];計(jì)算機(jī)科學(xué);2012年12期

8 黃志蘭;丁圣勇;楊國(guó)良;羅頌鋒;;基于MapReduce的PCA異常流量檢測(cè)系統(tǒng)實(shí)現(xiàn)[J];電信科學(xué);2010年06期

9 竇蒙;聞立杰;王建民;閆志強(qiáng);;基于MapReduce的海量事件日志并行轉(zhuǎn)化算法[J];計(jì)算機(jī)集成制造系統(tǒng);2013年08期

10 劉熱;;基于MapReduce的大規(guī)模話題網(wǎng)絡(luò)提取分析[J];淮海工學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年02期

相關(guān)會(huì)議論文 前2條

1 鄭宇瀚;郭燕慧;;一種針對(duì)流水線任務(wù)的云計(jì)算模型基于MapReduce的改進(jìn)[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

2 華中杰;徐錫山;楊樹(shù)強(qiáng);田勝利;;MapReduce本地優(yōu)先作業(yè)調(diào)度策略研究與實(shí)現(xiàn)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

相關(guān)碩士學(xué)位論文 前10條

1 張琦;基于MapReduce的分布式規(guī)則匹配系統(tǒng)的研究與實(shí)現(xiàn)[D];浙江大學(xué);2011年

2 余川江;網(wǎng)格中基于MapReduce應(yīng)用的可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

3 陳存衡;基于MapReduce的數(shù)據(jù)圖檢索算法研究[D];大連海事大學(xué);2013年

4 吳貴鑫;云計(jì)算中的MapReduce并行編程模式研究[D];河南理工大學(xué);2010年

5 楊玲;面向云計(jì)算的MapReduce并行編程模式的研究與應(yīng)用[D];湖南大學(xué);2011年

6 劉知俊;面向性能調(diào)優(yōu)的MapReduce集群模擬器的研究與設(shè)計(jì)[D];杭州電子科技大學(xué);2013年

7 鄒鵬;基于抽樣分區(qū)解決MapReduce中的數(shù)據(jù)傾斜問(wèn)題[D];大連理工大學(xué);2013年

8 何翔;異構(gòu)分布式環(huán)境下基于MapReduce模型的任務(wù)調(diào)度算法研究[D];湖南大學(xué);2013年

9 孫雨冰;基于MapReduce化的數(shù)據(jù)聚類(lèi)算法的研究、設(shè)計(jì)與應(yīng)用[D];華東理工大學(xué);2013年

10 荊超;基于MapReduce分布式信令分析研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

，

本文編號(hào)：1550674