本文關(guān)鍵詞：一種優(yōu)化MapReduce系統(tǒng)能耗的任務(wù)分發(fā)算法

  更多相關(guān)文章： MapReduce 能耗 能耗優(yōu)化 任務(wù)分發(fā) 并行性 云計(jì)算 大數(shù)據(jù)

【摘要】：MapReduce是一種典型的分布式計(jì)算模型,一經(jīng)提出就被迅速應(yīng)用到大數(shù)據(jù)處理系統(tǒng)中.文中認(rèn)為MapReduce系統(tǒng)在能耗方面存在優(yōu)化空間.對(duì)于一個(gè)分布式并行計(jì)算系統(tǒng),任務(wù)的并行性對(duì)任務(wù)執(zhí)行性能影響顯著,并行性保證方法在優(yōu)化性能的前提下還應(yīng)該考慮系統(tǒng)能耗.在MapReduce系統(tǒng)中,傳統(tǒng)的Map任務(wù)分發(fā)算法采用"小任務(wù)多次分發(fā)的策略",這種策略雖然保證了并行性,但會(huì)浪費(fèi)節(jié)點(diǎn)的處理能力,消耗額外的能量;而Reduce任務(wù)分發(fā)算法尚不能保證Reduce任務(wù)間的并行性.文中提出通過動(dòng)態(tài)地調(diào)整Map任務(wù)和Reduce任務(wù)大小,也即任務(wù)處理數(shù)據(jù)量的規(guī)模來保證任務(wù)并行性,降低MapReduce系統(tǒng)的整體能耗.文中通過實(shí)驗(yàn)證明該方法能夠有效地降低典型MapReduce作業(yè)的能耗.
【作者單位】： 東北大學(xué)軟件學(xué)院;東北大學(xué)信息科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： MapReduce 能耗 能耗優(yōu)化 任務(wù)分發(fā) 并行性 云計(jì)算 大數(shù)據(jù)
【基金】：國家自然科學(xué)基金(61433008,61202088,61272179,61173028) 教育部博士點(diǎn)基金(20120042110028)、教育部-英特爾信息技術(shù)專項(xiàng)科研基金(MOE-INTEL-2012-06) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(N130417001) 中國博士后科學(xué)基金面上項(xiàng)目(2013M540232) 遼寧省博士啟動(dòng)基金(201403314)資助~~
【分類號(hào)】：TP311.13
【正文快照】： 1引言MapReduce是一種分布式地完成大規(guī)模數(shù)據(jù)集處理和分析運(yùn)算的有效技術(shù),基于MapReduce的應(yīng)用程序能夠在大量普通配置的計(jì)算機(jī)上并行地執(zhí)行,而MapReduce框架則需完成數(shù)據(jù)分割、任務(wù)分發(fā)、資源分配、節(jié)點(diǎn)容錯(cuò)、節(jié)點(diǎn)通信以及結(jié)果保存等復(fù)雜操作.通常,性能是衡量一個(gè)軟件系統(tǒng)優(yōu)

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 劉義;景寧;陳犖;熊偉;;MapReduce框架下基于R-樹的k-近鄰連接算法[J];軟件學(xué)報(bào);2013年08期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

2 陳曉康;劉竹松;;基于改進(jìn)Kd-Tree構(gòu)建算法的k近鄰查詢[J];廣東工業(yè)大學(xué)學(xué)報(bào);2014年03期

3 王鵬;王睿婕;;K-均值聚類算法的MapReduce模型實(shí)現(xiàn)[J];長春理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年03期

4 李振舉;李學(xué)軍;楊晟;劉濤;;云計(jì)算環(huán)境下空間索引構(gòu)建研究[J];測繪與空間地理信息;2015年10期

5 金菁;;基于MapReduce模型的排序算法優(yōu)化研究[J];計(jì)算機(jī)科學(xué);2014年12期

6 李玉丹;鄭曉薇;;Hadoop下多模式并行分類算法及其應(yīng)用研究[J];計(jì)算機(jī)工程;2014年12期

7 王飛;秦小麟;劉亮;沈堯;;基于數(shù)據(jù)流的k-近鄰連接算法[J];計(jì)算機(jī)科學(xué);2015年05期

8 徐小龍;李永萍;李濤;;云計(jì)算領(lǐng)域科技文獻(xiàn)統(tǒng)計(jì)與研究熱點(diǎn)分析[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年04期

9 王詔遠(yuǎn);王宏杰;邢煥來;李天瑞;;基于Spark的蟻群優(yōu)化算法[J];計(jì)算機(jī)應(yīng)用;2015年10期

10 袁開銀;;基于MapReduce工作流優(yōu)化器的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2015年10期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 謝方方;基于距離的孤立點(diǎn)挖掘在計(jì)算機(jī)取證中的應(yīng)用研究[D];山東師范大學(xué);2014年

2 尚丹丹;基于虛擬機(jī)的Hadoop分布式聚類挖掘方法研究與應(yīng)用[D];哈爾濱理工大學(xué);2015年

3 徐原博;基于MapReduce的改進(jìn)關(guān)聯(lián)規(guī)則算法研究[D];吉林大學(xué);2015年

【相似文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 肖培;非集中式MapReduce系統(tǒng)的節(jié)點(diǎn)失效及其容錯(cuò)機(jī)制研究[D];云南大學(xué);2015年

，

本文編號(hào)：1122947