本文關(guān)鍵詞：一種兼顧負(fù)載均衡的Hadoop集群動(dòng)態(tài)節(jié)能方法

  更多相關(guān)文章： 分布式計(jì)算 Hadoop 調(diào)度算法 動(dòng)態(tài)負(fù)載均衡 節(jié)能調(diào)度

【摘要】：Hadoop集群廣泛應(yīng)用于企業(yè)和研究機(jī)構(gòu)的大數(shù)據(jù)處理和并行計(jì)算中。該文針對(duì)Hadoop集群節(jié)點(diǎn)管理中缺少動(dòng)態(tài)負(fù)載均衡和節(jié)能相互結(jié)合的調(diào)度技術(shù)的現(xiàn)狀,提出一種動(dòng)態(tài)負(fù)反饋調(diào)整算法,并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)用于Hadoop平臺(tái)節(jié)點(diǎn)動(dòng)態(tài)管理的系統(tǒng)。通過(guò)大量Hadoop經(jīng)典測(cè)試用例測(cè)試,結(jié)果表明:該算法能夠有效提高負(fù)載均衡并通過(guò)減少節(jié)點(diǎn)的空閑時(shí)間以有效地節(jié)能,與未使用本算法的結(jié)果相比,節(jié)點(diǎn)平均空閑休眠時(shí)間增加25%,節(jié)能14%。同時(shí)通過(guò)與其他算法相比,節(jié)點(diǎn)間均衡度有一定程度提升,平均負(fù)載方差減少10%。
【作者單位】： 電子科技大學(xué)信息與軟件工程學(xué)院;中國(guó)科學(xué)院重慶綠色智能技術(shù)研究院;
【關(guān)鍵詞】： 分布式計(jì)算 Hadoop 調(diào)度算法 動(dòng)態(tài)負(fù)載均衡 節(jié)能調(diào)度
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61672136,61650110513) 四川省科技廳項(xiàng)目(2016GZ0322) 中科院西部之光項(xiàng)目(R51A150Z10) 重慶市基礎(chǔ)研究與前沿技術(shù)研究計(jì)劃項(xiàng)目(cstc2015jcyjB0244)
【分類號(hào)】：TP311.13
【正文快照】： (1.School of Information and Software Engineering,University of Electronic Science and Technology of China,Chengdu 610054,China;2.Chongqing Institute of Green and Intelligent Technology,Chinese Academy of Sciences,Chongqing 400714,China)隨著互聯(lián)網(wǎng)的高速

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調(diào)度算法[J];軟件學(xué)報(bào);2001年08期

2 易云山,桂志波;分組網(wǎng)絡(luò)中包調(diào)度算法研究[J];江蘇通信技術(shù);2004年03期

3 劉越洋,席裕庚;基于兩步滾動(dòng)的單機(jī)調(diào)度算法研究[J];計(jì)算機(jī)工程;2004年24期

4 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡(luò)中實(shí)時(shí)補(bǔ)償型差額循環(huán)調(diào)度算法的設(shè)計(jì)和實(shí)現(xiàn)[J];電子與信息學(xué)報(bào);2006年10期

5 劉東;張春元;;軟件容錯(cuò)模型中反向與正向調(diào)度算法研究[J];計(jì)算機(jī)工程與科學(xué);2007年09期

6 何琨;趙勇;黃文奇;;基于任務(wù)復(fù)制的分簇與調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2008年05期

7 趙晶英;黃劍鋒;;基于反饋平衡的多生產(chǎn)線調(diào)度算法與仿真[J];計(jì)算機(jī)仿真;2012年02期

8 錢進(jìn);多進(jìn)程組合調(diào)度算法[J];華中工學(xué)院學(xué)報(bào);1983年06期

9 韓立毛;;調(diào)度算法性能的研究[J];鹽城工學(xué)院學(xué)報(bào);1998年01期

10 任泰明;如何用數(shù)學(xué)模型定量評(píng)價(jià)進(jìn)程調(diào)度算法的性能[J];蘭州石化職業(yè)技術(shù)學(xué)院學(xué)報(bào);2001年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 彭洪;涂?jī)錾?;面向操作的調(diào)度算法[A];1994中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1994年

2 李琪林;甄威;周明天;;一種適用于Master-Worker應(yīng)用的動(dòng)態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

3 羅杰;陳躍躍;孫海燕;陽(yáng)柳;淡孝強(qiáng);辛乃軍;王霽;;基于表調(diào)度的Matrix指令調(diào)度算法的實(shí)現(xiàn)[A];第十五屆計(jì)算機(jī)工程與工藝年會(huì)暨第一屆微處理器技術(shù)論壇論文集（B輯）[C];2011年

4 周雙娥;袁由光;熊兵周;;分布系統(tǒng)的動(dòng)態(tài)容錯(cuò)調(diào)度算法[A];第十屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2003年

5 謝昊飛;蔡輝妍;王平;;μC/OS-Ⅱ調(diào)度算法在EPA應(yīng)用中的改進(jìn)與實(shí)現(xiàn)[A];2010中國(guó)儀器儀表學(xué)術(shù)、產(chǎn)業(yè)大會(huì)（論文集2）[C];2010年

6 陳海堅(jiān);張擁軍;;一種準(zhǔn)靜態(tài)容錯(cuò)DVS節(jié)能調(diào)度算法[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

7 王璐璐;張素偉;任頡;;網(wǎng)格調(diào)度算法[A];《制造業(yè)自動(dòng)化與網(wǎng)絡(luò)化制造》學(xué)術(shù)交流會(huì)論文集[C];2004年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前5條

1 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

2 吳剛;對(duì)低功耗進(jìn)程調(diào)度算法的研究[D];復(fù)旦大學(xué);2006年

3 羅威;分布式實(shí)時(shí)容錯(cuò)調(diào)度算法研究[D];華中科技大學(xué);2008年

4 蘭舟;分布式系統(tǒng)中的調(diào)度算法研究[D];電子科技大學(xué);2009年

5 李健;云計(jì)算環(huán)境下最小化運(yùn)營(yíng)開(kāi)銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王德龍;Hadoop平臺(tái)下作業(yè)調(diào)度算法的研究與改進(jìn)[D];南京信息工程大學(xué);2015年

2 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究[D];河北工程大學(xué);2015年

3 王彤;Xen虛擬機(jī)調(diào)度算法的實(shí)時(shí)性能研究[D];東北大學(xué);2014年

4 曹本釗;基于位填充機(jī)制的CAN總線響應(yīng)時(shí)間分析及調(diào)度算法研究[D];東北大學(xué);2014年

5 戚展展;基于MLFQ的Hadoop作業(yè)調(diào)度算法研究與優(yōu)化[D];東北大學(xué);2014年

6 王瑤;基于Hadoop平臺(tái)的動(dòng)態(tài)自適應(yīng)作業(yè)調(diào)度算法研究[D];東北大學(xué);2014年

7 楊洋;基于資源狀況的延時(shí)等待公平調(diào)度算法的研究[D];東北大學(xué);2014年

8 劉濤;云平臺(tái)下自適應(yīng)調(diào)度算法的研究與改進(jìn)[D];太原理工大學(xué);2014年

9 王祺元;云計(jì)算下作業(yè)調(diào)度算法的研究[D];太原理工大學(xué);2013年

10 何沖;Hadoop集群調(diào)度優(yōu)化的研究[D];上海師范大學(xué);2015年

，

本文編號(hào)：601131