【摘要】：為了克服Hadoop中基于槽的資源模型對(duì)集群資源的浪費(fèi),提高Hadoop集群的資源利用率,提出了一種基于動(dòng)態(tài)資源采集的Hadoop作業(yè)調(diào)度算法.通過在作業(yè)運(yùn)行過程中動(dòng)態(tài)采集部分任務(wù)的CPU,內(nèi)存和IO的資源利用率來(lái)評(píng)估同一作業(yè)中其他任務(wù)的資源需求,然后根據(jù)任務(wù)的實(shí)際資源需求以及TaskTracker節(jié)點(diǎn)的負(fù)載情況進(jìn)行任務(wù)調(diào)度,以充分利用各TaskTracker節(jié)點(diǎn)的計(jì)算資源.通過對(duì)比實(shí)驗(yàn)表明該調(diào)度算法能明顯提高集群的資源利用率,縮短作業(yè)的完成時(shí)間.

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陶永才;薛正元;石磊;;基于MapReduce的貝葉斯垃圾郵件過濾機(jī)制[J];計(jì)算機(jī)應(yīng)用;2011年09期

2 代棟;周學(xué)海;楊峰;王超;;一種基于模糊推理的Hadoop異構(gòu)機(jī)群自動(dòng)配置工具[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

3 梁正友;孫宇;;基于ProActive的容錯(cuò)調(diào)度器設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2008年02期

4 黃志蘭;丁圣勇;楊國(guó)良;羅頌鋒;;基于MapReduce的PCA異常流量檢測(cè)系統(tǒng)實(shí)現(xiàn)[J];電信科學(xué);2010年06期

5 徐娟娟;朱成亮;;NOSQL在WEB日志分析中的應(yīng)用[J];中國(guó)新技術(shù)新產(chǎn)品;2011年10期

6 辛潔;崔志明;趙朋朋;張廣銘;鮮學(xué)豐;;基于MapReduce虛擬機(jī)的Deep Web數(shù)據(jù)源發(fā)現(xiàn)方法[J];通信學(xué)報(bào);2011年07期

7 石海潛;陳犖;劉義;;一種網(wǎng)絡(luò)空間數(shù)據(jù)集成訪問方法[J];兵工自動(dòng)化;2011年10期

8 王雪蓮;鄭曉薇;劉青昆;;LVS集群負(fù)載調(diào)度機(jī)制的研究[J];中國(guó)科技信息;2011年05期

9 金嘉暉;羅軍舟;宋愛波;東方;;基于數(shù)據(jù)中心負(fù)載分析的自適應(yīng)延遲調(diào)度算法[J];通信學(xué)報(bào);2011年07期

10 丁敏敏;賈永庫(kù);;基于插件機(jī)制的網(wǎng)格作業(yè)調(diào)度研究[J];計(jì)算機(jī)工程;2010年21期

相關(guān)會(huì)議論文 前3條

1 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

2 王琴;曾文華;史文，

本文編號(hào)：2582912