本文選題：Hadoop云平臺 + 任務(wù)調(diào)度�。� 參考：《計算機(jī)應(yīng)用研究》2017年10期

【摘要】：針對異構(gòu)Hadoop云計算平臺中任務(wù)調(diào)度問題進(jìn)行了研究,并分析了現(xiàn)有推測執(zhí)行調(diào)度和LATE調(diào)度方案的缺陷,提出一種基于任務(wù)進(jìn)度感知的自適應(yīng)任務(wù)調(diào)度方案。首先,根據(jù)當(dāng)前計算節(jié)點(diǎn)上的任務(wù)進(jìn)度情況,估計任務(wù)近似完成時間(ATE),以此確定掉隊者(straggler)任務(wù);然后,以平均節(jié)點(diǎn)任務(wù)進(jìn)度的25%為閾值,將節(jié)點(diǎn)分為慢節(jié)點(diǎn)和快節(jié)點(diǎn)。當(dāng)straggler后備任務(wù)達(dá)到一定閾值時,將其優(yōu)先分配到快節(jié)點(diǎn)中執(zhí)行。實(shí)驗結(jié)果表明,提出的方案能夠為異構(gòu)Hadoop平臺合理分配任務(wù),有效降低了任務(wù)完成時間和響應(yīng)延遲,同時提高了平臺吞吐量。
[Abstract]:The task scheduling problem in heterogeneous Hadoop cloud computing platform is studied, and the shortcomings of existing conjecture execution scheduling and LATE scheduling schemes are analyzed, and an adaptive task scheduling scheme based on task schedule awareness is proposed. First, according to the current calculation of the task progress on the node, the task is estimated to be approximately completed time and ATEI, so as to determine the straggler task, and then the node is divided into slow node and fast node with a threshold of 25% of the average progress of the node task. When the straggler backup task reaches a certain threshold, it is preferentially assigned to execute in the fast node. The experimental results show that the proposed scheme can allocate tasks reasonably for heterogeneous Hadoop platforms, reduce the task completion time and response delay, and improve the throughput of the platform.
【作者單位】： 重慶郵電大學(xué)移通學(xué)院計算機(jī)科學(xué)系;重慶郵電大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：重慶市教委科學(xué)技術(shù)研究項目(KJ1502003) 重慶市本科高校“三特行動計劃”特殊專業(yè)建設(shè)項目(渝教高(2013)49號)
【分類號】：TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前3條

1 謝天宇;曹奇英;;基于Hadoop集群的分布式入侵檢測系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];微計算機(jī)信息;2012年09期

2 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

3 王志力;;云計算下Hadoop平臺的搭建與實(shí)踐[J];中國科技信息;2014年09期

相關(guān)碩士學(xué)位論文 前8條

1 淦作知;基于Hadoop的大規(guī)模中文網(wǎng)站聚類的設(shè)計與實(shí)現(xiàn)[D];華中師范大學(xué);2016年

2 任福帥;基于Hadoop區(qū)域智慧教育云平臺研究與應(yīng)用[D];吉林大學(xué);2016年

3 張興平;基于Hadoop的微博用戶情感分類研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

4 鄭天紅;基于Hadoop的網(wǎng)絡(luò)流量分流并行化設(shè)計與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2012年

5 孫佳;基于Hadoop的郵件敏感詞檢測與告警技術(shù)研究[D];東華大學(xué);2015年

6 關(guān)文斌;基于Hadoop的微博用戶及微博影響力排名研究[D];暨南大學(xué);2015年

7 黃興;基于微博信息分析對旅游景點(diǎn)熱度預(yù)測系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];杭州電子科技大學(xué);2014年

8 呂峰;基于Hadoop海量數(shù)據(jù)微博系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2013年

，

本文編號：1866110