【摘要】：通過實(shí)驗(yàn)對FIFO、CAP和FAIR三種調(diào)度算法的特點(diǎn)與性能進(jìn)行了對比分析,得出了它們各自優(yōu)點(diǎn)和存在的問題.針對公平調(diào)度算法Fair Scheduler不適用于內(nèi)存密集型作業(yè)調(diào)度的缺點(diǎn),提出一種基于內(nèi)存平衡的公平調(diào)度算法FMScheduler,在整個調(diào)度的過程中考慮作業(yè)的內(nèi)存使用和計(jì)算節(jié)點(diǎn)的內(nèi)存情況,通過加入內(nèi)存比較機(jī)制、調(diào)整作業(yè)公平權(quán)重計(jì)算方法以及引入作業(yè)預(yù)留機(jī)制,對原有Hadoop公平調(diào)度算法進(jìn)行改進(jìn)與優(yōu)化.最后,通過仿真實(shí)驗(yàn)對FMScheduler進(jìn)行測試分析,實(shí)驗(yàn)結(jié)果表明,FMScheduler在高內(nèi)存作業(yè)調(diào)度環(huán)境下的獨(dú)立響應(yīng)時間和作業(yè)整體的平均響應(yīng)時間都比Fair Scheduler有所減少;并且在多用戶多作業(yè)且包含內(nèi)存密集型作業(yè)的環(huán)境中,FMScheduler與Hadoop原有的三種調(diào)度算法相比,在處理數(shù)據(jù)密集型作業(yè)和內(nèi)存密集型作業(yè)的混合場景時,能夠更合理公平地調(diào)度作業(yè).
[Abstract]:The characteristics and performance of FIFO,CAP and FAIR scheduling algorithms are compared and analyzed through experiments, and their respective advantages and problems are obtained. Aiming at the disadvantage that fair scheduling algorithm Fair Scheduler is not suitable for memory-intensive job scheduling, a fair scheduling algorithm based on memory balance (FMScheduler,) is proposed to consider the memory usage of jobs and the memory situation of nodes in the whole scheduling process. By adding the memory comparison mechanism, adjusting the calculation method of job fair weight and introducing the job reservation mechanism, the original Hadoop fair scheduling algorithm is improved and optimized. Finally, the FMScheduler is tested and analyzed by simulation experiments. The experimental results show that the independent response time of FMScheduler and the average response time of the whole job in high memory job scheduling environment are lower than that of Fair Scheduler. Moreover, in the environment of multi-user and multi-job and including memory-intensive jobs, FMScheduler can schedule jobs more reasonably and fairly than the three original scheduling algorithms of Hadoop when dealing with the mixed scenarios of data-intensive jobs and memory-intensive jobs.
【作者單位】： 海南大學(xué)信息科學(xué)技術(shù)學(xué)院;
【基金】：國家自然科學(xué)基金項(xiàng)目(71161007)資助 海南省國際科技合作專項(xiàng)項(xiàng)目(KJHZ2014-16)資助 海南省重點(diǎn)科技計(jì)劃項(xiàng)目(ZDXM20130078)資助
【分類號】：TP333;TP301.6

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 陳全;鄧倩妮;;異構(gòu)環(huán)境下自適應(yīng)的Map-Reduce調(diào)度[J];計(jì)算機(jī)工程與科學(xué);2009年S1期

2 高瞻;羅四維;;基于資源-預(yù)留圖的動態(tài)網(wǎng)格資源預(yù)留機(jī)制[J];軟件學(xué)報(bào);2011年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 開華東;田琪;;基于MapReduce集群的加權(quán)公平隊(duì)列調(diào)度算法研究[J];電腦知識與技術(shù);2011年09期

2 李鑫;張鵬;;Hadoop集群公平調(diào)度算法的改進(jìn)與實(shí)現(xiàn)[J];電腦知識與技術(shù);2012年01期

3 王皎;劉閆鋒;;Hadoop集群參數(shù)的自動調(diào)優(yōu)[J];電腦知識與技術(shù);2012年12期

4 鄒世軍;趙紅武;;基于Hadoop集群的加權(quán)循環(huán)算法的研究[J];工業(yè)控制計(jì)算機(jī);2012年10期

5 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

6 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

7 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

9 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

10 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

相關(guān)會議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 唐磊;基于云計(jì)算的網(wǎng)絡(luò)化操作系統(tǒng)平臺任務(wù)調(diào)度的研究[D];北京郵電大學(xué);2012年

2 周楊;Hadoop平臺下調(diào)度算法和下載機(jī)制的優(yōu)化[D];中南大學(xué);2012年

3 顧宇;船舶監(jiān)控系統(tǒng)中海量數(shù)據(jù)處理技術(shù)研究[D];南京航空航天大學(xué);2012年

4 張建平;云計(jì)算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究[D];南京郵電大學(xué);2013年

5 李筱;面向異構(gòu)多核系統(tǒng)的并行計(jì)算模型和調(diào)度算法研究[D];湖南大學(xué);2012年

6 李麗英;面向一種云計(jì)算平臺的任務(wù)調(diào)度技術(shù)研究[D];湖南大學(xué);2011年

7 呂明育;Hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2013年

8 郭銳;MapReduce故障恢復(fù)機(jī)制設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

9 魏炎炎;異構(gòu)Hadoop平臺性能分析及其調(diào)度算法優(yōu)化研究[D];合肥工業(yè)大學(xué);2013年

10 吳崇正;基于MapReduce的分布式搜索引擎研究[D];蘭州理工大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 胡春明;懷進(jìn)鵬;沃天宇;;一種基于松弛時間的服務(wù)網(wǎng)格資源能力預(yù)留機(jī)制[J];計(jì)算機(jī)研究與發(fā)展;2007年01期

2 胡春明;懷進(jìn)鵬;沃天宇;雷磊;;一種支持端到端QoS的服務(wù)網(wǎng)格體系結(jié)構(gòu)[J];軟件學(xué)報(bào);2006年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 毛友發(fā),楊明福;并行存儲反應(yīng)調(diào)度算法研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年12期

2 王保進(jìn);搶占閾值調(diào)度算法的分析與研究[J];微計(jì)算機(jī)信息;2005年08期

3 汪錦嶺,金蓓弘,李京;一種基于強(qiáng)可有序化標(biāo)準(zhǔn)的長事務(wù)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2005年08期

4 董薇;張淑麗;張玲君;;基于剩余函數(shù)的單件車間調(diào)度算法的研究[J];東北電力大學(xué)學(xué)報(bào);2006年02期

5 李丹;張宏國;;資源約束下多項(xiàng)目再調(diào)度算法[J];信息技術(shù);2007年04期

6 劉娟;徐峰;俞承芳;李旦;;時間約束條件下改進(jìn)力向調(diào)度算法[J];信息與電子工程;2009年02期

7 夏亮;祝永新;;溫度感知的調(diào)度算法研究與實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2009年07期

8 廖春科;羅莉;何鴻君;;基于優(yōu)先級的訪存調(diào)度算法研究[J];計(jì)算機(jī)與數(shù)字工程;2009年08期

9 彭鼎祥;;一種多端口數(shù)據(jù)調(diào)度算法[J];中國高新技術(shù)企業(yè);2010年24期

10 湯e，

本文編號：2387921