本文關(guān)鍵詞：基于云計(jì)算Hadoop異構(gòu)集群的并行作業(yè)調(diào)度算法

  更多相關(guān)文章： 云計(jì)算 作業(yè)調(diào)度 集群資源 慢任務(wù)

【摘要】：針對(duì)Hadoop異構(gòu)集群中計(jì)算和數(shù)據(jù)資源的不一致分布所導(dǎo)致的調(diào)度性能較低的缺點(diǎn),設(shè)計(jì)了一種基于Hadoop集群和改進(jìn)Late算法的并行作業(yè)調(diào)度算法;首先,介紹了基于Hadoop框架和Map-Reduce模型的調(diào)度原理,然后,在經(jīng)典的Late調(diào)度算法的基礎(chǔ)上,對(duì)Map任務(wù)和Reduce任務(wù)的各階段執(zhí)行時(shí)間進(jìn)度比例進(jìn)行存儲(chǔ)和更新,為了進(jìn)一步地提高調(diào)度效率,將慢任務(wù)遷移到本地化節(jié)點(diǎn)或離數(shù)據(jù)資源較近的物理節(jié)點(diǎn)上,并給了基于改進(jìn)Late算法的作業(yè)調(diào)度流程;為了驗(yàn)證文中方法,在Hadoop集群系統(tǒng)上測(cè)試,設(shè)定1個(gè)為Jobtracker主控節(jié)點(diǎn)和7個(gè)為TaskTracker節(jié)點(diǎn),實(shí)驗(yàn)結(jié)果表明文中方法能實(shí)現(xiàn)異構(gòu)集群的作業(yè)調(diào)度,且與其它方法比較,具有較低的預(yù)測(cè)誤差和較高的調(diào)度效率。
【作者單位】： 嘉應(yīng)學(xué)院計(jì)算機(jī)學(xué)院;鄭州鐵路職業(yè)技術(shù)學(xué)院軟件學(xué)院;
【關(guān)鍵詞】： 云計(jì)算 作業(yè)調(diào)度 集群資源 慢任務(wù)
【基金】：廣東省高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計(jì)劃基金資助項(xiàng)目(LYM10121)
【分類號(hào)】：TP393.01
【正文快照】： 0引言云計(jì)算[1-2](Cloud computing)是一個(gè)虛擬化的資源池,是在分布式計(jì)算、網(wǎng)格計(jì)算的基礎(chǔ)上發(fā)展而來(lái),具有透明性、可擴(kuò)展性、可伸縮性、冗余性和可用性等特點(diǎn)。Hadoop[3-5]是Map-Reduce調(diào)度方式和HDFS(HadoopDistributed File System)數(shù)據(jù)存儲(chǔ)方式的開(kāi)源實(shí)現(xiàn)。Hadoop采用主

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 梁毅,孟丹,樊建平;RB-FIFT——一種結(jié)合Firstfit及預(yù)約回填策略的機(jī)群作業(yè)調(diào)度算法[J];計(jì)算機(jī)研究與發(fā)展;2004年11期

2 鄧勇;王汝傳;張琳;陳娟;;基于移動(dòng)代理的網(wǎng)格作業(yè)調(diào)度模型的研究[J];南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年05期

3 張偉哲;胡銘曾;李斌;高雷;;計(jì)算網(wǎng)格環(huán)境下多址作業(yè)調(diào)度系統(tǒng)模型研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期

4 郭改文;趙冰;;校園網(wǎng)格及其作業(yè)服務(wù)的研究[J];河南教育學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年02期

5 劉陽(yáng);童小念;;基于遺傳模擬退火算法的網(wǎng)絡(luò)負(fù)載均衡研究[J];計(jì)算機(jī)與數(shù)字工程;2008年09期

6 金海,陳剛,趙美平;容錯(cuò)計(jì)算網(wǎng)格作業(yè)調(diào)度模型的研究[J];計(jì)算機(jī)研究與發(fā)展;2004年08期

7 張曉杰;孟慶春;曲衛(wèi)芬;;基于蟻群優(yōu)化算法的服務(wù)網(wǎng)格的作業(yè)調(diào)度[J];計(jì)算機(jī)工程;2006年08期

8 王中生;錢衛(wèi)平;;基于QoS的網(wǎng)格作業(yè)調(diào)度研究與設(shè)計(jì)[J];國(guó)外電子測(cè)量技術(shù);2008年11期

9 韓光法;王汝傳;;基于移動(dòng)代理在網(wǎng)格計(jì)算中的結(jié)構(gòu)模型研究[J];計(jì)算機(jī)科學(xué);2004年10期

10 趙晨陽(yáng);楊裔;劉禮;李廉;;基于螞蟻算法的網(wǎng)格作業(yè)調(diào)度研究[J];微電子學(xué)與計(jì)算機(jī);2007年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前8條

1 劉禮;楊裔;火久元;劉海迪;李振芳;李廉;;數(shù)學(xué)網(wǎng)絡(luò)集成環(huán)境作業(yè)調(diào)度系統(tǒng)模型[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

2 陳娟;王汝傳;;基于移動(dòng)代理的網(wǎng)格作業(yè)管理模型的研究[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2005年

3 趙晨陽(yáng);楊裔;劉禮;李廉;;基于螞蟻算法的網(wǎng)格作業(yè)調(diào)度研究[A];2007年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年

4 張偉哲;劉欣然;云曉春;張宏莉;胡銘曾;劉凱鵬;;信任驅(qū)動(dòng)的網(wǎng)格作業(yè)調(diào)度算法[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)'2005論文集（上冊(cè)）[C];2005年

5 葉建偉;方濱興;張宏莉;;基于節(jié)點(diǎn)相似度的容錯(cuò)網(wǎng)格作業(yè)調(diào)度算法研究[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

6 馮建周;王曉寰;孔令富;;基于Condor-G實(shí)現(xiàn)網(wǎng)格作業(yè)提交和跨域調(diào)度[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

7 李崧;崔建生;何青;;建設(shè)校園計(jì)算網(wǎng)格，提升整體科研實(shí)力[A];北京高教學(xué)會(huì)實(shí)驗(yàn)室工作研究會(huì)2007年學(xué)術(shù)研討會(huì)論文集[C];2007年

8 殷杰;王躍宣;吳澄;;網(wǎng)格服務(wù)建模分析[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前5條

1 ;IT系統(tǒng)運(yùn)行質(zhì)量的保障者[N];網(wǎng)絡(luò)世界;2003年

2 ;日立: 實(shí)現(xiàn)管理的自動(dòng)化[N];計(jì)算機(jī)世界;2004年

3 ;高效管理體現(xiàn)價(jià)值[N];中國(guó)計(jì)算機(jī)報(bào);2004年

4 祁金華;云計(jì)算與網(wǎng)格計(jì)算的深入比較[N];網(wǎng)絡(luò)世界;2008年

5 ;獲獎(jiǎng)產(chǎn)品：Unicenter Enterprise Command Center[N];計(jì)算機(jī)世界;2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 陶永才;網(wǎng)格環(huán)境下作業(yè)可靠調(diào)度機(jī)制的研究[D];華中科技大學(xué);2009年

2 張浩;基于結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)的高性能計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2009年

3 梁毅;面向網(wǎng)絡(luò)計(jì)算的作業(yè)調(diào)度系統(tǒng)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 李波;支持網(wǎng)格資源預(yù)留的作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2005年

5 武斌;網(wǎng)格市場(chǎng)環(huán)境下資源調(diào)度機(jī)制研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

6 陳海勇;網(wǎng)格作業(yè)調(diào)度關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2009年

7 楊冬菊;異構(gòu)集群管理系統(tǒng)的關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2002年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 何林;面向網(wǎng)格計(jì)算的多集群間作業(yè)調(diào)度策略的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

2 鄭慶華;網(wǎng)格計(jì)算中的調(diào)度問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

3 崔海;計(jì)算網(wǎng)格中的作業(yè)調(diào)度性能分析[D];青島大學(xué);2007年

4 侯正雄;校園計(jì)算網(wǎng)格環(huán)境下作業(yè)管理的研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2005年

5 支麗艷;一個(gè)網(wǎng)格資源管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];蘇州大學(xué);2006年

6 黃義番;基于性能量化矩陣的網(wǎng)格作業(yè)調(diào)度問(wèn)題研究[D];武漢理工大學(xué);2009年

7 李e，

本文編號(hào)：592621