本文關(guān)鍵詞：異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略

  更多相關(guān)文章： Spark平臺(tái) 異構(gòu)集群 自適應(yīng) 任務(wù)調(diào)度 監(jiān)測(cè) 權(quán)值

【摘要】：Spark是一種基于內(nèi)存的類Hadoop MapReduce高效大數(shù)據(jù)處理平臺(tái),但其默認(rèn)的任務(wù)調(diào)度策略在異構(gòu)Spark集群下未考慮到節(jié)點(diǎn)的能力差異,降低了系統(tǒng)性能。為此,提出一種基于異構(gòu)Spark集群的自適應(yīng)任務(wù)調(diào)度策略。該策略通過監(jiān)測(cè)節(jié)點(diǎn)的負(fù)載及資源利用率,分析監(jiān)測(cè)得到的參數(shù),自適應(yīng)動(dòng)態(tài)調(diào)整節(jié)點(diǎn)任務(wù)分配權(quán)值。實(shí)驗(yàn)結(jié)果表明,在異構(gòu)節(jié)點(diǎn)情況下,該策略在作業(yè)完成時(shí)間、節(jié)點(diǎn)工作狀態(tài)及資源利用率方面的性能均優(yōu)于默認(rèn)的任務(wù)調(diào)度策略。
【作者單位】： 中國科學(xué)技術(shù)大學(xué)自動(dòng)化系;
【關(guān)鍵詞】： Spark平臺(tái) 異構(gòu)集群 自適應(yīng) 任務(wù)調(diào)度 監(jiān)測(cè) 權(quán)值
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61174062)
【分類號(hào)】：TP311.13
【正文快照】： 斷更新?lián)Q代,Spark集群很容易產(chǎn)生異構(gòu)性。由于異1概述構(gòu)集群下各節(jié)點(diǎn)計(jì)算能力不一致,因此同一任務(wù)分近年來,大數(shù)據(jù)的普及使得大數(shù)據(jù)計(jì)算平臺(tái)配在不同節(jié)點(diǎn)上將會(huì)對(duì)節(jié)點(diǎn)負(fù)載造成不同的影響。Spark[1]備受關(guān)注。Spark是提出的繼Hadoop[2]后的默認(rèn)的Spark任務(wù)調(diào)度方式?jīng)]有考慮集群

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉心松,陳勇,劉艷紅;一種啟發(fā)式任務(wù)調(diào)度策略[J];電子學(xué)報(bào);1992年02期

2 晏燕;引入任務(wù)滿意度探討任務(wù)調(diào)度策略[J];福建電腦;2004年12期

3 吳小惠;;分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的任務(wù)調(diào)度策略改進(jìn)[J];上饒師范學(xué)院學(xué)報(bào);2010年03期

4 蘇蕊,徐煒民,錢曉競(jìng);基于雙向匹配模型的任務(wù)調(diào)度策略的研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年08期

5 王朋;;云計(jì)算環(huán)境下任務(wù)調(diào)度策略研究[J];計(jì)算機(jī)與現(xiàn)代化;2013年07期

6 吳榮華;邵時(shí);楊早;;基于中斷的實(shí)時(shí)任務(wù)調(diào)度策略[J];計(jì)算機(jī)應(yīng)用與軟件;2007年01期

7 王永貴;張偉;韓瑞蓮;;云環(huán)境下綠色任務(wù)調(diào)度策略[J];計(jì)算機(jī)工程與應(yīng)用;2012年34期

8 徐露露;陳俊;馮鐘葵;李安;;一種衛(wèi)星地面系統(tǒng)中實(shí)現(xiàn)任務(wù)調(diào)度策略可配置的方法[J];遙感信息;2012年06期

9 高強(qiáng);;一種結(jié)合優(yōu)先級(jí)和QoS的任務(wù)調(diào)度策略[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2013年01期

10 謝長(zhǎng)生,馬進(jìn)德,黃浩;基于μC__OS-II的任務(wù)調(diào)度策略研究[J];計(jì)算機(jī)工程與科學(xué);2004年08期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 薛景文;基于免疫算法的云計(jì)算任務(wù)調(diào)度策略研究[D];太原理工大學(xué);2013年

2 吳鈞超;基于云用戶應(yīng)用評(píng)估的云平臺(tái)任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

3 楊煥;云計(jì)算環(huán)境下任務(wù)調(diào)度策略的研究[D];河南大學(xué);2013年

4 王芳;云計(jì)算環(huán)境下任務(wù)調(diào)度策略的研究[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2015年

5 唐小龍;基于PVM的任務(wù)調(diào)度策略的研究與實(shí)現(xiàn)[D];中南大學(xué);2002年

6 吳世山;面向節(jié)能的云計(jì)算任務(wù)調(diào)度策略研究[D];哈爾濱工業(yè)大學(xué);2013年

7 張?zhí)?云計(jì)算環(huán)境下節(jié)能任務(wù)調(diào)度策略研究[D];新疆大學(xué);2013年

8 黎煌達(dá);信息物理融合系統(tǒng)優(yōu)化調(diào)度算法的研究[D];廣東工業(yè)大學(xué);2015年

9 孫世明;Linux集群系統(tǒng)任務(wù)調(diào)度策略的研究與設(shè)計(jì)[D];河海大學(xué);2006年

10 李春豹;企業(yè)IT閑散資源整合系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

，

本文編號(hào)：996198