本文選題：reduce任務(wù)　切入點(diǎn)：數(shù)據(jù)本地性　出處：《計算機(jī)應(yīng)用研究》2017年07期 　論文類型：期刊論文

【摘要】：在大規(guī)模的Hadoop集群中,良好的任務(wù)調(diào)度策略對提高數(shù)據(jù)本地性、減小網(wǎng)絡(luò)傳輸開銷、減少作業(yè)執(zhí)行時間以及提高集群的作業(yè)吞吐量都有著重要的影響。針對Hadoop架構(gòu)中reduce任務(wù)的數(shù)據(jù)本地性較低問題,提出了一種基于延遲調(diào)度策略的reduce任務(wù)調(diào)度優(yōu)化算法,通過提高reduce任務(wù)的數(shù)據(jù)本地性來減少作業(yè)執(zhí)行時間以及提高作業(yè)吞吐量,該算法在Hadoop架構(gòu)的early shuffle階段,使用多級延遲調(diào)度策略來提高reduce任務(wù)的數(shù)據(jù)本地性。最后重寫原生公平調(diào)度器代碼實現(xiàn)了該調(diào)度算法,并與原生公平調(diào)度器進(jìn)行了對比實驗分析。實驗結(jié)果表明,該算法明顯減少了作業(yè)執(zhí)行時間,提高了集群的作業(yè)吞吐量。
[Abstract]:In large scale Hadoop cluster, good task scheduling strategy can improve data localization and reduce network transmission overhead. It is very important to reduce job execution time and improve the throughput of cluster jobs. Aiming at the problem of low data localization of reduce tasks in Hadoop architecture, a scheduling optimization algorithm for reduce tasks based on delay scheduling strategy is proposed. The algorithm reduces job execution time and improves job throughput by improving the data nativeness of the reduce task. The algorithm is used in the early shuffle phase of the Hadoop architecture. The multilevel delay scheduling strategy is used to improve the data locality of reduce tasks. Finally, the scheduling algorithm is implemented by rewriting native fair scheduler code, and compared with the native fair scheduler. The experimental results show that, The algorithm obviously reduces the job execution time and improves the job throughput of the cluster.
【作者單位】： 武漢理工大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：湖北省自然科學(xué)基金資助項目(2013CFB351)
【分類號】：TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王];鄭樹琴;;調(diào)度策略在并行機(jī)調(diào)度仿真的應(yīng)用[J];機(jī)械管理開發(fā);2013年01期

2 王浩,鐘玉琢;一種新的基于流合并的調(diào)度策略[J];計算機(jī)學(xué)報;2001年03期

3 張麗曉,袁立強(qiáng),徐煒民;基于任務(wù)類型的集群調(diào)度策略[J];計算機(jī)工程;2004年13期

4 寧凝;錢省三;孟志雷;;帶有工藝約束的并行多機(jī)調(diào)度策略[J];工業(yè)工程;2008年02期

5 劉宴兵;李秉智;幸云輝;;寬帶路由器輸入排隊調(diào)度策略的綜合研究[J];計算機(jī)科學(xué);2002年03期

6 楊祥茂;譚曦;;基于網(wǎng)絡(luò)資源消費(fèi)者模型的調(diào)度策略[J];計算機(jī)科學(xué);2003年09期

7 黃敏;姚正林;劉金剛;;網(wǎng)絡(luò)QoS調(diào)度策略的分析與研究[J];計算機(jī)工程與應(yīng)用;2006年29期

8 方泳;袁召云;;環(huán)行穿梭車調(diào)度策略的仿真研究[J];物流技術(shù)與應(yīng)用;2012年04期

9 胡敏,陶洋;基于網(wǎng)絡(luò)配置管理的調(diào)度策略分析[J];數(shù)字通信;1999年04期

10 王振凱,劉斌,徐光yP;核心無狀態(tài)虛擬時鐘調(diào)度策略[J];清華大學(xué)學(xué)報(自然科學(xué)版);2003年01期

相關(guān)會議論文 前10條

1 胡子敬;李紅燕;;一種資源共享情況下的連續(xù)查詢算子調(diào)度策略[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

2 林志紅;;照口水電廠優(yōu)化調(diào)度策略的分析[A];福建省科學(xué)技術(shù)協(xié)會第八屆學(xué)術(shù)年會分會場——提高水電站水庫調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會論文集[C];2008年

3 黃錦濤;何加銘;陳平;賈德祥;;基于移動中間件抽象層調(diào)度策略研究[A];浙江省電子學(xué)會2010學(xué)術(shù)年會論文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大規(guī)模單機(jī)靜態(tài)調(diào)度的終端約束滾動策略[A];第二十二屆中國控制會議論文集（下）[C];2003年

5 趙千川;鄭大鐘;;一類HDS的事件反饋型最優(yōu)調(diào)度策略[A];1996年中國控制會議論文集[C];1996年

6 趙千川;鄭大鐘;;CLB調(diào)度策略的性能估計[A];1998年中國控制會議論文集[C];1998年

7 方劍;席裕庚;;動態(tài)環(huán)境下的Job Shop周期性滾動調(diào)度策略[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

8 淡圖南;朱立平;顏紀(jì)迅;;一種基于時間觸發(fā)的安全關(guān)鍵操作系統(tǒng)混合調(diào)度策略[A];全面建成小康社會與中國航空發(fā)展——2013首屆中國航空科學(xué)技術(shù)大會論文集[C];2013年

9 郭紅星;彭嘉麗;盛濤;田婷;張愛華;;無線多用戶視頻流中支持內(nèi)容感知的包調(diào)度策略[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議論文集[C];2008年

10 李茂增;王丹;杜東明;;一種數(shù)據(jù)流查詢操作符的調(diào)度策略[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2007年

相關(guān)重要報紙文章 前1條

1 戈;國華集群負(fù)載優(yōu)化系統(tǒng)具備八項功能[N];電腦商報;2007年

相關(guān)博士學(xué)位論文 前8條

1 周瀏陽;網(wǎng)絡(luò)控制系統(tǒng)中調(diào)度策略的設(shè)計與延時的處理[D];哈爾濱工業(yè)大學(xué);2015年

2 Rabee Furkan Hassan Saleh;[D];電子科技大學(xué);2015年

3 張曄;基于模塊的調(diào)度策略及其對多處理器系統(tǒng)的支持[D];中國科學(xué)技術(shù)大學(xué);2009年

4 曾碧卿;分布式計算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

5 何忠賀;切換服務(wù)網(wǎng)絡(luò)的穩(wěn)定性及交通信號控制應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 王文樂;基于替代/補(bǔ)償?shù)膶崟r事務(wù)處理策略研究[D];江西財經(jīng)大學(xué);2013年

7 王書舉;車輛控制系統(tǒng)局域網(wǎng)絡(luò)（CAN）調(diào)度策略研究[D];東北大學(xué);2011年

8 張金藝;可重構(gòu)SoC DFT架構(gòu)與TLB測試調(diào)度策略研究[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 丁富淮;嵌入式Linux系統(tǒng)的二級調(diào)度策略優(yōu)化技術(shù)及應(yīng)用[D];蘇州大學(xué);2015年

2 成先鏡;公共自行車兩階段調(diào)度策略與模型及求解方法研究[D];南京師范大學(xué);2015年

3 趙金濤;虛擬單元制造中考慮隨機(jī)擾動的多級動態(tài)穩(wěn)健調(diào)度策略研究[D];江蘇科技大學(xué);2015年

4 張晏;OpenStack的拓?fù)淇梢暬O(jiān)控技術(shù)研究與實現(xiàn)[D];電子科技大學(xué);2014年

5 殷洪海;云環(huán)境下基于改進(jìn)蟻群算法的資源調(diào)度策略[D];電子科技大學(xué);2014年

6 王潤澤;CPU與GPU混合虛擬化資源高效調(diào)度策略[D];上海交通大學(xué);2015年

7 童毅;基于MapReduce模型的云平臺調(diào)度策略優(yōu)化研究[D];南京郵電大學(xué);2015年

8 蘇孝明;考慮大規(guī)模間歇性能源接入的調(diào)度策略研究[D];華北電力大學(xué);2015年

9 王炳旭;基于IaaS云平臺的Hadoop資源調(diào)度策略研究[D];北京交通大學(xué);2016年

10 薛娜;復(fù)合加權(quán)調(diào)度算法在IaaS層中的穩(wěn)定性優(yōu)化研究[D];昆明理工大學(xué);2016年

，

本文編號：1645215