本文選題：reduce任務(wù)　切入點(diǎn)：數(shù)據(jù)本地性　出處：《計(jì)算機(jī)應(yīng)用研究》2017年07期 　論文類(lèi)型：期刊論文

【摘要】：在大規(guī)模的Hadoop集群中,良好的任務(wù)調(diào)度策略對(duì)提高數(shù)據(jù)本地性、減小網(wǎng)絡(luò)傳輸開(kāi)銷(xiāo)、減少作業(yè)執(zhí)行時(shí)間以及提高集群的作業(yè)吞吐量都有著重要的影響。針對(duì)Hadoop架構(gòu)中reduce任務(wù)的數(shù)據(jù)本地性較低問(wèn)題,提出了一種基于延遲調(diào)度策略的reduce任務(wù)調(diào)度優(yōu)化算法,通過(guò)提高reduce任務(wù)的數(shù)據(jù)本地性來(lái)減少作業(yè)執(zhí)行時(shí)間以及提高作業(yè)吞吐量,該算法在Hadoop架構(gòu)的early shuffle階段,使用多級(jí)延遲調(diào)度策略來(lái)提高reduce任務(wù)的數(shù)據(jù)本地性。最后重寫(xiě)原生公平調(diào)度器代碼實(shí)現(xiàn)了該調(diào)度算法,并與原生公平調(diào)度器進(jìn)行了對(duì)比實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果表明,該算法明顯減少了作業(yè)執(zhí)行時(shí)間,提高了集群的作業(yè)吞吐量。
[Abstract]:In large scale Hadoop cluster, good task scheduling strategy can improve data localization and reduce network transmission overhead. It is very important to reduce job execution time and improve the throughput of cluster jobs. Aiming at the problem of low data localization of reduce tasks in Hadoop architecture, a scheduling optimization algorithm for reduce tasks based on delay scheduling strategy is proposed. The algorithm reduces job execution time and improves job throughput by improving the data nativeness of the reduce task. The algorithm is used in the early shuffle phase of the Hadoop architecture. The multilevel delay scheduling strategy is used to improve the data locality of reduce tasks. Finally, the scheduling algorithm is implemented by rewriting native fair scheduler code, and compared with the native fair scheduler. The experimental results show that, The algorithm obviously reduces the job execution time and improves the job throughput of the cluster.
【作者單位】： 武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：湖北省自然科學(xué)基金資助項(xiàng)目(2013CFB351)
【分類(lèi)號(hào)】：TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王];鄭樹(shù)琴;;調(diào)度策略在并行機(jī)調(diào)度仿真的應(yīng)用[J];機(jī)械管理開(kāi)發(fā);2013年01期

2 王浩,鐘玉琢;一種新的基于流合并的調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2001年03期

3 張麗曉,袁立強(qiáng),徐煒民;基于任務(wù)類(lèi)型的集群調(diào)度策略[J];計(jì)算機(jī)工程;2004年13期

4 寧凝;錢(qián)省三;孟志雷;;帶有工藝約束的并行多機(jī)調(diào)度策略[J];工業(yè)工程;2008年02期

5 劉宴兵;李秉智;幸云輝;;寬帶路由器輸入排隊(duì)調(diào)度策略的綜合研究[J];計(jì)算機(jī)科學(xué);2002年03期

6 楊祥茂;譚曦;;基于網(wǎng)絡(luò)資源消費(fèi)者模型的調(diào)度策略[J];計(jì)算機(jī)科學(xué);2003年09期

7 黃敏;姚正林;劉金剛;;網(wǎng)絡(luò)QoS調(diào)度策略的分析與研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年29期

8 方泳;袁召云;;環(huán)行穿梭車(chē)調(diào)度策略的仿真研究[J];物流技術(shù)與應(yīng)用;2012年04期

9 胡敏,陶洋;基于網(wǎng)絡(luò)配置管理的調(diào)度策略分析[J];數(shù)字通信;1999年04期

10 王振凱,劉斌,徐光yP;核心無(wú)狀態(tài)虛擬時(shí)鐘調(diào)度策略[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年01期

相關(guān)會(huì)議論文 前10條

1 胡子敬;李紅燕;;一種資源共享情況下的連續(xù)查詢(xún)算子調(diào)度策略[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 林志紅;;照口水電廠優(yōu)化調(diào)度策略的分析[A];福建省科學(xué)技術(shù)協(xié)會(huì)第八屆學(xué)術(shù)年會(huì)分會(huì)場(chǎng)——提高水電站水庫(kù)調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會(huì)論文集[C];2008年

3 黃錦濤;何加銘;陳平;賈德祥;;基于移動(dòng)中間件抽象層調(diào)度策略研究[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大規(guī)模單機(jī)靜態(tài)調(diào)度的終端約束滾動(dòng)策略[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

5 趙千川;鄭大鐘;;一類(lèi)HDS的事件反饋型最優(yōu)調(diào)度策略[A];1996年中國(guó)控制會(huì)議論文集[C];1996年

6 趙千川;鄭大鐘;;CLB調(diào)度策略的性能估計(jì)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

7 方劍;席裕庚;;動(dòng)態(tài)環(huán)境下的Job Shop周期性滾動(dòng)調(diào)度策略[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

8 淡圖南;朱立平;顏紀(jì)迅;;一種基于時(shí)間觸發(fā)的安全關(guān)鍵操作系統(tǒng)混合調(diào)度策略[A];全面建成小康社會(huì)與中國(guó)航空發(fā)展——2013首屆中國(guó)航空科學(xué)技術(shù)大會(huì)論文集[C];2013年

9 郭紅星;彭嘉麗;盛濤;田婷;張愛(ài)華;;無(wú)線(xiàn)多用戶(hù)視頻流中支持內(nèi)容感知的包調(diào)度策略[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2008年

10 李茂增;王丹;杜東明;;一種數(shù)據(jù)流查詢(xún)操作符的調(diào)度策略[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

相關(guān)重要報(bào)紙文章 前1條

1 戈;國(guó)華集群負(fù)載優(yōu)化系統(tǒng)具備八項(xiàng)功能[N];電腦商報(bào);2007年

相關(guān)博士學(xué)位論文 前8條

1 周瀏陽(yáng);網(wǎng)絡(luò)控制系統(tǒng)中調(diào)度策略的設(shè)計(jì)與延時(shí)的處理[D];哈爾濱工業(yè)大學(xué);2015年

2 Rabee Furkan Hassan Saleh;[D];電子科技大學(xué);2015年

3 張曄;基于模塊的調(diào)度策略及其對(duì)多處理器系統(tǒng)的支持[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

4 曾碧卿;分布式計(jì)算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

5 何忠賀;切換服務(wù)網(wǎng)絡(luò)的穩(wěn)定性及交通信號(hào)控制應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 王文樂(lè);基于替代/補(bǔ)償?shù)膶?shí)時(shí)事務(wù)處理策略研究[D];江西財(cái)經(jīng)大學(xué);2013年

7 王書(shū)舉;車(chē)輛控制系統(tǒng)局域網(wǎng)絡(luò)（CAN）調(diào)度策略研究[D];東北大學(xué);2011年

8 張金藝;可重構(gòu)SoC DFT架構(gòu)與TLB測(cè)試調(diào)度策略研究[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 丁富淮;嵌入式Linux系統(tǒng)的二級(jí)調(diào)度策略?xún)?yōu)化技術(shù)及應(yīng)用[D];蘇州大學(xué);2015年

2 成先鏡;公共自行車(chē)兩階段調(diào)度策略與模型及求解方法研究[D];南京師范大學(xué);2015年

3 趙金濤;虛擬單元制造中考慮隨機(jī)擾動(dòng)的多級(jí)動(dòng)態(tài)穩(wěn)健調(diào)度策略研究[D];江蘇科技大學(xué);2015年

4 張晏;OpenStack的拓?fù)淇梢暬O(jiān)控技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 殷洪海;云環(huán)境下基于改進(jìn)蟻群算法的資源調(diào)度策略[D];電子科技大學(xué);2014年

6 王潤(rùn)澤;CPU與GPU混合虛擬化資源高效調(diào)度策略[D];上海交通大學(xué);2015年

7 童毅;基于MapReduce模型的云平臺(tái)調(diào)度策略?xún)?yōu)化研究[D];南京郵電大學(xué);2015年

8 蘇孝明;考慮大規(guī)模間歇性能源接入的調(diào)度策略研究[D];華北電力大學(xué);2015年

9 王炳旭;基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究[D];北京交通大學(xué);2016年

10 薛娜;復(fù)合加權(quán)調(diào)度算法在IaaS層中的穩(wěn)定性?xún)?yōu)化研究[D];昆明理工大學(xué);2016年

，

本文編號(hào)：1645215