本文關(guān)鍵詞：數(shù)據(jù)局部性感知的Hadoop任務(wù)調(diào)度器

  更多相關(guān)文章： 大數(shù)據(jù) Hadoop 數(shù)據(jù)局部性 任務(wù)調(diào)度

【摘要】：任務(wù)調(diào)度是分布式并行計(jì)算平臺(tái),如Hadoop、Dryad等,最核心的功能。任務(wù)調(diào)度結(jié)果的優(yōu)劣極大地影響著系統(tǒng)吞吐率、計(jì)算集群的資源利用率以及作業(yè)的性能。同時(shí),由于計(jì)算集群的異構(gòu)性、負(fù)載的動(dòng)態(tài)可變性以及任務(wù)特征的多樣性等原因,也使得調(diào)度問題成為了分布式集群中最困難的問題之一。本文在大量地研究了當(dāng)前的分布式并行計(jì)算平臺(tái)中的各種調(diào)度算法的基礎(chǔ)上,深入研究了當(dāng)前Hadoop系統(tǒng)中的任務(wù)調(diào)度算法的優(yōu)缺點(diǎn),特別針對MapReduce的資源再分配過程進(jìn)行了改進(jìn)和優(yōu)化:1)針對當(dāng)前Hadoop系統(tǒng)在Map任務(wù)的調(diào)度時(shí)采用的基于隊(duì)列的任務(wù)調(diào)度方式所存在的缺點(diǎn)(數(shù)據(jù)本地化程度不能達(dá)到最佳),將調(diào)度問題重新映射為一個(gè)流網(wǎng)絡(luò)并且通過對流網(wǎng)絡(luò)的最大流求解,以獲得在節(jié)省網(wǎng)絡(luò)開銷方面更優(yōu)的調(diào)度方案。2)在1)的基礎(chǔ)上對算法進(jìn)一步細(xì)化和改進(jìn),考慮任務(wù)對節(jié)點(diǎn)的偏好度,以達(dá)到進(jìn)一步降低網(wǎng)絡(luò)開銷的目的。3)核心路由器的帶寬往往是限制數(shù)據(jù)傳輸速率的最主要的因素,本文通過改進(jìn)MapReduce中Reduce任務(wù)調(diào)度方式,降低了Shuffle階段跨機(jī)架的網(wǎng)絡(luò)數(shù)據(jù)傳輸量,節(jié)省了核心路由器寶貴的帶寬資源。最后,通過實(shí)際的Hadoop實(shí)驗(yàn)環(huán)境對本文所提出的調(diào)度模型和算法的有效性與高效性進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,該算法在降低MapReduce應(yīng)用的網(wǎng)絡(luò)數(shù)據(jù)傳輸量方面表現(xiàn)優(yōu)異。
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop 數(shù)據(jù)局部性 任務(wù)調(diào)度
【學(xué)位授予單位】：西北師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13
【目錄】：

• 摘要8-9
• Abstract9-10
• 1 緒論10-16
• 1.1 研究背景和意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-13
• 1.3 本文主要工作13-14
• 1.4 論文內(nèi)容結(jié)構(gòu)14-16
• 2 Hadoop項(xiàng)目簡介16-23
• 2.1 MRv1簡介16
• 2.2 MRv2介紹16-23
• 2.2.1 Hadoop分布式文件系統(tǒng)17
• 2.2.2 Hadoop YARN17-19
• 2.2.3 Hadoop MapReduce19-23
• 3 Hadoop任務(wù)調(diào)度算法23-30
• 3.1 split & block23-24
• 3.2 計(jì)算split的位置24-25
• 3.3 資源申請25-26
• 3.4 分配資源26-27
• 3.5 資源再分配27-30
• 4 數(shù)據(jù)局部性感知的Hadoop任務(wù)調(diào)度算法30-41
• 4.1 Map任務(wù)調(diào)度優(yōu)化30-37
• 4.1.1 當(dāng)前的Map任務(wù)調(diào)度算法分析30-31
• 4.1.2 數(shù)據(jù)局部性感知的Map任務(wù)調(diào)度算法31-35
• 4.1.3 對Map任務(wù)調(diào)度算法的進(jìn)一步優(yōu)化35-37
• 4.2 Reduce任務(wù)調(diào)度優(yōu)化37-41
• 4.2.1 當(dāng)前的Reduce任務(wù)調(diào)度算法分析37-39
• 4.2.2 數(shù)據(jù)局部性感知的Reduce任務(wù)調(diào)度算法39-41
• 5 實(shí)驗(yàn)評估41-52
• 5.1 度量標(biāo)準(zhǔn)41-42
• 5.2 Benchmark42
• 5.3 實(shí)驗(yàn)環(huán)境及其他說明42-44
• 5.4 實(shí)驗(yàn)結(jié)果分析44-52
• 5.4.1 平均數(shù)據(jù)傳輸量45-47
• 5.4.2 平均作業(yè)完成時(shí)間47-49
• 5.4.3 平均調(diào)度時(shí)間49
• 5.4.4 帶寬利用率49-52
• 6 總結(jié)與展望52-54
• 6.1 論文工作總結(jié)52
• 6.2 未來工作展望52-54
• 參考文獻(xiàn)54-57
• 攻讀碩士期間發(fā)表的論文和申請的專利57-58
• 致謝58

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 王振江;武成崗;張兆慶;;提高堆數(shù)據(jù)局部性的動(dòng)態(tài)池分配技術(shù)[J];計(jì)算機(jī)學(xué)報(bào);2011年04期

2 劉奎;劉向東;馬寶來;王翠榮;;基于數(shù)據(jù)局部性的推測式Hadoop任務(wù)調(diào)度算法研究[J];計(jì)算機(jī)應(yīng)用研究;2014年01期

3 楊學(xué)軍,戴華東,夏軍;多處理器系統(tǒng)中的數(shù)據(jù)局部性及其優(yōu)化技術(shù)研究[J];中國工程科學(xué);2002年05期

4 李麗英;唐卓;李仁發(fā);;基于LATE的Hadoop數(shù)據(jù)局部性改進(jìn)調(diào)度算法[J];計(jì)算機(jī)科學(xué);2011年11期

5 金國華，，陳福接;循環(huán)扭曲技術(shù)的再認(rèn)識(shí)[J];電子學(xué)報(bào);1994年05期

6 胡長軍;張紀(jì)林;王玨;李建江;;迭代空間交錯(cuò)條塊并行Gauss-Seidel算法[J];軟件學(xué)報(bào);2008年06期

7 ;[J];;年期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 王小海;常數(shù)度P2P系統(tǒng)負(fù)載均衡與拓?fù)鋬?yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 曾令;數(shù)據(jù)局部性感知的Hadoop任務(wù)調(diào)度器[D];西北師范大學(xué);2015年

2 谷曉銘;全局循環(huán)合并的實(shí)現(xiàn)[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

3 肖之慰;面向多核集群的層次化MapReduce模型的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2012年

本文編號(hào)：646201