本文關(guān)鍵詞：基于Yarn的負(fù)載均衡研究

  更多相關(guān)文章： 負(fù)載均衡 Hadoop Yarn Fair Scheduler算法 動(dòng)態(tài)反饋

【摘要】：近年來,計(jì)算機(jī)行業(yè)的數(shù)據(jù)量以每年翻倍的速度增加,對(duì)計(jì)算機(jī)的計(jì)算能力和存儲(chǔ)容量提出更高要求,分布式存儲(chǔ)和計(jì)算技術(shù)迅速發(fā)展。Hadoop平臺(tái)的應(yīng)用最為廣泛,Yarn是Hadoop2.0之后的調(diào)度機(jī)制,其中的調(diào)度算法在設(shè)計(jì)時(shí)沒有考慮節(jié)點(diǎn)的性能差異。但是,現(xiàn)實(shí)數(shù)據(jù)中心的計(jì)算設(shè)備由于購置時(shí)間、硬件與軟件配置等方面的原因,計(jì)算節(jié)點(diǎn)之間一般都存在性能上的差異,容易導(dǎo)致節(jié)點(diǎn)間出現(xiàn)“忙閑不均”的現(xiàn)象,影響作業(yè)的執(zhí)行效率。因此在調(diào)度模塊Yarn上,通過優(yōu)化調(diào)度算法、采用新的調(diào)度策略,可以有效緩解Hadoop中負(fù)載不均衡的問題,具有重要研究?jī)r(jià)值。本文首先描述了Hadoop平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)過程;在深入研究Hadoop的開源代碼的基礎(chǔ)上,整理出Hadoop中HDFS、MapReduce、Yarn及Yarn內(nèi)部的各個(gè)調(diào)度算法的執(zhí)行原理,繪制出各部分的運(yùn)行流程。然后,針對(duì)節(jié)點(diǎn)性能提出節(jié)點(diǎn)的評(píng)價(jià)指標(biāo),綜合考慮了節(jié)點(diǎn)的硬件配置參數(shù)和運(yùn)行過程中的動(dòng)態(tài)性能指標(biāo);將動(dòng)態(tài)性能指標(biāo)和硬件配置參數(shù)加入到Fair Scheduler算法中,實(shí)現(xiàn)了根據(jù)節(jié)點(diǎn)權(quán)重分配任務(wù)的算法。在Hadoop集群上的實(shí)驗(yàn)表明,所提出的節(jié)點(diǎn)性能評(píng)價(jià)指標(biāo)和對(duì)Fair Scheduler調(diào)度算法的改進(jìn),有效解決了節(jié)點(diǎn)的負(fù)載均衡問題,整體上提高了作業(yè)執(zhí)行效率。最后,在Fair Scheduler調(diào)度算法基礎(chǔ)上進(jìn)一步增加動(dòng)態(tài)反饋機(jī)制,形成了動(dòng)態(tài)反饋調(diào)度算法。算法的基本過程是:從Map階段反饋的心跳得到任務(wù)的執(zhí)行情況,將性能差異反饋給資源調(diào)度系統(tǒng),由資源調(diào)度系統(tǒng)來調(diào)整之后的任務(wù)分配。經(jīng)實(shí)驗(yàn)證明,加入了動(dòng)態(tài)反饋后的調(diào)度算法對(duì)負(fù)載均衡問題有了很大的改善。
【學(xué)位授予單位】：中國(guó)民航大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13;TP301.6

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前7條

1 唐瑋峰;趙振戟;;Hadoop的負(fù)載均衡調(diào)度算法研究[J];軟件導(dǎo)刊;2016年05期

2 劉朵;曾鋒;陳志剛;姚亦韜;;Hadoop平臺(tái)中一種Reduce負(fù)載均衡貪心算法[J];計(jì)算機(jī)應(yīng)用研究;2016年09期

3 陶永才;李文潔;石磊;劉磊;衛(wèi)琳;曹仰杰;;基于負(fù)載均衡的Hadoop動(dòng)態(tài)延遲調(diào)度機(jī)制[J];小型微型計(jì)算機(jī)系統(tǒng);2015年03期

4 林常航;郭文忠;陳煌寧;;針對(duì)Hadoop異構(gòu)集群節(jié)點(diǎn)性能的數(shù)據(jù)分配策略[J];小型微型計(jì)算機(jī)系統(tǒng);2015年01期

5 儲(chǔ)雅;馬廷淮;趙立成;;云計(jì)算資源調(diào)度:策略與算法[J];計(jì)算機(jī)科學(xué);2013年11期

6 饒磊;湯小春;侯增江;;服務(wù)器集群負(fù)載均衡策略的研究[J];計(jì)算機(jī)與現(xiàn)代化;2013年01期

7 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J];微電子學(xué)與計(jì)算機(jī);2012年09期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 王少娟;基于Hadoop的作業(yè)調(diào)度負(fù)載均衡算法研究[D];安徽理工大學(xué);2016年

2 劉黨朋;不均衡環(huán)境下面向Hadoop的負(fù)載均衡算法研究[D];北京郵電大學(xué);2015年

3 趙靜;云計(jì)算平臺(tái)Hadoop負(fù)載均衡研究[D];河北工程大學(xué);2014年

4 張麗梅;基于負(fù)載均衡的云資源調(diào)度策略研究[D];寧夏大學(xué);2014年

5 孟蒙;基于云計(jì)算的負(fù)載均衡技術(shù)的研究[D];南京郵電大學(xué);2014年

6 李元洪;基于反饋的動(dòng)態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2012年

7 劉小帥;PC制造商轉(zhuǎn)型與HaaS商業(yè)模式創(chuàng)新的研究[D];北京郵電大學(xué);2010年

，

本文編號(hào)：1294426