本文關(guān)鍵詞： 云計(jì)算 Hadoop MapReduce LATE 負(fù)載均衡　出處：《安徽理工大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著Web2.0時(shí)代的到來(lái),互聯(lián)網(wǎng)的迅速發(fā)展,人們對(duì)網(wǎng)絡(luò)的依賴越來(lái)越多。尤其是“互聯(lián)網(wǎng)+”的提出,各大企業(yè)均響應(yīng)號(hào)召,實(shí)施轉(zhuǎn)型,各行各業(yè)每天都能產(chǎn)生海量數(shù)據(jù),且呈爆炸式增長(zhǎng)。由于海量信息的存儲(chǔ)需求和新的計(jì)算能力的需求,促使了新的計(jì)算模式-云計(jì)算的誕生。而Hadoop是云平臺(tái)中一個(gè)能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式處理的開(kāi)源平臺(tái),是MapReduce編程模型的開(kāi)源實(shí)現(xiàn),也是眾多學(xué)者進(jìn)行大數(shù)據(jù)研究的首選平臺(tái)。Hadoop的一個(gè)重要組件就是其調(diào)度器,它主要實(shí)現(xiàn)作業(yè)的調(diào)度執(zhí)行和系統(tǒng)資源的合理分配,其調(diào)度算法的優(yōu)劣對(duì)集群的性能有著至關(guān)重要的作用。因此對(duì)Hadoop調(diào)度器及算法的研究有著重要意義。本文通過(guò)研究Hadoop平臺(tái)的現(xiàn)有算法,分析LATE算法的調(diào)度原理及優(yōu)劣,針對(duì)其在異構(gòu)環(huán)境下選擇備份任務(wù)及執(zhí)行節(jié)點(diǎn)時(shí)的不足,提出一個(gè)改進(jìn)的IR-LATE調(diào)度算法。該算法首先對(duì)集群中的作業(yè)負(fù)載進(jìn)行分類,選擇備份執(zhí)行時(shí),通過(guò)IR-LATE調(diào)度算法為剩余完成時(shí)間最長(zhǎng)、最需要備份的慢任務(wù)啟動(dòng)備份并選擇最優(yōu)節(jié)點(diǎn)執(zhí)行。最后通過(guò)實(shí)驗(yàn)驗(yàn)證IR-LATE算法與LATE算法相比,不僅提高了對(duì)慢任務(wù)判定的正確性,還縮短了作業(yè)的平均運(yùn)行時(shí)間,提升了集群的負(fù)載均衡。
[Abstract]:With the arrival of the Web2.0 era and the rapid development of the Internet, people rely more and more on the network, especially the "Internet" proposed, all major enterprises respond to the call to implement the transformation. A variety of industries can produce huge amounts of data every day and grow explosively due to the storage requirements of mass information and the need for new computing power. Hadoop is an open source platform for distributed processing of big data in the cloud platform and an open source implementation of the MapReduce programming model. It is also an important component of big data research platform. Hadoop is its scheduler, which mainly realizes the job scheduling execution and the rational allocation of system resources. The advantages and disadvantages of its scheduling algorithm is very important to the performance of the cluster. Therefore, the research of Hadoop scheduler and algorithm is of great significance. This paper studies the existing algorithms of Hadoop platform. This paper analyzes the scheduling principle of LATE algorithm and its advantages and disadvantages, aiming at its shortcomings in selecting backup tasks and executing nodes in heterogeneous environment. An improved IR-LATE scheduling algorithm is proposed, which first classifies the job load in the cluster. When the backup execution is selected, the remaining completion time is the longest through the IR-LATE scheduling algorithm. The slow task that needs the backup most starts the backup and selects the optimal node to execute. Finally, the IR-LATE algorithm is proved to be more accurate than the LATE algorithm in comparison with the LATE algorithm. It also shortens the average running time of the job and improves the load balance of the cluster.
【學(xué)位授予單位】：安徽理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 羅擁軍;李曉樂(lè);孫如祥;;負(fù)載均衡算法綜述[J];科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì);2008年23期

2 王瓊;何新華;趙穎坤;胡如林;;基于訪問(wèn)特征負(fù)載預(yù)測(cè)的負(fù)載均衡算法[J];裝甲兵工程學(xué)院學(xué)報(bào);2009年05期

3 陳偉;;基于負(fù)反饋的負(fù)載均衡算法實(shí)現(xiàn)[J];湖南文理學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年01期

4 李曉明;;一種模糊反饋流量信息的網(wǎng)絡(luò)負(fù)載均衡算法[J];科技通報(bào);2013年08期

5 谷鳳娜;張志斌;王麗宏;;基于分布式入侵檢測(cè)系統(tǒng)的負(fù)載均衡算法的比較[J];計(jì)算機(jī)科學(xué);2008年11期

6 王魁生;符予;;集中式動(dòng)態(tài)負(fù)載均衡算法的研究[J];西安石油大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

7 李新;黎文偉;;一種改進(jìn)的動(dòng)態(tài)告警負(fù)載均衡算法[J];小型微型計(jì)算機(jī)系統(tǒng);2013年07期

8 陳登偉,魯智勇;網(wǎng)絡(luò)動(dòng)態(tài)負(fù)載均衡算法分析[J];現(xiàn)代電子技術(shù);2003年21期

9 趙兵選;衛(wèi)星;樊少華;藺玉;;基于累積點(diǎn)播概率的負(fù)載均衡算法研究[J];電子技術(shù);2008年09期

10 李輝;張文博;王偉;;基于節(jié)點(diǎn)分組的異構(gòu)集群負(fù)載均衡算法[J];計(jì)算機(jī)應(yīng)用研究;2009年07期

相關(guān)會(huì)議論文 前1條

1 張耀旭;肖征榮;;基于LTE-Advanced網(wǎng)絡(luò)自優(yōu)化的負(fù)載均衡算法[A];2011全國(guó)無(wú)線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前1條

1 本報(bào)記者　范毅波;安全的“平方”[N];網(wǎng)絡(luò)世界;2003年

相關(guān)碩士學(xué)位論文 前10條

1 陳滿屯;分布式交通網(wǎng)絡(luò)仿真的負(fù)載均衡算法研究及設(shè)計(jì)[D];電子科技大學(xué);2014年

2 張萌潔;分布式交通網(wǎng)絡(luò)仿真平臺(tái)的動(dòng)態(tài)負(fù)載均衡算法研究及應(yīng)用[D];電子科技大學(xué);2015年

3 常興磊;基于LVS集群的一種動(dòng)態(tài)負(fù)載均衡算法的研究與實(shí)現(xiàn)[D];湖南師范大學(xué);2015年

4 王少娟;基于Hadoop的作業(yè)調(diào)度負(fù)載均衡算法研究[D];安徽理工大學(xué);2016年

5 熊紀(jì)濤;校園網(wǎng)絡(luò)中自適應(yīng)負(fù)載均衡算法研究[D];電子科技大學(xué);2008年

6 馮秀玲;云計(jì)算環(huán)境下的負(fù)載均衡算法的研究與設(shè)計(jì)[D];北京郵電大學(xué);2012年

7 童瑞霞;基于動(dòng)態(tài)反饋機(jī)制的集群負(fù)載均衡算法研究[D];武漢理工大學(xué);2011年

8 楊瀟;海量安全卡設(shè)備的負(fù)載均衡研究與實(shí)現(xiàn)[D];清華大學(xué);2007年

9 魏欽磊;基于集群的動(dòng)態(tài)反饋負(fù)載均衡算法的研究[D];重慶大學(xué);2013年

10 陳廣東;流媒體服務(wù)器集群負(fù)載均衡算法研究[D];華中師范大學(xué);2006年

，

本文編號(hào)：1460585