【摘要】：近年來,隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展,數(shù)據(jù)信息在各個(gè)行業(yè)已經(jīng)呈爆炸式增長。據(jù)全球互聯(lián)網(wǎng)中心數(shù)據(jù),截止到2020年底,全球數(shù)據(jù)量預(yù)計(jì)將達(dá)到35ZB。就像人們說的,大數(shù)據(jù)時(shí)代正式到來了。在處理海量數(shù)據(jù)的關(guān)鍵時(shí)刻,云計(jì)算技術(shù)隨之產(chǎn)生,隨著技術(shù)不斷發(fā)展,處理大數(shù)據(jù)的云計(jì)算技術(shù)已被廣泛應(yīng)用于公司和企業(yè),例如Google、Microsoft、阿里巴巴,這些公司的云計(jì)算系統(tǒng)大多基于一個(gè)分布式處理軟件框架,即hadoop平臺。Hadoop是一個(gè)安全、可靠、可并行化運(yùn)行的開放式源代碼框架,并且可實(shí)現(xiàn)對應(yīng)用開發(fā)者的透明處理,用戶并不需要了解hadoop底層實(shí)現(xiàn)細(xì)節(jié)。但畢竟云計(jì)算技術(shù)研究時(shí)間較短,技術(shù)研究還不太深入,云計(jì)算仍存在一些挑戰(zhàn),例如安全性,性能,資源管理,可靠性等。資源管理問題與任務(wù)調(diào)度有關(guān),云計(jì)算任務(wù)調(diào)度是指將用戶任務(wù)分配給可用資源,以改善任務(wù)的執(zhí)行,提高資源利用率。因此通過改進(jìn)Hadoop平臺任務(wù)調(diào)度方法可以提高Hadoop平臺資源利用率和整體性能。作業(yè)調(diào)度技術(shù)是hadoop平臺的核心技術(shù),它主要負(fù)責(zé)將系統(tǒng)中空閑資源分配給各個(gè)作業(yè),以及控制作業(yè)執(zhí)行的順序,它對于hadoop平臺計(jì)算資源分配及整體性能起著至關(guān)重要的作用。因此我們對于作業(yè)調(diào)度算法的研究具有重要意義。云計(jì)算資源的分配是基于SLA服務(wù)的,任務(wù)執(zhí)行成本是任務(wù)調(diào)度算法的主要性能參數(shù)之一。另外,任務(wù)調(diào)度算法被認(rèn)為是一個(gè)復(fù)雜的過程,因?yàn)樗仨毘浞掷每捎觅Y源來執(zhí)行大量任務(wù)。這就需要開發(fā)任務(wù)調(diào)度算法時(shí)應(yīng)考慮許多參數(shù),從用戶的角度來看任務(wù)編譯時(shí)間,成本和響應(yīng)時(shí)間非常重要。而從云提供商的角度來看,資源利用率,容錯(cuò)能力和功耗則很重要。本文首先介紹了hadoop平臺的背景、結(jié)構(gòu)及hadoop核心技術(shù);然后對單隊(duì)列調(diào)度(FIFO)、容量調(diào)度(Capacity)、公平調(diào)度(Fair)三種現(xiàn)有的調(diào)度算法作了詳盡介紹,并在此基礎(chǔ)上對如何改進(jìn)算法的不足、提高系統(tǒng)整體性能作了介紹,最后提出基于遺傳算法(GA)的改進(jìn)任務(wù)調(diào)度策略用于分配和執(zhí)行應(yīng)用程序的任務(wù),以減少任務(wù)完成時(shí)間,降低執(zhí)行成本,并最大限度地提高資源利用率。提出的算法的性能已經(jīng)使用Cloud Sim工具包進(jìn)行了評估。
[Abstract]:In recent years, with the continuous development of computer information technology, data information has been explosive growth in various industries. According to the Global Internet Center, by the end of 2020, the global data volume is expected to reach 35 ZB. As they say, the big data era is officially coming. With the development of cloud computing technology, cloud computing technology to deal with big data has been widely used in companies and enterprises, such as Google Microsoft, Alibaba, Most of the cloud computing systems of these companies are based on a distributed processing software framework, hadoop platform. Hadoop is a secure, reliable, parallelized open source code framework, and can achieve transparent processing to application developers. Users do not need to know the details of hadoop's underlying implementation. But after all, cloud computing technology research time is short, technology research is not very deep, cloud computing still has some challenges, such as security, performance, resource management, reliability and so on. Resource management is related to task scheduling. Cloud computing task scheduling is to assign user tasks to available resources to improve task execution and resource utilization. Therefore, the resource utilization and overall performance of Hadoop platform can be improved by improving the task scheduling method of Hadoop platform. Job scheduling is the core technology of hadoop platform. It is mainly responsible for allocating free resources to each job in the system and controlling the order of job execution. It plays an important role in computing resource allocation and overall performance of hadoop platform. Therefore, it is of great significance to study the job scheduling algorithm. The allocation of cloud computing resources is based on SLA services, and task execution cost is one of the main performance parameters of task scheduling algorithm. In addition, task scheduling algorithm is considered to be a complex process, because it must make full use of available resources to perform a large number of tasks. Many parameters should be taken into account when developing task scheduling algorithms. From the point of view of the user, the compilation time, cost and response time of the task are very important. From the point of view of cloud provider, resource utilization, fault tolerance and power consumption are very important. This paper first introduces the background, structure and hadoop core technology of hadoop platform, then introduces the three existing scheduling algorithms of (FIFO), capacity scheduling (Capacity), fair scheduling (Fair) in detail, and on the basis of this, gives a detailed description of how to improve the algorithm. Finally, an improved task scheduling strategy based on genetic algorithm (GA) is proposed to allocate and execute the tasks of the application program, in order to reduce the task completion time and the execution cost. And to maximize resource utilization. The performance of the proposed algorithm has been evaluated using the Cloud Sim toolkit.
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馮剛;馬偉;金京林;葛紅;鮑蘇蘇;;一種改進(jìn)的公平分享調(diào)度算法[J];微電子學(xué)與計(jì)算機(jī);2008年04期

2 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調(diào)度算法[J];軟件學(xué)報(bào);2001年08期

3 伊鵬,張興明,郭云飛;基于輸入排隊(duì)的調(diào)度算法[J];計(jì)算機(jī)工程;2003年19期

4 易云山,桂志波;分組網(wǎng)絡(luò)中包調(diào)度算法研究[J];江蘇通信技術(shù);2004年03期

5 任艷穎,張文軍,王彬;無線調(diào)度算法[J];計(jì)算機(jī)工程;2004年15期

6 劉越洋,席裕庚;基于兩步滾動(dòng)的單機(jī)調(diào)度算法研究[J];計(jì)算機(jī)工程;2004年24期

7 楊梅樾;馬祥杰;;輸入排隊(duì)中調(diào)度算法的研究[J];信息工程大學(xué)學(xué)報(bào);2006年02期

8 曾東海;劉海;金士堯;;集群負(fù)載調(diào)度算法性能評價(jià)[J];計(jì)算機(jī)工程;2006年11期

9 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡(luò)中實(shí)時(shí)補(bǔ)償型差額循環(huán)調(diào)度算法的設(shè)計(jì)和實(shí)現(xiàn)[J];電子與信息學(xué)報(bào);2006年10期

10 劉東;張春元;;軟件容錯(cuò)模型中反向與正向調(diào)度算法研究[J];計(jì)算機(jī)工程與科學(xué);2007年09期

相關(guān)會議論文 前10條

1 彭洪;涂凍生;;面向操作的調(diào)度算法[A];1994中國控制與決策學(xué)術(shù)年會論文集[C];1994年

2 羅豪杰;許都;;IEEE 802.16 MAC層上行調(diào)度算法[A];四川省通信學(xué)會2007年學(xué)術(shù)年會論文集[C];2007年

3 張遵福;李樂民;;支持QoS的調(diào)度算法設(shè)計(jì)[A];2006中國西部青年通信學(xué)術(shù)會議論文集[C];2006年

4 姚建波;竺小松;李晶晶;;非對稱通信環(huán)境中兩種廣播調(diào)度算法的分析與比較[A];中國通信學(xué)會第六屆學(xué)術(shù)年會論文集（上）[C];2009年

5 景維鵬;吳智博;劉宏偉;董劍;;一種支持任務(wù)依賴關(guān)系容錯(cuò)調(diào)度算法[A];第十四屆全國容錯(cuò)計(jì)算學(xué)術(shù)會議(CFTC'2011)論文集[C];2011年

6 李琪林;甄威;周明天;;一種適用于Master-Worker應(yīng)用的動(dòng)態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

7 呂鋒;涂曉東;;高性能交換結(jié)構(gòu)調(diào)度算法的研究[A];四川省通信學(xué)會2006年學(xué)術(shù)年會論文集（二）[C];2006年

8 趙爾敦;肖靜;;無線網(wǎng)絡(luò)中基于信道狀態(tài)預(yù)測的調(diào)度算法[A];2006全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會議論文集[C];2006年

9 殷潔;;城市光網(wǎng)光纖自動(dòng)調(diào)度算法研究和應(yīng)用[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（下冊）[C];2011年

10 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網(wǎng)絡(luò)中介度的網(wǎng)格并行算法及調(diào)度算法[A];2006年全國通信軟件學(xué)術(shù)會議論文集[C];2006年

相關(guān)重要報(bào)紙文章 前1條

1 張建輝 吳松;TD—SCDMA積跬步 HSDPA以致千里[N];通信產(chǎn)業(yè)報(bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 劉曉鋒;可擴(kuò)展多級多平面交換網(wǎng)絡(luò)及調(diào)度算法研究[D];電子科技大學(xué);2015年

2 沈文楓;CPU-GPU異構(gòu)高性能計(jì)算中的負(fù)載預(yù)測調(diào)度算法研究及應(yīng)用[D];上海大學(xué);2016年

3 胡永東;移動(dòng)WiMAX網(wǎng)絡(luò)中跨層的保證QoS解決方案研究[D];東南大學(xué);2017年

4 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

5 田沖;無線網(wǎng)絡(luò)跨層調(diào)度算法研究[D];山東大學(xué);2009年

6 黃平;分布式交換系統(tǒng)隊(duì)列結(jié)構(gòu)及調(diào)度算法研究[D];華中科技大學(xué);2006年

7 劉惠;嵌入式系統(tǒng)節(jié)能調(diào)度算法研究[D];西安電子科技大學(xué);2011年

8 趙明宇;集群系統(tǒng)的調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2007年

9 吳剛;對低功耗進(jìn)程調(diào)度算法的研究[D];復(fù)旦大學(xué);2006年

10 牛進(jìn)平;3G長期演進(jìn)系統(tǒng)中調(diào)度算法和干擾抑制技術(shù)研究[D];西安電子科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 丁雪飛;純電動(dòng)車整車CAN網(wǎng)絡(luò)實(shí)時(shí)調(diào)度算法的研究[D];遼寧大學(xué);2015年

2 王德龍;Hadoop平臺下作業(yè)調(diào)度算法的研究與改進(jìn)[D];南京信息工程大學(xué);2015年

3 袁林偉;載波聚合資源分配及調(diào)度算法研究[D];西南交通大學(xué);2015年

4 景木均;3GPP LTE系統(tǒng)中基于多目標(biāo)決策的下行資源調(diào)度算法研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

5 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究[D];河北工程大學(xué);2015年

6 楊軒;高鐵無線通信VoIP業(yè)務(wù)與多業(yè)務(wù)共存的資源調(diào)度算法[D];西南交通大學(xué);2015年

7 陳傳慶;基于衰落信道的無線鏈路調(diào)度算法研究[D];曲阜師范大學(xué);2015年

8 陳文龍;Hadoop平臺下作業(yè)調(diào)度方法研究[D];南京理工大學(xué);2015年

9 陳瑜;針對Hadoop集群的節(jié)能調(diào)度算法研究[D];電子科技大學(xué);2015年

10 朱新新;網(wǎng)絡(luò)端到端流量的QoS優(yōu)化技術(shù)研究[D];電子科技大學(xué);2014年

，

本文編號：2150572