發(fā)布時(shí)間：2018-05-24 01:16

  本文選題：云計(jì)算 + Hadoop�。� 參考：《太原理工大學(xué)》2014年碩士論文

【摘要】：近年來(lái),云計(jì)算發(fā)展迅猛,眾多rr巨頭相繼開(kāi)發(fā)相應(yīng)的云計(jì)算產(chǎn)品和服務(wù)。截止2013年,全球云計(jì)算市場(chǎng)規(guī)模已經(jīng)超過(guò)1000億美元。在我國(guó),云計(jì)算產(chǎn)業(yè)同樣得到了金融、醫(yī)療、教育、電信、電力等行業(yè)的高度重視。隨著4G網(wǎng)絡(luò)的建設(shè),云計(jì)算在國(guó)內(nèi)外的研究和發(fā)展會(huì)得到前所未有的發(fā)展。在云計(jì)算的關(guān)鍵技術(shù)中,資源調(diào)度作為一項(xiàng)研究熱點(diǎn)得到了廣大學(xué)者的關(guān)注,調(diào)度的效率直接影響到集群的整體性能與資源利用率。當(dāng)前云計(jì)算環(huán)境具有動(dòng)態(tài)、異構(gòu)和海量多類型任務(wù)并發(fā)等特征,隨著集群規(guī)模不斷增大、用戶QoS不斷增多,現(xiàn)有調(diào)度算法越來(lái)越難以適應(yīng)動(dòng)態(tài)變化的環(huán)境、難以滿足用戶的需求,因此,提高云計(jì)算環(huán)境下作業(yè)調(diào)度器的自適應(yīng)性和用戶滿意度,能夠更加有效地利用資源,滿足實(shí)際需求。通過(guò)深入調(diào)研,本文首先簡(jiǎn)要介紹了云計(jì)算平臺(tái)Hadoop的體系結(jié)構(gòu),包括其核心技術(shù)MapReduce編程模型和HDFS文件存儲(chǔ)系統(tǒng)。然后按照作業(yè)的生命周期,從“作業(yè)提交與初始化”、"JobTracker的功能”、"TaskTracker的功能”、“調(diào)度模塊的作用”四個(gè)方面對(duì)云平臺(tái)下的作業(yè)調(diào)度流程進(jìn)行了詳細(xì)分析。此外,本文對(duì)Hadoop平臺(tái)下現(xiàn)有的先進(jìn)先出調(diào)度器(FIFO Scheduler)、公平調(diào)度器(Fair Scheduler)、計(jì)算能力調(diào)度器(Capacity Scheduler)進(jìn)行了研究。其中,先進(jìn)先出調(diào)度器簡(jiǎn)單快捷,但不適用于多類型作業(yè)共享集群資源,也沒(méi)有考慮不同用戶不同作業(yè)的需求差異；公平調(diào)度器支持多作業(yè)共享集群,提高了作業(yè)并行度和用戶服務(wù)質(zhì)量,但在殺死任務(wù)時(shí)沒(méi)有考慮數(shù)據(jù)本地化和作業(yè)特征,會(huì)形成大量的數(shù)據(jù)移動(dòng),增加網(wǎng)絡(luò)負(fù)載；計(jì)算能力調(diào)度器同樣支持多作業(yè)共享集群,根據(jù)作業(yè)性能進(jìn)行資源分配,但易陷入局部最優(yōu)。此外,公平調(diào)度器和計(jì)算能力調(diào)度器的優(yōu)化配置需要在集群?jiǎn)?dòng)前靜態(tài)設(shè)置,不能根據(jù)作業(yè)運(yùn)行狀態(tài)和資源使用情況進(jìn)行動(dòng)態(tài)調(diào)整。本文針對(duì)上述問(wèn)題,提出了Hadoop下基于作業(yè)分類的自適應(yīng)調(diào)度算法。該算法首先使用樸素貝葉斯分類的機(jī)器學(xué)習(xí)算法將隊(duì)列中的作業(yè)分為運(yùn)行作業(yè)和等待作業(yè)。然后,又根據(jù)當(dāng)前資源使用情況和Map-shuffle階段不同類型作業(yè)的的CPU和I/O的利用率的不同,制定了一個(gè)過(guò)載規(guī)則。過(guò)載規(guī)則用于判斷上次任務(wù)分配是否會(huì)造成集群過(guò)載,并把結(jié)果反饋給樸素貝葉斯分類器。此外,針對(duì)可能出現(xiàn)的分類結(jié)果相同的情況,本文引入效用函數(shù),根據(jù)用戶提交時(shí)的預(yù)期完成時(shí)間QoS和作業(yè)完成情況估算其作業(yè)完成時(shí)間,實(shí)現(xiàn)動(dòng)態(tài)設(shè)置作業(yè)優(yōu)先級(jí)。最后,由調(diào)度器選擇優(yōu)先級(jí)最高的作業(yè)進(jìn)行調(diào)度。本文提出的調(diào)度算法正是通過(guò)不斷從上一次任務(wù)分配中吸取經(jīng)驗(yàn)的方式,動(dòng)態(tài)調(diào)整下一輪作業(yè)分類和任務(wù)分配,進(jìn)而實(shí)現(xiàn)考慮了預(yù)期完成時(shí)間QoS的作業(yè)自適應(yīng)調(diào)度。最后,本文對(duì)提出的調(diào)度算法進(jìn)行了編程實(shí)現(xiàn)和實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果表明：與傳統(tǒng)調(diào)度算法相比,本文的算法通過(guò)消耗一定時(shí)間來(lái)不斷學(xué)習(xí),提高了調(diào)度算法的自適應(yīng)性和數(shù)據(jù)本地化。與原有自適應(yīng)調(diào)度算法相比,改進(jìn)的調(diào)度算法提高了CPU利用率和調(diào)度效率,具有更短響應(yīng)時(shí)間和更高的用戶滿意度,集群資源也得到了充分利用。
[Abstract]:In recent years , cloud computing has developed rapidly , and many rr giants have developed the corresponding cloud computing products and services successively . As of 2013 , cloud computing industry has received great attention in the industry of financial , medical , education , telecom and electricity .
Fair scheduler supports multi - job sharing cluster , improves job parallelism and user ' s quality of service , but does not consider data localization and job characteristics when killing tasks , which can form large amount of data movement and increase network load ;
This paper puts forward an adaptive scheduling algorithm based on job classification . In addition , according to the current resource usage situation and the utilization ratio of CPU and I / O in different types of jobs in Map - shuffle phase , this paper proposes an adaptive scheduling algorithm based on job classification . In the end , the algorithm improves CPU utilization and scheduling efficiency , and has shorter response time and higher user satisfaction .
【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP393.09;TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 向哲,鐘玉琢,冼偉銓;一種基于周期合并策略的流調(diào)度算法[J];軟件學(xué)報(bào);2001年08期

2 伊鵬,張興明,郭云飛;基于輸入排隊(duì)的調(diào)度算法[J];計(jì)算機(jī)工程;2003年19期

3 易云山,桂志波;分組網(wǎng)絡(luò)中包調(diào)度算法研究[J];江蘇通信技術(shù);2004年03期

4 任艷穎,張文軍,王彬;無(wú)線調(diào)度算法[J];計(jì)算機(jī)工程;2004年15期

5 劉越洋,席裕庚;基于兩步滾動(dòng)的單機(jī)調(diào)度算法研究[J];計(jì)算機(jī)工程;2004年24期

6 楊梅樾;馬祥杰;;輸入排隊(duì)中調(diào)度算法的研究[J];信息工程大學(xué)學(xué)報(bào);2006年02期

7 曾東海;劉海;金士堯;;集群負(fù)載調(diào)度算法性能評(píng)價(jià)[J];計(jì)算機(jī)工程;2006年11期

8 孫力娟;李超;張登銀;王汝傳;;低速網(wǎng)絡(luò)中實(shí)時(shí)補(bǔ)償型差額循環(huán)調(diào)度算法的設(shè)計(jì)和實(shí)現(xiàn)[J];電子與信息學(xué)報(bào);2006年10期

9 劉東;張春元;;軟件容錯(cuò)模型中反向與正向調(diào)度算法研究[J];計(jì)算機(jī)工程與科學(xué);2007年09期

10 何琨;趙勇;黃文奇;;基于任務(wù)復(fù)制的分簇與調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2008年05期

相關(guān)會(huì)議論文 前10條

1 彭洪;涂?jī)錾?;面向操作的調(diào)度算法[A];1994中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1994年

2 羅豪杰;許都;;IEEE 802.16 MAC層上行調(diào)度算法[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

3 張遵福;李樂(lè)民;;支持QoS的調(diào)度算法設(shè)計(jì)[A];2006中國(guó)西部青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

4 姚建波;竺小松;李晶晶;;非對(duì)稱通信環(huán)境中兩種廣播調(diào)度算法的分析與比較[A];中國(guó)通信學(xué)會(huì)第六屆學(xué)術(shù)年會(huì)論文集（上）[C];2009年

5 景維鵬;吳智博;劉宏偉;董劍;;一種支持任務(wù)依賴關(guān)系容錯(cuò)調(diào)度算法[A];第十四屆全國(guó)容錯(cuò)計(jì)算學(xué)術(shù)會(huì)議(CFTC'2011)論文集[C];2011年

6 李琪林;甄威;周明天;;一種適用于Master-Worker應(yīng)用的動(dòng)態(tài)統(tǒng)一調(diào)度算法的研究[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

7 呂鋒;涂曉東;;高性能交換結(jié)構(gòu)調(diào)度算法的研究[A];四川省通信學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集（二）[C];2006年

8 趙爾敦;肖靜;;無(wú)線網(wǎng)絡(luò)中基于信道狀態(tài)預(yù)測(cè)的調(diào)度算法[A];2006全國(guó)復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會(huì)議論文集[C];2006年

9 殷潔;;城市光網(wǎng)光纖自動(dòng)調(diào)度算法研究和應(yīng)用[A];中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2011年年會(huì)論文集（下冊(cè)）[C];2011年

10 陳平;王柏;徐六通;吳斌;王艷輝;;電信社群網(wǎng)絡(luò)中介度的網(wǎng)格并行算法及調(diào)度算法[A];2006年全國(guó)通信軟件學(xué)術(shù)會(huì)議論文集[C];2006年

相關(guān)重要報(bào)紙文章 前1條

1 張建輝 吳松;TD—SCDMA積跬步 HSDPA以致千里[N];通信產(chǎn)業(yè)報(bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 劉曉鋒;可擴(kuò)展多級(jí)多平面交換網(wǎng)絡(luò)及調(diào)度算法研究[D];電子科技大學(xué);2015年

2 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

3 田沖;無(wú)線網(wǎng)絡(luò)跨層調(diào)度算法研究[D];山東大學(xué);2009年

4 黃平;分布式交換系統(tǒng)隊(duì)列結(jié)構(gòu)及調(diào)度算法研究[D];華中科技大學(xué);2006年

5 劉惠;嵌入式系統(tǒng)節(jié)能調(diào)度算法研究[D];西安電子科技大學(xué);2011年

6 趙明宇;集群系統(tǒng)的調(diào)度算法研究[D];哈爾濱工業(yè)大學(xué);2007年

7 吳剛;對(duì)低功耗進(jìn)程調(diào)度算法的研究[D];復(fù)旦大學(xué);2006年

8 牛進(jìn)平;3G長(zhǎng)期演進(jìn)系統(tǒng)中調(diào)度算法和干擾抑制技術(shù)研究[D];西安電子科技大學(xué);2014年

9 羅威;分布式實(shí)時(shí)容錯(cuò)調(diào)度算法研究[D];華中科技大學(xué);2008年

10 展勇;柔性開(kāi)放車間調(diào)度算法研究[D];哈爾濱工程大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 丁雪飛;純電動(dòng)車整車CAN網(wǎng)絡(luò)實(shí)時(shí)調(diào)度算法的研究[D];遼寧大學(xué);2015年

2 王德龍;Hadoop平臺(tái)下作業(yè)調(diào)度算法的研究與改進(jìn)[D];南京信息工程大學(xué);2015年

3 袁林偉;載波聚合資源分配及調(diào)度算法研究[D];西南交通大學(xué);2015年

4 景木均;3GPP LTE系統(tǒng)中基于多目標(biāo)決策的下行資源調(diào)度算法研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

5 劉盼紅;大數(shù)據(jù)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究[D];河北工程大學(xué);2015年

6 楊軒;高鐵無(wú)線通信VoIP業(yè)務(wù)與多業(yè)務(wù)共存的資源調(diào)度算法[D];西南交通大學(xué);2015年

7 陳傳慶;基于衰落信道的無(wú)線鏈路調(diào)度算法研究[D];曲阜師范大學(xué);2015年

8 陳文龍;Hadoop平臺(tái)下作業(yè)調(diào)度方法研究[D];南京理工大學(xué);2015年

9 陳瑜;針對(duì)Hadoop集群的節(jié)能調(diào)度算法研究[D];電子科技大學(xué);2015年

10 朱新新;網(wǎng)絡(luò)端到端流量的QoS優(yōu)化技術(shù)研究[D];電子科技大學(xué);2014年

，

本文編號(hào)：1927122