Hadoop作為開源的分布式計(jì)算和存儲軟件,已經(jīng)成為當(dāng)前最為流行的大數(shù)據(jù)處理平臺。隨著云計(jì)算技術(shù)趨于成熟,越來越多的云服務(wù)提供商開始利用Hadoop平臺來提供云服務(wù)。為了保證云服務(wù)提供商和客戶雙方的利益,需要簽訂服務(wù)等級協(xié)議（Service Level Agreement,SLA）,云服務(wù)提供商必須遵循SLA,否則會受到違約處罰。同時由于云應(yīng)用的不斷擴(kuò)展以及網(wǎng)絡(luò)數(shù)據(jù)量的快速增加,使得性能各異的機(jī)器加入集群作為計(jì)算節(jié)點(diǎn),形成異構(gòu)集群。Hadoop內(nèi)置的調(diào)度算法沒有考慮到異構(gòu)性,導(dǎo)致在實(shí)際應(yīng)用中作業(yè)執(zhí)行效率較低,無法在SLA的截止時間內(nèi)完成。因此,如何提高異構(gòu)集群中的資源利用率、減少作業(yè)執(zhí)行時間、避免SLA違反,成為目前亟待研究和解決的問題。針對以上問題,本文基于異構(gòu)Hadoop 2.0集群,從作業(yè)性能預(yù)測、作業(yè)調(diào)度和資源分配等幾個方面對異構(gòu)Hadoop集群中基于SLA的自適應(yīng)作業(yè)調(diào)度展開研究。其主要研究內(nèi)容包括:1.針對提交的作業(yè)可能會出現(xiàn)不能滿足SLA的問題,提出了基于SLA感知的自適應(yīng)調(diào)度機(jī)制與作業(yè)性能預(yù)測模型。該機(jī)制通過作業(yè)性能預(yù)測模型對作業(yè)進(jìn)行預(yù)處理。提出的適應(yīng)于Hadoop2.... 

【文章來源】：河南科技大學(xué)河南省

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

Hadooplo和Hadoop20的架構(gòu)

括 copy 和 sort 過程，它可以廣義地定義為從 Map 輸出到 Reduce 輸入的全部過程。當(dāng) MapReduce 作業(yè)提交后，這時程序會將輸入的數(shù)據(jù)集分解為很多獨(dú)立的數(shù)據(jù)塊，稱為“分片”，并把這些“分片”分到不同的節(jié)點(diǎn)上進(jìn)行執(zhí)行，每個“分片”由 map 任務(wù)（task）獨(dú)立地進(jìn)行處理，并以完全并行的方式處理所有“分片”，最后再將這些節(jié)點(diǎn)上分片的處理結(jié)果輸出到 reduce 任務(wù)進(jìn)行匯總。其運(yùn)行原理如圖 2-2 所示。

圖 2-3 MapReduce 工作流程Fig. 2-3 MapReduce execution process8. AM 為該作業(yè)的 Map 任務(wù)和 Reduce 任務(wù)以輪詢的方式向 RM 申請?jiān)?container。9. AM 獲取到分配的資源 container 后，與 container 所屬的 NM 進(jìn)行ntainer。10. Container 收到啟動命令后，首先從 HDFS 中下載任務(wù)所需要的 j和緩存文件等，將任務(wù)需要的資源本地化。11. 最后 container 啟動任務(wù)并運(yùn)行。

【參考文獻(xiàn)】：
期刊論文
[1]異構(gòu)資源環(huán)境下Hadoop節(jié)點(diǎn)能力自適應(yīng)調(diào)度算法[J]. 沈?qū)W利,盛方嚴(yán).  計(jì)算機(jī)應(yīng)用研究. 2020(02)
[2]基于優(yōu)先級權(quán)重的Hadoop YARN調(diào)度算法[J]. 王榮麗,侯秀萍.  吉林大學(xué)學(xué)報(信息科學(xué)版). 2017(04)
[3]基于節(jié)點(diǎn)性能的Hadoop作業(yè)調(diào)度算法改進(jìn)[J]. 馮興杰,賀陽.  計(jì)算機(jī)應(yīng)用與軟件. 2017(05)
[4]一種Hadoop中基于作業(yè)類別和截止時間的調(diào)度算法[J]. 李曌,滕飛,李天瑞,楊浩.  計(jì)算機(jī)科學(xué). 2015(06)
[5]集群資源統(tǒng)一管理和調(diào)度技術(shù)綜述[J]. 李永峰,周敏奇,胡華梁.  華東師范大學(xué)學(xué)報(自然科學(xué)版). 2014(05)
[6]基于節(jié)點(diǎn)能力的Hadoop集群任務(wù)自適應(yīng)調(diào)度方法[J]. 鄭曉薇,項(xiàng)明,張大為,劉青昆.  計(jì)算機(jī)研究與發(fā)展. 2014(03)
[7]Hadoop平臺下改進(jìn)的LATE調(diào)度算法[J]. 胡丹,于炯,英昌甜,鄒偉明.  計(jì)算機(jī)工程與應(yīng)用. 2014(04)
[8]Hadoop平臺中空閑時間調(diào)度器的設(shè)計(jì)與實(shí)現(xiàn)[J]. 楊浩,滕飛,李天瑞,李曌.  計(jì)算機(jī)工程與科學(xué). 2013(10)
[9]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報. 2011(11)

碩士論文
[1]異構(gòu)環(huán)境下Hadoop作業(yè)調(diào)度算法的研究與實(shí)現(xiàn)[D]. 田野.北京郵電大學(xué) 2018
[2]異構(gòu)環(huán)境中MapReduce資源調(diào)度機(jī)制的負(fù)載優(yōu)化方法研究[D]. 蔡衛(wèi)東.南京信息工程大學(xué) 2017
[3]基于SLA感知的Hadoop YARN節(jié)能調(diào)度策略研究[D]. 李萍.山東大學(xué) 2016
[4]基于YARN的高響應(yīng)性Hadoop計(jì)算資源調(diào)度器的研究與實(shí)現(xiàn)[D]. 劉陽.哈爾濱工業(yè)大學(xué) 2016
[5]面向異構(gòu)集群的基于節(jié)點(diǎn)資源動態(tài)調(diào)整的Hadoop調(diào)度優(yōu)化研究[D]. 尹承忱.華中科技大學(xué) 2015
[6]Hadoop YARN資源分配與調(diào)度的研究[D]. 李媛禎.南京航空航天大學(xué) 2015
[7]基于SLA的MapReduce調(diào)度機(jī)制研究[D]. 王捷.山東大學(xué) 2014
[8]IaaS云計(jì)算環(huán)境中基于SLA的資源動態(tài)管理研究[D]. 吳海雙.復(fù)旦大學(xué) 2013



本文編號：3505553