發(fā)布時(shí)間：2021-09-29 16:39

　　作業(yè)調(diào)度器是分布式文件系統(tǒng)的核心模塊之一,它的性能好壞會(huì)極大程度影響到分布式集群的資源利用效率以及整體性能。Hadoop分布式系統(tǒng)中現(xiàn)有的作業(yè)調(diào)度器都只側(cè)重單一的技術(shù)指標(biāo),使得系統(tǒng)不能及時(shí)有效地為多樣的客戶(hù)需求分配計(jì)算資源（如CPU資源和內(nèi)存資源等）。對(duì)此,本文提出了Hadoop資源感知調(diào)度器,特別以資源合理調(diào)度分配為目的,對(duì)Hadoop分布式系統(tǒng)的隊(duì)列管理和作業(yè)管理進(jìn)行優(yōu)化設(shè)計(jì),并設(shè)計(jì)和實(shí)現(xiàn)了具有資源感知能力的Hadoop作業(yè)調(diào)度器。Hadoop資源感知調(diào)度器一方面針對(duì)當(dāng)前Hadoop分布式系統(tǒng)以隊(duì)列的方式管理作業(yè)時(shí)所存在的缺點(diǎn),對(duì)用戶(hù)的需求進(jìn)行考慮,將隊(duì)列分為三種類(lèi)型:大資源需求量的作業(yè)隊(duì)列,正常資源需求量的作業(yè)隊(duì)列,以及較少資源需求量的作業(yè)隊(duì)列。通過(guò)比較作業(yè)的資源請(qǐng)求和節(jié)點(diǎn)列表的平均可用資源量,將作業(yè)劃入相應(yīng)的作業(yè)隊(duì)列中,從而完成隊(duì)列的合理劃分以及作業(yè)的科學(xué)管理。另一方面Hadoop資源感知調(diào)度器考慮集群資源的供應(yīng),選擇針對(duì)集群各個(gè)節(jié)點(diǎn)的CPU資源量,提出一種以CPU資源量為主要比較標(biāo)準(zhǔn)的節(jié)點(diǎn)劃分算法,采用三種類(lèi)型列表管理?yè)碛胁煌珻PU資源量的節(jié)點(diǎn),即擁有較大CPU資源量的節(jié)點(diǎn)列... 

【文章來(lái)源】：華僑大學(xué)福建省

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop資源感知調(diào)度器架構(gòu)圖

圖 2.1 MRv1 架構(gòu)圖端為用戶(hù)提供了與作業(yè)跟蹤器通信的通道，以及查看作業(yè)運(yùn)戶(hù)將 MapReduce 程序通過(guò)客戶(hù)端提交給作業(yè)跟蹤器。跟蹤器主要監(jiān)控系統(tǒng)資源和調(diào)度作業(yè)。它還監(jiān)管任務(wù)跟蹤器作業(yè)的容錯(cuò)機(jī)制。當(dāng)一個(gè)節(jié)點(diǎn)上發(fā)現(xiàn)異常作業(yè)時(shí)，作業(yè)跟蹤正常節(jié)點(diǎn)以重新執(zhí)行。另外，作業(yè)跟蹤器會(huì)收集集群計(jì)算資情況等信息，調(diào)度器通過(guò)作業(yè)跟蹤器提供的信息能夠合理地跟蹤器是作業(yè)的實(shí)際執(zhí)行者。它定期把節(jié)點(diǎn)的作業(yè)執(zhí)行狀態(tài)量以心跳方式發(fā)送給作業(yè)跟蹤器，并處理作業(yè)跟蹤器的命令educe 框架中，任務(wù)跟蹤器以槽（slot）的方式劃分節(jié)點(diǎn)計(jì)算資得了槽之后，它才有機(jī)會(huì)運(yùn)行。槽還分為 Map slot 和 Reduce Map 階段使用，Reduce 槽供 Reduce 階段使用。任務(wù)跟蹤器進(jìn)行任務(wù)的并發(fā)度限定。

二代 MapReduce 架構(gòu) MRv1 存在諸多缺點(diǎn)，Apache 升級(jí)了 MapReduce，即第二代 M（MRv2），也稱(chēng)作 YARN[47]。因 MRv2 的資源管理模塊獨(dú)立構(gòu)成核心轉(zhuǎn)變成 YARN。在 YARN 框架中，MRv1 的作業(yè)跟蹤器進(jìn)程：資源管理器（ResourceManager）管理集群計(jì)算資源，pplicationMaster）只負(fù)責(zé)一個(gè)作業(yè)，這樣使 Hadoop 能夠支持 。 實(shí) 際 上 ， YARN 還 是 主 從 結(jié) 構(gòu) ， 組 件 包 括 作 業(yè) 控icationMaster ）、 資 源 管 理 器 （ ResourceManager ）、 節(jié) 點(diǎn)anager）和資源抽象（Container）。其中資源管理器是主節(jié)點(diǎn)節(jié)點(diǎn)，資源管理器負(fù)責(zé)管理節(jié)點(diǎn)管理器上的資源并進(jìn)行調(diào)度示，各個(gè)組件功能描述如下。

【參考文獻(xiàn)】：
期刊論文
[1]云計(jì)算資源納什均衡優(yōu)化分配方法改進(jìn)[J]. 王巖,汪晉寬,宋欣.  計(jì)算機(jī)工程. 2017(12)
[2]基于任務(wù)進(jìn)度感知的異構(gòu)Hadoop云平臺(tái)任務(wù)調(diào)度方案[J]. 劉瑩,羅興宇,王寧,羅強(qiáng).  計(jì)算機(jī)應(yīng)用研究. 2017(10)
[3]異構(gòu)Hadoop集群中數(shù)據(jù)副本放置策略?xún)?yōu)化[J]. 劉艷,蔡燕冬,謝曉東,張慶磊.  華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(07)
[4]一種Hadoop Yarn的資源調(diào)度方法研究[J]. 李媛禎,楊群,賴(lài)尚琦,李博涵.  電子學(xué)報(bào). 2016(05)
[5]基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法[J]. 王磊,張永堅(jiān),賈繼鵬,牛曉光,聶昌龍.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(03)
[6]異構(gòu)Spark集群下自適應(yīng)任務(wù)調(diào)度策略[J]. 楊志偉,鄭烇,王嵩,楊堅(jiān),周樂(lè)樂(lè).  計(jì)算機(jī)工程. 2016(01)
[7]SQL-DFS:一種基于HDFS的海量小文件存儲(chǔ)系統(tǒng)[J]. 馬志強(qiáng),楊雙濤,閆瑞,張澤廣.  北京工業(yè)大學(xué)學(xué)報(bào). 2016(01)
[8]Hadoop云平臺(tái)下基于資源預(yù)估的作業(yè)調(diào)度算法[J]. 盧慧,高弘博,張豐滿(mǎn),王梅,肖震.  計(jì)算機(jī)應(yīng)用研究. 2016(08)
[9]Hadoop平臺(tái)下基于截止時(shí)間限制的動(dòng)態(tài)調(diào)度算法的研究[J]. 張永,賀言君.  計(jì)算機(jī)應(yīng)用研究. 2016(02)
[10]一種優(yōu)化的Hadoop副本放置策略[J]. 蔡燕冬,劉艷,張慶磊.  微型機(jī)與應(yīng)用. 2015(16)



本文編號(hào)：3414063