本文關(guān)鍵詞：基于Hama并行計算框架的多層級作業(yè)調(diào)度算法的研究及實現(xiàn)

  更多相關(guān)文章： Apache Hama BSP模型 分布式計算 作業(yè)調(diào)度算法

【摘要】：隨著大數(shù)據(jù)技術(shù)在業(yè)界和學(xué)術(shù)界的發(fā)展,大量的分布式計算平臺投入運(yùn)行,其中以Apache Hadoop平臺應(yīng)用最為廣泛。Hadoop屏蔽了分布式系統(tǒng)的底層實現(xiàn)細(xì)節(jié),使得應(yīng)用程序開發(fā)人員可以更加專注于算法邏輯的實現(xiàn)。但是,Hadoop也有其局限性,在處理如圖計算以及機(jī)器學(xué)習(xí)等問題時,其效率并不高�；贐SP(Bulk Synchronous Parallel)模型的Apache Hama并行計算框架的出現(xiàn),彌補(bǔ)了Hadoop的這一缺點。但是,由于Hama創(chuàng)建時間不長,發(fā)展時間較短,在很多地方仍需繼續(xù)改進(jìn),尤其是其核心模塊—作業(yè)調(diào)度器。Hama目前使用的先來先服務(wù)作業(yè)調(diào)度算法,不僅無法高效的實現(xiàn)多用戶共享集群,而且還會對集群的資源利用率造成很大的影響。本文的目的就是實現(xiàn)一種新的基于Hama并行計算框架的作業(yè)調(diào)度算法,彌補(bǔ)Hama先來先服務(wù)作業(yè)調(diào)度算法的缺點,提高其資源利用水平,并為Hama的作業(yè)調(diào)度提供更大的靈活性,以滿足其未來一段時間內(nèi)的發(fā)展需求。為了達(dá)成這一目的,本文的主要工作和貢獻(xiàn)包括:首先,通過研讀Hama并行計算框架的源代碼,剖析了Hama的系統(tǒng)架構(gòu),介紹了BSP模型在Hama中的實現(xiàn),總結(jié)了Hama作業(yè)的運(yùn)行流程,研究了Hama的調(diào)度框架以及其先來先服務(wù)作業(yè)調(diào)度算法。與此同時,還對Hama中涉及到的HDFS及MapReduce的相關(guān)技術(shù)進(jìn)行了總結(jié),并分析總結(jié)了MapReduce與Hama在調(diào)度模式上的不同之處。隨后,以上述研究的成果為基礎(chǔ),再結(jié)合BSP模型的自身特點,設(shè)計并實現(xiàn)了基于Hama并行計算框架的多層級作業(yè)調(diào)度算法,并對該算法的設(shè)計思想以及實現(xiàn)過程進(jìn)行了詳細(xì)的介紹。最后,對多層級作業(yè)調(diào)度算法進(jìn)行了實驗驗證及性能測試。實驗結(jié)果表明多層級作業(yè)調(diào)度算法成功的實現(xiàn)了預(yù)期的設(shè)計目標(biāo),解決了Hama先來先服務(wù)作業(yè)調(diào)度算法的不足之處,提高了Hama集群的資源利用能力,并在與Hama先來先服務(wù)作業(yè)調(diào)度器的性能對比測試中表現(xiàn)較為出色。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP338.6

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 于戈;谷峪;鮑玉斌;王志剛;;云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J];計算機(jī)學(xué)報;2011年10期

，

本文編號：1160241