本文關(guān)鍵詞：基于YARN框架下并行化計算的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：Apache開源組織開發(fā)的Hadoop框架中最核心的設(shè)計就是MapReduce編程模型和HDFS分布式文件系統(tǒng)。MapReduce為海量的數(shù)據(jù)提供了并行化計算,而HDFS為海量的數(shù)據(jù)提供了存儲。MapReduce是一種并行編程模型,它主要用于海量數(shù)據(jù)集的并行運(yùn)算。在最初推出的幾年里,這種并行編程模型取得了眾多的成功案例,在業(yè)界也得到了廣泛的支持和肯定,但是隨著分布式系統(tǒng)集群的規(guī)模不斷增長和其他工作負(fù)荷的劇增,原框架的問題也就漸漸浮出水面。MapReduce編程模型在現(xiàn)有的機(jī)制下需要對它做出大規(guī)模的調(diào)整來修復(fù)其在內(nèi)存消耗,擴(kuò)展性,線程模型,可靠性和性能上的缺陷。在過去的幾年中,Hadoop團(tuán)隊做了一些bug的修復(fù),但是隨著修復(fù)的成本越來越高,這表明對原框架作出改變的難度越來越大。所以Apache開源組織為了促進(jìn)Hadoop框架走的更遠(yuǎn),在根本上解決影響MapReduce性能的關(guān)鍵性問題,從0.23.0版本開始,對舊的MapReduce框架進(jìn)行完全重構(gòu),在結(jié)構(gòu)上發(fā)生了根本性的變化。Apache開源組織將重構(gòu)后的MapReduce框架命名為Hadoop 2.0或者叫YARN。本文通過詳細(xì)的闡述了MapReduce的編程思想,工作原理,具體步驟和方法。接著又詳細(xì)的闡述了YARN編程模式,以及YARN框架機(jī)構(gòu),工作原理,具體步驟和方法。并將YARN與MapReduce進(jìn)行了比較,研究了MapReduce的不足和缺點,并概括了YRAN與MapReduce的不同之處。最后,通過搭建Hadoop集群環(huán)境,再基于YARN框架進(jìn)行了MapReduce并行計算的實驗,通過實驗證明了,基于YARN框架下并行計算的高效性,可靠性。
【關(guān)鍵詞】：Hadoop Map Reduce YARN ID3 并行計算
【學(xué)位授予單位】：西北師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP338.6
【目錄】：

• 摘要6-7
• Abstract7-10
• 1 緒論10-13
• 1.1 研究背景10
• 1.2 國內(nèi)外研究狀況10-12
• 1.3 研究內(nèi)容12
• 1.4 論文架構(gòu)12-13
• 2 MapReduce的概述13-20
• 2.1 MapReduce并行編程模式13-19
• 2.1.1 MapReduce模型13-14
• 2.1.2 MapReduce框架組成14-16
• 2.1.3 MapReduce的工作原理16-18
• 2.1.4 MapReducede的局限性18-19
• 2.2 本章小結(jié)19-20
• 3 YARN的概述20-26
• 3.1 YARN的由來20-21
• 3.2 YARN框架原理及運(yùn)作機(jī)制21-23
• 3.3 YARN的工作流程23-24
• 3.4 MapReduce與YRAN的比較24-25
• 3.5 本章小結(jié)25-26
• 4 基于YRAN框架下對ID3算法的并行化設(shè)計26-34
• 4.1 決策樹ID3簡介26-27
• 4.2 ID3算法的并行化設(shè)計27-28
• 4.2.1 屬性并行27
• 4.2.2 節(jié)點并行27-28
• 4.3 基于YARN的ID3算法的流程圖28-29
• 4.4 基于YARN的ID3算法并行化實現(xiàn)29-33
• 4.4.1 總體設(shè)計框架29-30
• 4.4.2 MapReuce的迭代過程30-33
• 4.5 本章小結(jié)33-34
• 5 Hadoop系統(tǒng)的實現(xiàn)34-43
• 5.1 Hadoop環(huán)境的搭建34-40
• 5.1.1 SSH的配置34-35
• 5.1.2 JDK的安裝和配置35
• 5.1.3 YARN的安裝和配置35-40
• 5.2 實驗結(jié)論40-41
• 5.3 本章小結(jié)41-43
• 6 總結(jié)與展望43-45
• 6.1 論文總結(jié)43
• 6.2 展望工作43-45
• 參考文獻(xiàn)45-48
• 致謝48

【相似文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 朱敏明;基于YARN框架下并行化計算的研究[D];西北師范大學(xué);2015年

  本文關(guān)鍵詞：基于YARN框架下并行化計算的研究，，由筆耕文化傳播整理發(fā)布。

本文編號：367087