近年來(lái)，大數(shù)據(jù)處理技術(shù)對(duì)于各行業(yè)和政府部門的決策分析和運(yùn)營(yíng)起到日漸重要的作用。本文以某省交通物流云平臺(tái)項(xiàng)目為背景，該項(xiàng)目要求以MapReduce作業(yè)執(zhí)行框架和Hadoop為技術(shù)基礎(chǔ)，為數(shù)以千計(jì)的交通物流企業(yè)和政府部門的交通物流SaaS應(yīng)用提供大數(shù)據(jù)處理服務(wù)。由于面向交通物流的大數(shù)據(jù)處理應(yīng)用開(kāi)發(fā)涉及交通物流業(yè)務(wù)專家、數(shù)據(jù)分析專家和應(yīng)用程序開(kāi)發(fā)人員等多個(gè)角色，因此，如何實(shí)現(xiàn)多角色協(xié)同的大數(shù)據(jù)處理應(yīng)用敏捷開(kāi)發(fā)是需要解決的關(guān)鍵問(wèn)題。另外，雖然MapReduce工作流引擎Oozie可支持大數(shù)據(jù)處理應(yīng)用的流程化組裝，但是，如何防止Oozie在執(zhí)行時(shí)由于結(jié)點(diǎn)之間的數(shù)據(jù)依賴而導(dǎo)致執(zhí)行效率低，也是需要解決的實(shí)際問(wèn)題。針對(duì)上述問(wèn)題，本文在對(duì)MapReduce、Hadoop、Oozie等相關(guān)技術(shù)進(jìn)行分析的基礎(chǔ)上，提出并實(shí)現(xiàn)了一種上下游結(jié)點(diǎn)部分并行的MapReduce工作流執(zhí)行優(yōu)化方案，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)支持協(xié)同開(kāi)發(fā)和工作流組裝的交通物流大數(shù)據(jù)處理系統(tǒng)。測(cè)試和應(yīng)用情況表明，該系統(tǒng)是可行及有效的。與同類系統(tǒng)相比，本文工作具有以下特點(diǎn)：1)針對(duì)MapReduce工作流執(zhí)行效率低的問(wèn)題，提出上下游結(jié)點(diǎn)部分并行的Map... 

【文章來(lái)源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：91 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

MapReduce作業(yè)初始化順序圖

基于Hadoop的交通物流大數(shù)據(jù)處理系統(tǒng)介紹 MapReduce 中的這四種任務(wù)： Task: 作業(yè)執(zhí)行過(guò)程中的第一個(gè)Task，進(jìn)行一些簡(jiǎn)單的初始 Task：Map 階段數(shù)據(jù)處理任務(wù)，該 Map Task 的數(shù)量是由輸。ce Task：Reduce 階段數(shù)據(jù)處理任務(wù)。Reduce Task 數(shù)量是用 。nup Task：作業(yè)結(jié)束任務(wù)，主要做一些清理工作，如刪除作錄等。示為 MapReduce 作業(yè)的狀態(tài)轉(zhuǎn)換圖：

基于Hadoop的交通物流大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)作業(yè)提交到 JobTracker 并初始化，生成 Map Task 和 Reduce Task 后，作業(yè)調(diào)器可以進(jìn)行作業(yè)的分配。TaskTracker 會(huì)定時(shí)向 JobTracker 發(fā)送心跳信息，心跳息中包含當(dāng)前該 TaskTracker 的狀態(tài)信息，包括資源使用情況等，JobTracker 根該信息，調(diào)用作業(yè)調(diào)度器向該 TaskTracker 分配作業(yè)，作業(yè)分配情況包含在心跳應(yīng)信息中返回到 TaskTracker 中。Hadoop 中默認(rèn)的作業(yè)調(diào)度器為 FIFO 調(diào)度器，調(diào)度器用先進(jìn)先出的隊(duì)列保存作業(yè)列表，并按照隊(duì)列順序進(jìn)行任務(wù)調(diào)度。FIFO度器的關(guān)鍵類類圖如圖 3-5 所示：

【參考文獻(xiàn)】：
碩士論文
[1]MapReduce作業(yè)組合系統(tǒng)的研究與實(shí)現(xiàn)[D]. 朱晨杰.上海交通大學(xué) 2013
[2]基于MapReduce的關(guān)系數(shù)據(jù)聯(lián)機(jī)分析處理技術(shù)研究[D]. 張冬潔.華中科技大學(xué) 2012



本文編號(hào)：3065723