【摘要】：伴隨著科學(xué)技術(shù)的發(fā)展與進(jìn)步,大數(shù)據(jù)處理技術(shù)開始在很多的行業(yè)內(nèi)部得到了深度的研究以及廣泛的應(yīng)用。本文以淮安市物流平臺建設(shè)為研究對象,采用Map Reduce作為基本的結(jié)構(gòu),以Hadoop作為技術(shù)的支撐,可以為交通以及政府部門開展相關(guān)的服務(wù),對于SaaS基礎(chǔ)技術(shù)的應(yīng)用開展大數(shù)據(jù)處理與相關(guān)工作。因為交通物流大數(shù)據(jù)處理應(yīng)用開發(fā)涉及眾多領(lǐng)域,為此如何更好地綜合多數(shù)據(jù)多目標(biāo)來解決問題是本文所研究的關(guān)鍵。同時對于Map Reduce模塊含有的工作引擎以及Oozie支撐的大數(shù)據(jù)處理具有的組裝流程操作,如何避免Oozie在執(zhí)行的時候因為其節(jié)點間的數(shù)據(jù)依據(jù)導(dǎo)致執(zhí)行效率低的情況,也是本文所研究的關(guān)鍵內(nèi)容所在。對于上述的背景分析,本文利用在Map Reduce、Hadoop、Oozie等相關(guān)技術(shù)開展介紹的層面下,通過提出上下游節(jié)點模塊部分并行的Map Reduce工作流程,繼而優(yōu)化交通物流大數(shù)據(jù)的處理模式。通過最后的測試與實際的應(yīng)用我們可以看出這個系統(tǒng)是有效及可行的。同其他的系統(tǒng)比較,本文特點如下:首先是對于Map Reduce工作流程具有的利用效率較低的問題,采用Map Reduce內(nèi)部具有的Reduce Task作業(yè)特征進(jìn)而實現(xiàn)對于不同時間的操作模式,下游節(jié)點可以部分優(yōu)先于上游節(jié)點工作操作,進(jìn)而實現(xiàn)上下游節(jié)點模塊可以同時的開展,使得系統(tǒng)的工作效率大幅度的提升。其次在原有的Hadoop基礎(chǔ)之上,采用的是支持實現(xiàn)并追加輸入的Map Reduce基本操作的結(jié)構(gòu)。對于正在執(zhí)行的Map Reduce操作就可追加輸入數(shù)據(jù),使得上下游的模塊可以并行操作,為自身的工作提供保證。在原有的Oozie模塊上,開展的支持上下游并行操作的Map Reduce工作模式,這個模塊具有的雙執(zhí)行器結(jié)構(gòu),進(jìn)而可以識別得到內(nèi)部含有的Map Reduce作業(yè)的上下游模塊開展執(zhí)行并分析。通過實際的測試結(jié)果我們可以看到,對于Reduce Task數(shù)量大于集群的Reduce Slot含有的并發(fā)數(shù)的時候,通過部分的執(zhí)行模式使得自身的工作效率提升的幅度在20%左右。最后是對于多決策模塊具有的大數(shù)據(jù)處理問題開展研究,研究的重點是開發(fā)者提出大數(shù)據(jù)處理模塊含有的集成開發(fā)操作。基于這個集成模塊含有的HadoopEclipse插件,提出測試沙箱模塊,使得開發(fā)人員可以在這一個環(huán)境之下實現(xiàn)本文的具體測試、實際部署等操作。
【圖文】：

如圖2-1 所示就是這幾種分支具有的三層概念模式[18]。圖 2-1 企業(yè)元數(shù)據(jù)模型在業(yè)務(wù)員數(shù)據(jù)模塊，主題域模式（頂層表示）本質(zhì)上屬于業(yè)務(wù)需求方面的具體規(guī)定分析。中層模塊各主題域可以向交易實體或自身業(yè)務(wù)實體分解，同時通過底層模塊所含有的業(yè)務(wù)數(shù)據(jù)將自身實際功能提供出來。例如，，交通物流模塊中的元數(shù)據(jù)主題通常包括運輸模式、綜合執(zhí)行方法、實際信息（貨運市場）[32]等。其業(yè)務(wù)實體采用的是車輛、違章案例等開展實際分析。技術(shù)元數(shù)據(jù)模塊和元數(shù)據(jù)模

對于系統(tǒng)內(nèi)部的 ETL 元數(shù)據(jù)，指的是在 ETL 結(jié)構(gòu)內(nèi)部，通過數(shù)據(jù)的抽取、剔除以及轉(zhuǎn)換等得到自身的元數(shù)據(jù)，這些元數(shù)據(jù)組內(nèi)部得到 ETL 任務(wù)，儲存在自身的資料庫內(nèi)部。ETL 實際操作利用的聲明模式的框架實現(xiàn)，也就是用戶需求ETL 任務(wù)采用前將有關(guān)控制信息、描述信息得到，且完成設(shè)置，無需人工操作任務(wù)執(zhí)行模塊。因此如果是理想操作模式，一律通過元數(shù)據(jù)開始點到點數(shù)據(jù)加載過程[29]，控制元數(shù)據(jù)與 ETL 任務(wù)元數(shù)據(jù)等的實現(xiàn)通�？梢园ㄔ谶@些元數(shù)據(jù)中。2.1.3 元數(shù)據(jù)管理模式系統(tǒng)實際操作（比如獲得、存儲、維護(hù)元數(shù)據(jù)等）實質(zhì)上屬于元數(shù)據(jù)管理模塊中的操作，而在交通物流系統(tǒng)模塊中，元數(shù)據(jù)在各個企業(yè)應(yīng)用的內(nèi)部，通過研究我們可以看到，元數(shù)據(jù)的獲得以及處理模式包括如圖 2-2 所示的分布式、集中式[19]等：
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 蘇剛;王堅;凌衛(wèi)青;;基于大數(shù)據(jù)的智能交通分析系統(tǒng)的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2015年36期

2 金英華;張巖;;基于Hadoop云平臺的智能匹配物流系統(tǒng)設(shè)計與實現(xiàn)[J];山東工業(yè)技術(shù);2015年18期

3 洪運國;;電子商務(wù)物流的大數(shù)據(jù)處理分析[J];中國新通信;2015年08期

4 白玲玲;韓天鵬;;大數(shù)據(jù)在智能交通系統(tǒng)中的應(yīng)用研究[J];電腦知識與技術(shù);2015年10期

5 王鑫龍;;大數(shù)據(jù)環(huán)境下的物流開放平臺業(yè)務(wù)及應(yīng)用方案研究[J];中國商貿(mào);2014年18期

6 曲建科;;物流企業(yè)運輸崗位目標(biāo)管理制度設(shè)計與推行[J];價值工程;2013年04期

相關(guān)碩士學(xué)位論文 前3條

1 王一鳴;基于知識圖譜的推薦技術(shù)研究及應(yīng)用[D];電子科技大學(xué);2018年

2 朱晨杰;MapReduce作業(yè)組合系統(tǒng)的研究與實現(xiàn)[D];上海交通大學(xué);2013年

3 孫安健;通用ETL工具的研究與設(shè)計[D];復(fù)旦大學(xué);2012年

本文編號：2660557