交管數(shù)據(jù)是時空大數(shù)據(jù)的重要組成部分。改革開放以來,我國城市交通發(fā)展迅速,積累了海量的交管數(shù)據(jù),包含城市交通靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。這些海量交管數(shù)據(jù)中蘊(yùn)含著非常多有價值的信息,這些信息有助于交管部門決策,精準(zhǔn)輔助交管業(yè)務(wù)。交管業(yè)務(wù)中經(jīng)常需要統(tǒng)計(jì)駕駛員違法排名,統(tǒng)計(jì)路段事故數(shù)量以及分析路網(wǎng)超速行駛的軌跡點(diǎn)和車輛信息等類似的工作。這些工作本質(zhì)是數(shù)據(jù)庫相關(guān)數(shù)據(jù)表的查詢統(tǒng)計(jì),SQL語句或是簡單或是復(fù)雜。但是交管業(yè)務(wù)中類似的工作具有很多,如果每個統(tǒng)計(jì)分析都由數(shù)據(jù)庫查詢統(tǒng)計(jì)或者相應(yīng)的程序來完成,那么交管業(yè)務(wù)的工作量是巨大的,顯然效率也是低下的。因此,在分析了交管數(shù)據(jù)應(yīng)用價值與交管業(yè)務(wù)需求基礎(chǔ)上,如何在交管數(shù)據(jù)中高效計(jì)算分析其中的信息成為亟需解決的問題。然而,傳統(tǒng)的時空數(shù)據(jù)分析系統(tǒng)多運(yùn)行于單機(jī)系統(tǒng),缺乏在線服務(wù),對空間數(shù)據(jù)類型支持度不高,對海量數(shù)據(jù)的計(jì)算分析效率較低�；谝陨辖还軜I(yè)務(wù)需求與存在的問題,本文嘗試一種面向交管業(yè)務(wù)分析的時空算子,旨在將交管業(yè)務(wù)中交管數(shù)據(jù)分析分解為多個子任務(wù)。本文采用時空算子與子任務(wù)關(guān)聯(lián),表達(dá)子任務(wù)數(shù)據(jù)操作,將交管數(shù)據(jù)分析抽象為一個模型,這樣整個模型構(gòu)建就是由多個關(guān)聯(lián)算子的子任務(wù)組合而成。每個算子負(fù)責(zé)與其關(guān)聯(lián)子任務(wù)的計(jì)算功能,子任務(wù)間可以存在依賴關(guān)系。整個模型執(zhí)行就是構(gòu)成該模型的多個子任務(wù)按照依賴關(guān)系的調(diào)度執(zhí)行�；谝陨霞夹g(shù)思路,本文設(shè)計(jì)相關(guān)時空算子。根據(jù)交管日常業(yè)務(wù)特點(diǎn)與需求,對時空算子種類進(jìn)行詳細(xì)劃分。在時空算子執(zhí)行方面,本文針對Spark執(zhí)行策略與SQL結(jié)構(gòu)化記錄執(zhí)行策略進(jìn)行相應(yīng)執(zhí)行效率實(shí)驗(yàn),基于對比實(shí)驗(yàn)結(jié)果和算子執(zhí)行效率考慮,時空算子執(zhí)行策略采用兩種執(zhí)行策略相結(jié)合的方式,并設(shè)計(jì)算子執(zhí)行策略選擇規(guī)則,保證時空算子執(zhí)行過程中選擇適當(dāng)?shù)膱?zhí)行策略進(jìn)行計(jì)算。顧及時空算子的兩種執(zhí)行策略,定義虛擬表的概念作為時空算子的輸入輸出參數(shù),并根據(jù)時空算子兩種執(zhí)行策略特點(diǎn),設(shè)計(jì)虛擬表結(jié)構(gòu)。時空算子計(jì)算方面,設(shè)計(jì)基礎(chǔ)算子參數(shù)和時空算子參數(shù),其中時空算子參數(shù)引用基礎(chǔ)算子參數(shù)。另外,定義并設(shè)計(jì)時空算子統(tǒng)一的計(jì)算接口以及內(nèi)部不同執(zhí)行策略下的計(jì)算接口。模型由多個子任務(wù)組合而成,模型的執(zhí)行就是多個子任務(wù)的調(diào)度執(zhí)行。在模型構(gòu)建方面,本文采用Dexecutor調(diào)度框架與模型結(jié)合,任務(wù)與時空算子關(guān)聯(lián)等手段構(gòu)建模型,并闡述模型執(zhí)行計(jì)劃的構(gòu)造過程。在模型執(zhí)行方面,本文闡述模型整體執(zhí)行和模型單步執(zhí)行兩種方式,并描述模型多任務(wù)的調(diào)度執(zhí)行過程。為了深刻地闡述模型調(diào)度過程,本文從非空間和空間兩個角度入手,以實(shí)際具體的典型模型例子分析模型調(diào)度過程。最后,本文對模型多任務(wù)的調(diào)度執(zhí)行與串行執(zhí)行進(jìn)行執(zhí)行效率對比實(shí)驗(yàn),驗(yàn)證模型調(diào)度執(zhí)行的有效性和優(yōu)勢。此外,本文基于以上研究結(jié)果設(shè)計(jì)實(shí)現(xiàn)原型系統(tǒng),并設(shè)計(jì)實(shí)驗(yàn),對以上研究進(jìn)行實(shí)驗(yàn)分析,達(dá)到了預(yù)想的效果。最后,對本文的工作進(jìn)行整體說明,總結(jié)本文的研究內(nèi)容,也指出本文做的不足之處,并針對不足的地方提出后續(xù)的研究重點(diǎn)。
【學(xué)位單位】：武漢大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：P208;U495
【部分圖文】：

圖Ｕ總體技術(shù)思路流程圖??交管日常業(yè)務(wù)中，交管數(shù)據(jù)業(yè)務(wù)是最為主要的部分。交管數(shù)據(jù)業(yè)務(wù)涉及數(shù)據(jù)??采集、數(shù)據(jù)分析以及數(shù)據(jù)管理等方面。本文針對交管數(shù)據(jù)分析業(yè)務(wù)進(jìn)行研宄、調(diào)??研，發(fā)現(xiàn)其具有數(shù)據(jù)復(fù)雜、工作量大的特點(diǎn)，大部分交管數(shù)據(jù)分析業(yè)務(wù)均是對數(shù)??據(jù)庫相關(guān)表進(jìn)行統(tǒng)計(jì)或者分析操作�；诖�，本文將一項(xiàng)交管數(shù)據(jù)分析業(yè)務(wù)抽象??為一個模型，并將該模型分解為多個子任務(wù)，每個子任務(wù)都會與相應(yīng)的時空算子??

第三章為時空算子設(shè)計(jì)，第四章為模型調(diào)度與執(zhí)行，第五章為原型系統(tǒng)設(shè)計(jì)與實(shí)??現(xiàn)，第六章為總結(jié)與展望。第三、四、五章是本文研究的主要內(nèi)容以及實(shí)現(xiàn)結(jié)果。??本文章節(jié)關(guān)系如圖１．２所示。??第一章：緒論??＜＞??第二章：分布式架構(gòu)與相關(guān)技術(shù)??第三章：時空算子設(shè)計(jì)二＾?第四章：模型任務(wù)調(diào)度??第五章：原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)??第六章：本文總結(jié)與展望??圖１．２章節(jié)關(guān)系圖??各章節(jié)具體描述如下：??第一章，緒論。主要介紹本文選題理由以意義，本課題國內(nèi)外研究現(xiàn)狀，本??文研究目標(biāo)與內(nèi)容以及本文總體技術(shù)思路，最后闡述本文組織結(jié)構(gòu)。??第二章，分布式架構(gòu)及相關(guān)技術(shù)。介紹本課題使用的云服務(wù)平臺、Ｓｐａｒｋ?ＳＱＬ??相關(guān)技術(shù)、Ｄｅｘｅｃｕｔｏｒ任務(wù)調(diào)度框架以及用于空間數(shù)據(jù)計(jì)算分析的ＧｅｏＳｐａｒｋ技??術(shù)。??７??

２．１交管云服務(wù)平臺??交管云平臺是基于Ｈａｄｏｏｐ、Ｓｐａｒｋ等開源基礎(chǔ)框架搭建的云服務(wù)平臺，其基??本架構(gòu)如圖２．１所示。??Ｔ用Ａ室內(nèi)ＧＩＳ服務(wù)位指紋冊務(wù)｜定位特征庫服務(wù)｜定位接入服務(wù)｜?云??二??［二——?＾?端??ｇ?代碼即服務(wù)工具集運(yùn)行狀態(tài)匯報｜本地開發(fā)調(diào)試｜集群信息??應(yīng)用中心接口功能集｜本地卷操作｜｜云計(jì)算資源儲資源；??，?ｎ?ｔ??１?云基礎(chǔ)設(shè)施安裝與監(jiān)控?．下載，與雙一??適?本地資源監(jiān)控與匯報?應(yīng)用清理?｜?Ｉ?……??理?１?????—方——??１＊．應(yīng)用訪問代理…丨———權(quán)限管理Ｉ丨運(yùn)維管理．Ｊ！???｜?ｎ??ｊ＾ｌ?軟件倉庫?｜｜?應(yīng)用實(shí)例管理?應(yīng)用運(yùn)行信息監(jiān)控??添加應(yīng)用｜｜應(yīng)用熱升級｜ｉ實(shí)例部ｇ?實(shí)例分部擴(kuò)展?執(zhí)行進(jìn)度安戈?duì)顟B(tài)??應(yīng)用上載｜｜安裝擴(kuò)展服務(wù)｜?｜實(shí)例重啟?實(shí)例資源自適應(yīng)適配ｆ?０定義佶怠??Ｉ?１?１１?１１?＇?ｉＬ?１?丨??基礎(chǔ)云環(huán)?ＥｌａｓｔｉｃＳｅａｒｃｈ?Ｋａｆｋａ?Ｓｐａｒｋ?ＭＬｌｉｂ?ｊ?．．．??謹(jǐn)?境巨理?Ｈａ?ｄｏ?ｏｐ?［?Ｍａｐ－Ｒｅｄｕｃｅ?Ｙａｒｎ?］?［?Ｚｏｏｋｅｅｐｅｒ?｜?［?ＨＤＦＳ?＼＼?．．．］??遍云牛和｜創(chuàng)建云主機(jī)?云主機(jī)啟動／停止?卷替ｇ丨創(chuàng)建獨(dú)占卷｜?｜綁定／解綁｜??管理云主機(jī)監(jiān)控?實(shí)時資源統(tǒng)計(jì)Ｉ?（Ｇ
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 段宗濤;鄭西彬;李瑩;劉研;王向宇;康軍;唐蕾;;道路交通大數(shù)據(jù)及其關(guān)鍵技術(shù)研究[J];微電子學(xué)與計(jì)算機(jī);2015年06期

2 王雅瓊;楊云鵬;樊重俊;;智慧交通中的大數(shù)據(jù)應(yīng)用研究[J];物流工程與管理;2015年05期

3 王勁峰;葛詠;李連發(fā);孟斌;武繼磊;柏延臣;杜世宏;廖一蘭;胡茂桂;徐成東;;地理學(xué)時空數(shù)據(jù)分析方法[J];地理學(xué)報;2014年09期

4 馬英杰;;交通大數(shù)據(jù)的發(fā)展現(xiàn)狀與思路[J];道路交通與安全;2014年04期

5 唐一韜;黃晶;肖球;;一種基于DAG的MapReduce任務(wù)調(diào)度算法[J];計(jì)算機(jī)科學(xué);2014年S1期

6 田國忠;肖創(chuàng)柏;趙娟娟;;云計(jì)算環(huán)境下多DAG調(diào)度的資源分配進(jìn)化算法[J];計(jì)算機(jī)應(yīng)用研究;2014年09期

7 劉丹琦;于炯;英昌甜;;云計(jì)算環(huán)境下多有向無環(huán)圖工作流的節(jié)能調(diào)度算法[J];計(jì)算機(jī)應(yīng)用;2013年09期

8 王彥明;奉國和;薛云;;近年來Hadoop國外研究綜述[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2013年06期

9 姜燕;胡凱;楊志斌;張新宇;;基于擴(kuò)展的隨機(jī)DAG的并行任務(wù)調(diào)度算法研究[J];計(jì)算機(jī)科學(xué);2008年07期

10 杜曉麗;蔣昌俊;徐國榮;丁志軍;;一種基于模糊聚類的網(wǎng)格DAG任務(wù)圖調(diào)度算法[J];軟件學(xué)報;2006年11期

相關(guān)碩士學(xué)位論文 前3條

1 姬倩倩;公共交通大數(shù)據(jù)平臺架構(gòu)服務(wù)模式研究[D];西安電子科技大學(xué);2014年

2 顧星;集群系統(tǒng)中基于DAG模型的任務(wù)調(diào)度算法研究[D];南京航空航天大學(xué);2012年

3 華強(qiáng)勝;基于DAG模型的高效并行任務(wù)調(diào)度算法研究[D];中南大學(xué);2004年

本文編號：2852377