在信息化時代背景下,每天都會產(chǎn)生大量的數(shù)據(jù),需要處理的數(shù)據(jù)量越來越大,對處理時間的要求卻越來越短。面對如此繁雜眾多的信息系統(tǒng)以及海量的數(shù)據(jù),如何從這些復雜信息系統(tǒng)中提取有用的數(shù)據(jù)進行分析決策是當下面臨的一大難題。在此背景下,本文將研究交通警察信息系統(tǒng)中數(shù)據(jù)的提取以及建模應用。本文選取交通警察信息系統(tǒng)的數(shù)據(jù)進行應用研究,首先確定好交通數(shù)據(jù)的新型存儲平臺——數(shù)據(jù)倉庫,這將存儲散落在原先各個業(yè)務系統(tǒng)中的數(shù)據(jù)。為保證交通警察數(shù)據(jù)倉庫中數(shù)據(jù)的同步性和準確性,本文結合gpload的特性設計實現(xiàn)了數(shù)據(jù)導入的ETL工具,將抽取出來的數(shù)據(jù),進行轉(zhuǎn)換后再并行加載。還設計了調(diào)度中心來對生產(chǎn)環(huán)境中的ETL任務集群進行調(diào)度,其使用高響應比優(yōu)先策略搭配蟻群算法來負責處理ETL任務的調(diào)度安排,使用quartz負責實際調(diào)度執(zhí)行,從而將數(shù)據(jù)提取到數(shù)據(jù)倉庫中。然后對交通警察數(shù)據(jù)倉庫中的數(shù)據(jù)進行分析,例如在卡點采集的車輛經(jīng)過數(shù)據(jù)中尋找其中的套牌車輛。先對卡口數(shù)據(jù)集的結構進行了分析,找出其中跟套牌車分析有關的屬性信息,并將業(yè)務上的分析方法轉(zhuǎn)化成定量的數(shù)學模型。再引入時空矛盾的新約束,設計基于時空矛盾的車牌套牌算法,將相關套牌... 

【文章來源】：浙江理工大學浙江省

【文章頁數(shù)】：85 頁

【學位級別】：碩士

【部分圖文】：

論文體系結構

、數(shù)據(jù)存儲與分析層、數(shù)據(jù)共享層和數(shù)據(jù)應用層組成。源頭層是數(shù)據(jù)倉庫的基礎，也是整個數(shù)據(jù)倉庫數(shù)據(jù)的源頭，主要來源于交通系統(tǒng)和道路卡點監(jiān)測系統(tǒng)等業(yè)務系統(tǒng)的實際業(yè)務數(shù)據(jù)。 ETL 層主要負責將數(shù)據(jù)源頭層中分布廣泛的各種業(yè)務數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換、后加載到數(shù)據(jù)倉庫的存儲層中。存儲與分析層是負責交通警察數(shù)據(jù)的組織、管理以及相關分析，通過數(shù)據(jù)分進行情報研判、車輛軌跡分析以及對數(shù)據(jù)的實時分析處理來進行交通誘導。共享層是將數(shù)據(jù)倉庫中的數(shù)據(jù)提供給其他系統(tǒng)和部門來使用，比如情報部門數(shù)據(jù)分析來對嫌疑人員進行有重點的布控和抓捕。應用層主要是各種數(shù)據(jù)查詢分析界面，如只需在交通警察數(shù)據(jù)倉庫就可查詢據(jù)而無需跨部門協(xié)調(diào)查詢，還可將車輛的所有信息可視化的展示出來，做到知方位，并對應上不同的標簽，來對不同類型的車輛進行個性化分析和預測

圖 2.2 交通警察數(shù)據(jù)倉庫特征1）面向主題性，是指交通警察數(shù)據(jù)倉庫的設計和規(guī)劃是按照一定的主題進行推動通警察會對車輛的相關信息更為敏感，因此在數(shù)據(jù)存儲和數(shù)據(jù)模塊的劃分時更注這一主題。特別是其中數(shù)據(jù)量最大、關系最為復雜的車輛經(jīng)過卡點識別信息表，儲時就應該按照車輛這個主體的相關信息這個分類進行存儲[18]，而不是按照卡點 集時間來進行存儲，這樣才能針對性的提供決策分析時的數(shù)據(jù)支持。2）集成性，交通警察數(shù)據(jù)倉庫的數(shù)據(jù)來自于不同業(yè)務系統(tǒng)中的數(shù)據(jù)和現(xiàn)場執(zhí)法據(jù)，在對源頭的數(shù)據(jù)進行數(shù)據(jù)抽取后，需要對不一致性的數(shù)據(jù)進行加工和集成[19]輛經(jīng)過卡點識別信息中的號牌號碼和車輛登記系統(tǒng)中的號牌號碼格式不一致，需格式統(tǒng)一化后再進行保存。3）穩(wěn)定性，交通警察數(shù)據(jù)倉庫主要是將存儲的數(shù)據(jù)對用戶提供頻繁的數(shù)據(jù)獲取析展示，和傳統(tǒng)的關系型數(shù)據(jù)庫相比而言少了數(shù)據(jù)的修改，因此數(shù)據(jù)倉庫的數(shù)據(jù)

【參考文獻】：
期刊論文
[1]2017年全國機動車和駕駛?cè)吮３指呶辉鲩L[J].   道路交通管理. 2018(02)
[2]基于聚類分組和屬性綜合權值的SNM改進算法[J]. 楊巧巧,郭振波,王開西.  工業(yè)控制計算機. 2017(09)
[3]基于開源代碼的ETL工具的實現(xiàn)[J]. 汪洋,韓寧.  微型機與應用. 2016(24)
[4]基于計算機軟件開發(fā)的JAVA編程語言解析[J]. 樸宏波.  科技創(chuàng)新導報. 2016(30)
[5]海量車牌識別數(shù)據(jù)集上基于時空劃分的旅行時間計算方法[J]. 趙卓峰,丁維龍,張帥.  電子學報. 2016(05)
[6]基于歷史車牌識別數(shù)據(jù)的套牌車并行檢測方法[J]. 李悅,劉晨.  計算機應用. 2016(03)
[7]智慧搜索中的實體與關聯(lián)關系建模與挖掘[J]. 王曉陽,鄭驍慶,肖仰華.  通信學報. 2015(12)
[8]基于任務合并的并行大數(shù)據(jù)清洗過程優(yōu)化[J]. 楊東華,李寧寧,王宏志,李建中,高宏.  計算機學報. 2016(01)
[9]異構信息空間中實體關聯(lián)關系挖掘算法CFRQ4A[J]. 楊丹,申德榮,聶鐵錚,于戈,寇月.  計算機研究與發(fā)展. 2014(04)
[10]BI系統(tǒng)從規(guī)劃、實施到持續(xù)改進[J]. 王小玲.  信息系統(tǒng)工程. 2013(08)

碩士論文
[1]基于ETL的數(shù)據(jù)集成及交換系統(tǒng)的實現(xiàn)與優(yōu)化[D]. 李磊.北方工業(yè)大學 2018
[2]工業(yè)大數(shù)據(jù)相似重復記錄數(shù)據(jù)清洗關鍵技術研究[D]. 楊巧巧.青島大學 2018
[3]基于SpringBoot和Vue框架的電子招投標系統(tǒng)的設計與實現(xiàn)[D]. 焦鵬琿.南京大學 2018
[4]基于大數(shù)據(jù)的實時交通流預測方法研究[D]. 白亞男.廣東工業(yè)大學 2018
[5]基于Kettle集群的ETL管理系統(tǒng)的設計與實現(xiàn)[D]. 張懿.山東大學 2018
[6]基于數(shù)據(jù)倉庫的社保統(tǒng)計分析系統(tǒng)的設計與實現(xiàn)[D]. 唐磊.電子科技大學 2018
[7]基于機器學習的多源異構大數(shù)據(jù)清洗技術研究[D]. 楊尚林.廣西大學 2017
[8]基于B/S的教學培訓信息管理系統(tǒng)的設計與實現(xiàn)[D]. 位超.電子科技大學 2017
[9]基于Storm的海量交通數(shù)據(jù)實時處理平臺的研究[D]. 喬通.北方工業(yè)大學 2017
[10]基于企業(yè)信息資源目錄的多源ETL模型的研究[D]. 于洋.東北石油大學 2017



本文編號：2951677