發(fā)布時(shí)間：2021-08-12 23:33

　　目前綿陽市共建設(shè)超過700個(gè)公路卡口,每天的過車記錄數(shù)據(jù)信息超過600萬條,并伴隨有大量的圖片和視頻數(shù)據(jù)信息。但是隨著更多新建的卡口接入原有的緝查布控系統(tǒng),系統(tǒng)產(chǎn)生的問題也日趨嚴(yán)重,因此需要對(duì)原有緝查布控系統(tǒng)進(jìn)行改進(jìn)。在原有緝查布控系統(tǒng)中,采用Servlet接口接收從前端卡口系統(tǒng)上傳的數(shù)據(jù),然后經(jīng)過比對(duì)分析后存入Oracle數(shù)據(jù)庫(kù)。這樣的架構(gòu)導(dǎo)致了一個(gè)很嚴(yán)重的問題,即由于在接口中數(shù)據(jù)會(huì)進(jìn)行比對(duì)分析,接口處理數(shù)據(jù)的速度與卡口上傳數(shù)據(jù)的速度之間存在差異,因此很容易造成數(shù)據(jù)在接口處不斷的積壓,導(dǎo)致業(yè)務(wù)端的數(shù)據(jù)實(shí)時(shí)性非常低。原有緝查布控系統(tǒng)中卡口數(shù)量少的時(shí)候,此問題不是很明顯,但是隨著城市的發(fā)展,卡口數(shù)量不斷增長(zhǎng),問題也日趨嚴(yán)重。在問題剛開始出現(xiàn)的時(shí)候,提供的解決方式是增加緝查布控系統(tǒng)的服務(wù)器數(shù)量,問題也得到了暫時(shí)的解決,但是關(guān)系型數(shù)據(jù)庫(kù)在數(shù)據(jù)量大增的情況下,業(yè)務(wù)端的查詢與統(tǒng)計(jì)效率也大幅度降低,無法滿足業(yè)務(wù)系統(tǒng)的正常業(yè)務(wù)需求。因此經(jīng)過分析,提出以Hadoop框架及大數(shù)據(jù)分析方法來構(gòu)建緝查布控系統(tǒng)。面對(duì)海量的過車記錄數(shù)據(jù),本系統(tǒng)采用大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析技術(shù)來對(duì)其進(jìn)行處理。系統(tǒng)通過Kafka分布... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：90 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

SpringMVC底層執(zhí)行原理

電子科技大學(xué)碩士學(xué)位論文10角度分為完全備份、增量備份和差異備份。完全備份是指每次備份完整的數(shù)據(jù)；增量備份是指每次在完全備份或增量備份的基礎(chǔ)上只備份修改過數(shù)據(jù)，當(dāng)需要恢復(fù)數(shù)據(jù)時(shí)，依賴于上次完整備份和每次增量備份；差異備份是指每次在完全備份的基礎(chǔ)上只備份修改過數(shù)據(jù)，當(dāng)需要恢復(fù)數(shù)據(jù)時(shí)，依賴于上次完整備份和最后一次差異備份。圖2-2Oracle備份分類圖2.4HbaseHbase數(shù)據(jù)庫(kù)全稱HadoopDatabase，是一種構(gòu)建在HDFS之上的分布式數(shù)據(jù)庫(kù)，其優(yōu)點(diǎn)在于超大規(guī)模數(shù)據(jù)集的時(shí)候?qū)崟r(shí)讀寫和隨機(jī)訪問速度都非常的快[18]。Hbase可以直接定位要查數(shù)據(jù)所在的服務(wù)器，然后在這個(gè)服務(wù)器的一個(gè)區(qū)域里查找需要匹配的數(shù)據(jù)，也就可以在保證一些實(shí)時(shí)計(jì)算方法能夠快速讀取到數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行處理。Hbase是一種“NoSQL”數(shù)據(jù)庫(kù)，意味著Hbase不支持SQL語句，這點(diǎn)與以SQL語句作為其主要訪問語言的RDBMS不同。從技術(shù)上講，HBASE實(shí)際上更像是一個(gè)“數(shù)據(jù)存儲(chǔ)”而不是“數(shù)據(jù)庫(kù)”，因?yàn)樗鄙賀DBMS中的許多特性，例如類型化列、輔助索引、觸發(fā)器和高級(jí)查詢語言等。Hbase可以通過增加RegionServers來線性擴(kuò)展。例如，如果集群中RegionServers的數(shù)量從10擴(kuò)展到20個(gè)，那么它的存儲(chǔ)能力和處理能力都會(huì)加倍。關(guān)系型數(shù)據(jù)庫(kù)也可以有很好的擴(kuò)展性，但是擴(kuò)展有限度，并且為了保證最佳的性能，需要專門的硬件和存儲(chǔ)設(shè)備。什么時(shí)候應(yīng)該使用Hbase？首先，確保系統(tǒng)有足夠的數(shù)據(jù)，卡口每月產(chǎn)生數(shù)億

電子科技大學(xué)碩士學(xué)位論文12出來的結(jié)果進(jìn)行預(yù)測(cè)性分析，例如系統(tǒng)中的落腳點(diǎn)分析，從每天的落腳點(diǎn)中預(yù)測(cè)哪個(gè)卡點(diǎn)為真實(shí)落腳點(diǎn)；SemanticEngines（語義引擎），指的是設(shè)計(jì)語義引擎來識(shí)別非結(jié)構(gòu)化數(shù)據(jù)，例如系統(tǒng)中接入的卡口過車數(shù)據(jù)不止一個(gè)廠商，每個(gè)廠商給出的卡口數(shù)據(jù)格式也存在差異；DataQualityandMasterDataManagement（數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理），指的是通過一些標(biāo)準(zhǔn)化的流程來保證結(jié)果的質(zhì)量，例如系統(tǒng)對(duì)過車數(shù)據(jù)上傳的情況進(jìn)行監(jiān)測(cè)，監(jiān)測(cè)內(nèi)容包括上傳成功、失敗的數(shù)據(jù)總數(shù)、卡口數(shù)據(jù)上傳時(shí)延情況以及上傳失敗的卡口排行、上傳失敗的原因排行等，有利于用戶及時(shí)發(fā)現(xiàn)異常。圖2-3大數(shù)據(jù)分析框架2.5.1Hadoop分布式架構(gòu)Hadoop是由Apache開發(fā)的一個(gè)分布式系統(tǒng)，是分析大數(shù)據(jù)的領(lǐng)先平臺(tái)，其核心是HDFS（HadoopDistributedFileSystem）和MapReduce[23]。HDFS用于海量數(shù)據(jù)的分布式流式存儲(chǔ)，它可以部署在普通甚至廉價(jià)的硬件服務(wù)器上，它在處理超大文件、高可靠性和可容錯(cuò)方面性能卓越[24]。MapReduce則是用于海量數(shù)據(jù)的計(jì)算，將復(fù)雜的計(jì)算抽象成Map和Reduce兩個(gè)函數(shù)，只用簡(jiǎn)單的實(shí)現(xiàn)幾個(gè)接口，即可開發(fā)出一個(gè)分布式程序[25]。由于MapReduce在實(shí)時(shí)計(jì)算和流處理方面存在弊端，所以在緝查布控系統(tǒng)中采用SparkStream流計(jì)算框架。SparkStream采用RDD（ResilientDistributedDatasets）技術(shù)將數(shù)據(jù)集顯式的內(nèi)存中進(jìn)行實(shí)時(shí)流計(jì)算，便于后續(xù)重用，因此在處理速度和靈活性上比MapReduce性能好[26]。

【參考文獻(xiàn)】：
期刊論文
[1]基于Kafka和Storm的車輛套牌實(shí)時(shí)分析存儲(chǔ)系統(tǒng)[J]. 任培花,蘇銘.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2019(10)
[2]基于車輛異常行為的套牌車并行檢測(cè)方法[J]. 康晨傲,曾獻(xiàn)輝.  智能計(jì)算機(jī)與應(yīng)用. 2019(03)
[3]基于大數(shù)據(jù)技術(shù)的智能交通管理與應(yīng)用研究[J]. 楊永斌,李笑揚(yáng).  重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(02)
[4]基于級(jí)聯(lián)多任務(wù)深度學(xué)習(xí)的卡口識(shí)別引擎研究[J]. 何霞,湯一平,袁公萍,陳朋,王麗冉.  計(jì)算機(jī)科學(xué). 2019(01)
[5]智能交通信息物理融合云控制系統(tǒng)[J]. 夏元清,閆策,王笑京,宋向輝.  自動(dòng)化學(xué)報(bào). 2019(01)
[6]智能車輛緝查布控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)探討[J]. 李健.  科技經(jīng)濟(jì)導(dǎo)刊. 2018(33)
[7]地面交通控制的百年回顧和未來展望[J]. 李力,王飛躍.  自動(dòng)化學(xué)報(bào). 2018(04)
[8]MVC模式下多層分布式軟件系統(tǒng)架構(gòu)設(shè)計(jì)[J]. 劉正,張書鋒,趙鶴鳴.  現(xiàn)代電子技術(shù). 2018(07)
[9]基于卡口監(jiān)測(cè)數(shù)據(jù)流的套牌車檢測(cè)[J]. 李敏茜,毛嘉莉,袁培森,金澈清.  華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[10]Oracle、VB和Matlab在智能交通系統(tǒng)中的應(yīng)用[J]. 李亞.  工程技術(shù)研究. 2018(02)



本文編號(hào)：3339278