【摘要】：隨著路網(wǎng)結構的快速擴大以及收費規(guī)模的不斷擴大,高速公路上出現(xiàn)大量存在偷逃費行為的車輛,傳統(tǒng)的以路段為單位各自防止逃費、打擊逃費已經無法適應新形勢下的運營管理的需求,成為高速公路運營管理部門的難點�，F(xiàn)有的高速公路稽查偷逃費車輛大多以事后稽查為主,對大量離線歷史數(shù)據(jù)進行數(shù)據(jù)挖掘所產生高延時,不利于及時處理逃費車輛,且低質量的原始數(shù)據(jù)會造成稽查結果的不準確。為了有效的利用高速公路收費數(shù)據(jù),發(fā)現(xiàn)偷逃費車輛,本文針對稽查效率和準確率低的問題,針對業(yè)務場景下的特例展開了偷逃費車輛發(fā)現(xiàn)方法的研究。論文主要工作包括:1.提出了基于海量歷史數(shù)據(jù)并行處理計算模型的偷逃費車輛離線檢測方法。高速公路聯(lián)網(wǎng)運營系統(tǒng)會記錄下高速公路上每天進出收費站車輛的收費信息,形成一份離線的收費數(shù)據(jù)。針對高速公路歷史收費數(shù)據(jù),本文設計離線檢測方法,對歷史收費數(shù)據(jù)進行分析和處理,稽查出可疑的逃費車輛,實現(xiàn)了事后稽查。2.提出了基于實時連續(xù)數(shù)據(jù)的偷逃費車輛在線檢測方法。車輛在高速公路駛出車道時,會經過傳感設備實時采集獲取收費信息,形成實時收費數(shù)據(jù)流。針對高速公路實時收費數(shù)據(jù),本文設計的在線檢測方法,對實時收費數(shù)據(jù)流的信息進行計算,即時發(fā)現(xiàn)可疑逃費車輛,實現(xiàn)了當場稽查。3.設計實現(xiàn)了高速公路偷逃費車輛稽查系統(tǒng)。根據(jù)不同的逃費手段,細化了不同的頁面,將所設計的離線檢測方法和在線檢測方法,應用于實際的事后稽查和當場稽查場景中,實現(xiàn)了偷逃費車輛稽查系統(tǒng),展示了事后稽查和當場稽查的結果,提供了本文偷逃費車輛發(fā)現(xiàn)方法研究的可視化結果。
【學位授予單位】：北方工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.13;U495
【圖文】：

列族（ｃｏｌｕｍｎ邋ｆａｍｉｌｙ），列族需要在表格創(chuàng)建的初始時就定義好，而且修改的頻逡逑率不能過快，數(shù)量也不能夠設置太多。逡逑如圖２－１，為Ｈｂａｓｅ列式存儲模型，行和列沒有像關系型數(shù)據(jù)庫那樣，以表逡逑格的行式形式存儲，而是采用了標簽的形式，將所有的信息，保存在一個標簽下，逡逑也就是ｒｏｗ中。ｒｏｗ中可以設置不同的列，而該行健的列又可以在不同的列族中，逡逑不同的列還可以在不同的列族中。逡逑ｒ0ｗＡ邋＾逡逑ｒ0ｗＢ邐——邐—邐邐逡逑晴ｃ邋．邐邐１二＝二邐－Ｊ逡逑．邋—■邋．１逡逑Ｆａｍｉｌｙｌ邐Ｆａｍｉｌｙ２逡逑圖２－１邋Ｈｂａｓｅ列式存儲模型逡逑Ｈａｄｏｏｐ框架最核心的另一個設計就是ＭａｐＲｅｄｕｃｅ編程模型，為大規(guī)模數(shù)據(jù)逡逑提供了高效并行計算方式的可能。ＭａｐＲｅｄｕｃｅ由兩個階段組成，一個是Ｍａｐ邋（映逡逑射）階段，另一個是Ｒｅｄｕｃｅ邋（歸約）階段，用戶只需完成ｍａｐ0和ｒｅｄｕｃｅ（）兩個逡逑函數(shù)的編寫，即可實現(xiàn)分布式計算。Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ的功能是打破單個任逡逑務并將碎片任務（Ｍａｐ）發(fā)送到多個節(jié)點，然后將其作為單個數(shù)據(jù)集加載（Ｒｅｄｕｃｅ）逡逑到數(shù)據(jù)倉庫中。逡逑一個ＭａｐＲｅｄｕｃｅ模型算法至少應該由３部分組成：一個Ｍａｐ

在這個功能上，Ｈａｄｏｏｐ提供了許多的ｊａｖａ接口和抽象類，為Ｈａｄｏｏｐ應逡逑用程序開發(fā)人員提供了許多用于調試和性能指標的工具。逡逑如圖２－２為Ｍａｐｒｅｄｕｃｅ編程模型的執(zhí)行步驟。逡逑Ｍａｐ階段任務逡逑當用戶（Ｃｌｉｅｎｔ）將ＭａｐＲｅｄｕｃｅ程序打ｊａｒ包發(fā)送任務指令運行之后，任務逡逑跟蹤器（ＪｏｂＴｒａｃｋｅｒ）讀�。龋猓幔螅鍞�(shù)據(jù)庫表中的數(shù)據(jù)，相當于圖中的ＩｎｐｕｔＳｐｌｉｔ。逡逑每一行合成一ｔ＜ｋｅｙＯ，ｖａｌｕｅＯ＞的集合，每一個鍵值對集合調用一次ｍａｐ函數(shù)。逡逑之后覆蓋ｍａｐ0，接收生成的＜ｋｅｙ０，ｖａｌｕｅ０＞，處理過后轉換為新的＜ｋｅｙｌ，ｖａｌｕｅｌ＞逡逑輸出。對＜１＾１，奶１此１＞進行分區(qū)，然后對不同分區(qū)中的數(shù)據(jù)進行排序、分組，艮Ｐ逡逑把相同ｋｅｙ值的ｖａｌｕｅ放到一個集合中。逡逑Ｒｅｄｕｃｅ階段任務逡逑對多個Ｍａｐｐｅｒ任務的輸出，也就是ＭａｐＯｕｔｐｕｔ，按照不同的分組，通過合逡逑并復制到不同的Ｒｅｄｅｃｅｒ節(jié)點上，對ＭａｐＯｕｔｐｕｔ進行合并、排序，根據(jù)需求進行逡逑不同的處理

數(shù)據(jù)處理過程分為不同的處理階段，每個處理階段在構造時被稱為組件，在運行逡逑時被稱為任務。逡逑Ｔｏｐｏｌｏｇｙ的構成如圖２－４所示，作業(yè)由多個組件按照一定的處理邏輯順序構逡逑成，根據(jù)組件作用的不同，分為Ｓｐｏｕｔ組件和Ｂｏｌｔ組件，這兩類組件通過數(shù)據(jù)流逡逑１１逡逑

【相似文獻】

相關期刊論文 前10條

1 王昶;;影響收費數(shù)據(jù)的設備因素研究[J];中國交通信息產業(yè);2006年05期

2 高紅光;;河北省高速公路電子收費數(shù)據(jù)不完整上傳解決方案探析[J];中國交通信息化;2017年S1期

3 張騰月;翁小雄;;基于收費數(shù)據(jù)的高速公路行程時間可靠性估計模型[J];廣西師范大學學報(自然科學版);2016年04期

4 艾力·肖開提;;車道收費數(shù)據(jù)存儲方法研究[J];中國交通信息產業(yè);2004年12期

5 王盛吉;王家杰;;通過收費數(shù)據(jù)計算封閉公路斷面交通量的方法[J];中國交通信息產業(yè);2006年12期

6 徐祥;;高速公路收費數(shù)據(jù)無線應急傳輸系統(tǒng)[J];中國交通信息化;2011年06期

7 郭瑞軍;于景;孫曉亮;牛樹云;;基于電子收費數(shù)據(jù)的高速公路交通流特性分析[J];大連交通大學學報;2018年01期

8 李明華;朱瑞新;;基于收費數(shù)據(jù)分析可疑逃漏費車輛技術方案[J];中國交通信息化;2016年S1期

9 唐先亮;;車道收費數(shù)據(jù)完整性保障措施探討[J];中國交通信息化;2014年08期

10 高峰;王家杰;;挖掘數(shù)據(jù)寶藏——聯(lián)網(wǎng)收費數(shù)據(jù)應用研究之挖掘基礎工作[J];中國交通信息產業(yè);2008年03期

相關會議論文 前9條

1 吳娜;;湖北省高速公路路網(wǎng)收費數(shù)據(jù)的傳輸及恢復[A];湖北省公路學會——2004年機電工程研討會論文集[C];2004年

2 周志星;暨育雄;蘇貴民;;基于ETC數(shù)據(jù)的交通特征分析研究[A];2014第九屆中國智能交通年會大會論文集[C];2014年

3 李勇;;安徽省高速公路綜合管理信息系統(tǒng)[A];第一屆全國公路科技創(chuàng)新高層論壇論文集智能交通與機電工程卷[C];2002年

4 王媛;;基于大數(shù)據(jù)的道路運行模型改進方法研究[A];2016年中國城市交通規(guī)劃年會論文集[C];2016年

5 趙鈴春;;我國高速公路網(wǎng)絡化管理初探[A];天津市電視技術研究會2010年年會論文集[C];2010年

6 杜海寧;宋靖雁;張毅;;高速公路收費數(shù)據(jù)拆分表的矩陣計算方法[A];第十九屆中國控制會議論文集（二）[C];2000年

7 張俊峰;周宏;;基于收費數(shù)據(jù)的高速公路斷面流量獲取研究[A];第十一屆中國智能交通年會大會論文集[C];2016年

8 高永;褚琴;翟雅嶠;姚毅;;公共交通乘客出行特征大數(shù)據(jù)分析[A];2014第九屆中國智能交通年會大會論文集[C];2014年

9 婁艷艷;;高速公路聯(lián)網(wǎng)收費網(wǎng)絡數(shù)據(jù)的安全性簡介[A];湖北省公路學會——2004年機電工程研討會論文集[C];2004年

相關重要報紙文章 前9條

1 特約記者 林健芳 荀常;建立檔案庫永久保留收費數(shù)據(jù)[N];中國交通報;2015年

2 鄭康;我市醫(yī)院審計再次取得新突破[N];欽州日報;2012年

3 本報記者 別坤;發(fā)現(xiàn)ETC數(shù)據(jù)潛力[N];計算機世界;2013年

4 郭盛 彭偉 閻楓;實施“三表合一”應統(tǒng)一核定標準和計算方法[N];中國環(huán)境報;2006年

5 李忠 孫兵;公路征費 網(wǎng)絡幫忙[N];廠長經理日報;2001年

6 陳寧遠;中國“卡奴”形成之后[N];中國經濟時報;2011年

7 潘偉君;見“基”行事[N];上海證券報;2008年

8 新華社記者 李代祥;公布調查結果應多些百姓看點[N];新華每日電訊;2011年

9 本報記者 錢民峰;大數(shù)據(jù)時代的高速公路信息化[N];中國交通報;2014年

相關博士學位論文 前1條

1 錢超;高速公路ETC數(shù)據(jù)挖掘研究與應用[D];長安大學;2013年

相關碩士學位論文 前10條

1 馬千惠;基于高速公路大數(shù)據(jù)的偷逃費車輛發(fā)現(xiàn)方法研究[D];北方工業(yè)大學;2019年

2 崔雪梅;云南省高速公路電子不停車收費數(shù)據(jù)清分結算管理系統(tǒng)（CSS）的研究與分析[D];云南大學;2017年

3 王健;基于云平臺的路網(wǎng)收費數(shù)據(jù)集成方案的設計與實現(xiàn)[D];東南大學;2018年

4 胡繼啟;基于收費數(shù)據(jù)的高速公路交通擁堵判別與定位方法研究[D];長沙理工大學;2016年

5 張騰月;基于收費數(shù)據(jù)的高速公路交通流狀態(tài)識別研究[D];華南理工大學;2017年

6 張國芳;高速公路聯(lián)網(wǎng)收費數(shù)據(jù)多維分析系統(tǒng)研究[D];長安大學;2014年

7 趙雪平;遺傳規(guī)劃在高速公路聯(lián)網(wǎng)收費數(shù)據(jù)處理再利用的應用研究[D];長沙理工大學;2004年

8 陳波;數(shù)據(jù)挖掘在高速公路防逃費中的應用研究[D];華南理工大學;2014年

9 何靜;中職院校學生收費系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

10 王希;多源信息融合的高速公路征費稽查應用研究[D];西安電子科技大學;2017年

本文編號：2774608