本文關(guān)鍵詞：基于Hadoop的面向海量交通流數(shù)據(jù)分析與利用

  更多相關(guān)文章： 交通流數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop 伴隨車 浮動車聚集

【摘要】：近年來,隨著城市機動車保有量的持續(xù)增長,交通違章和違法行為越來越多,如多輛車結(jié)伴作案、出租車罷工罷運、酒駕等,對城市安全帶來了巨大隱患。如何快速識別以上交通行為模式對公安、交警主動預警和事后偵查具有重要意義。此外,針對日益增長的海量交通流數(shù)據(jù),傳統(tǒng)的處理方法在存儲空間和計算效率上已經(jīng)不能滿足用戶的應用需求。因此本文重點研究“多車頻繁結(jié)伴——本文稱之為伴隨”和“出租車罷工罷運——本文稱之為浮動車聚集”兩種交通行為模式,并提出了面向交通流時空大數(shù)據(jù)的伴隨模式高效挖掘算法和基于HBase的浮動車聚集模式實時監(jiān)測算法,然后在此基礎上構(gòu)建基于Hadoop的面向海量交通數(shù)據(jù)的分析和處理平臺。本文在如下方面進行了較為有益的探索:(1)通過對海量卡口過車數(shù)據(jù)的分析和面向海量交通流數(shù)據(jù)的伴隨車行為模式的研究,首先給出了頻繁項集相關(guān)概念在伴隨車挖掘中的新定義,并在此基礎上提出了基于MapReduce的時空大數(shù)據(jù)頻繁項集挖掘算法FSST,實驗證明該算法在準確性、執(zhí)行時間和內(nèi)存使用等方面優(yōu)于傳統(tǒng)的Apriori和Sequence-Growth算法,最后提出了伴隨車的嫌疑度計算方法用于計算伴隨車嫌疑大小。(2)根據(jù)浮動車聚集行為模式的特征,定義了浮動車聚集行為模式,同時參考基于網(wǎng)格的聚類算法和HBase的數(shù)據(jù)模型,提出了基于HBase的全天候全域浮動車聚集實時監(jiān)測算法,定時執(zhí)行該算法,在真實的、海量交通數(shù)據(jù)上的實驗證明該算法監(jiān)測浮動車聚集的有效性。(3)實現(xiàn)了上述研究內(nèi)容的基于Hadoop的交通大數(shù)據(jù)分析平臺,主要包括大數(shù)據(jù)平臺、后臺應用程序和前臺展示。由于平臺超強的計算和存儲能力,加上良好的擴展性,后續(xù)的交通分析都可以集成到該平臺上。
【關(guān)鍵詞】：交通流數(shù)據(jù) 數(shù)據(jù)挖掘 Hadoop 伴隨車 浮動車聚集
【學位授予單位】：杭州電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：U491.112;TP311.13
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-16
• 1.1 課題研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 面向交通流數(shù)據(jù)分析的伴隨車行為和浮動車聚集行為研究現(xiàn)狀12-13
• 1.2.2 Hadoop技術(shù)在交通流數(shù)據(jù)分析中的應用研究現(xiàn)狀13-14
• 1.3 本文研究內(nèi)容14-15
• 1.4 本文組織結(jié)構(gòu)15-16
• 第二章 基于Hadoop的海量交通流分析相關(guān)技術(shù)16-27
• 2.1 面向交通流分析的伴隨車行為模式挖掘相關(guān)算法16-17
• 2.2 面向交通流分析的浮動車聚集行為模式挖掘相關(guān)算法17-18
• 2.3 構(gòu)建基于Hadoop生態(tài)系統(tǒng)的交通流數(shù)據(jù)分析平臺18-24
• 2.3.1 Hadoop生態(tài)系統(tǒng)18-20
• 2.3.2 Hadoop框架研究20-22
• 2.3.3 HBase分布式數(shù)據(jù)庫研究22-23
• 2.3.4 Spark框架研究23-24
• 2.4 交通流數(shù)據(jù)預處理24-26
• 2.4.1 卡口過車數(shù)據(jù)預處理24-25
• 2.4.2 浮動車數(shù)據(jù)預處理25-26
• 2.5 本章小結(jié)26-27
• 第三章 面向海量交通流數(shù)據(jù)的伴隨車行為模式研究27-40
• 3.1 問題描述27-28
• 3.2 伴隨車行為模式定義28-29
• 3.3 伴隨車行為模式挖掘29-33
• 3.3.1 基本思想29-31
• 3.3.2 應用舉例31-32
• 3.3.3 伴隨嫌疑度32-33
• 3.4 實驗結(jié)果與討論33-39
• 3.4.1 相關(guān)類實現(xiàn)33-35
• 3.4.2 實驗結(jié)果描述35-36
• 3.4.3 實驗結(jié)果討論36-39
• 3.5 本章小結(jié)39-40
• 第四章 面向海量交通流數(shù)據(jù)的浮動車聚集行為模式研究40-50
• 4.1 問題描述40
• 4.2 浮動車聚集行為模式定義40-41
• 4.3 浮動車聚集行為模式實時監(jiān)測算法41-47
• 4.3.1 網(wǎng)格模型41-42
• 4.3.2 定時執(zhí)行42-43
• 4.3.3 歷史閾值43-44
• 4.3.4 聚集結(jié)果表44-45
• 4.3.5 具體步驟45-47
• 4.4 實驗結(jié)果與討論47-49
• 4.4.1 實驗環(huán)境配置47-48
• 4.4.2 實驗結(jié)果討論48-49
• 4.5 本章小結(jié)49-50
• 第五章 基于Hadoop的交通大數(shù)據(jù)分析平臺50-59
• 5.1 大數(shù)據(jù)平臺搭建50-55
• 5.1.1 基礎環(huán)境搭建50-51
• 5.1.2 安裝Hadoop51-53
• 5.1.3 安裝HBase53-54
• 5.1.4 安裝Spark54-55
• 5.2 基于Hadoop的交通大數(shù)據(jù)分析平臺實現(xiàn)55-58
• 5.2.1 平臺架構(gòu)55-56
• 5.2.2 平臺實現(xiàn)56-58
• 5.3 本章小結(jié)58-59
• 第六章 總結(jié)與展望59-61
• 6.1 本文工作總結(jié)59-60
• 6.2 未來展望60-61
• 致謝61-62
• 參考文獻62-67
• 附錄67-68
• 詳細摘要68-70

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 胡明偉,繆立新,王耘非;北京市交通流數(shù)據(jù)采集、處理/分析和信息發(fā)布系統(tǒng)設計[J];公路交通科技;2003年02期

2 朱雷雷;張韋華;聶慶慧;;干線公路交通流數(shù)據(jù)有效性檢驗規(guī)則[J];東南大學學報(自然科學版);2011年01期

3 王方;李華;杜金玲;;無檢測器道路交通流數(shù)據(jù)質(zhì)量檢測方法[J];計算機工程;2014年03期

4 張亞平,裴玉龍;交通流數(shù)據(jù)采集、處理及其在通行能力分析中的應用研究[J];東北公路;2003年01期

5 黃薇;胡永舉;程正;;基于聲強的交通流數(shù)據(jù)采集與狀態(tài)分析[J];交通科技與經(jīng)濟;2010年04期

6 趙躍偉;;交通流數(shù)據(jù)的采集及基于Kalman濾波的處理應用[J];中國科技信息;2007年22期

7 孫亞;朱鯉;;ITS檢測器交通流數(shù)據(jù)質(zhì)量控制系統(tǒng)研究[J];測控技術(shù);2008年07期

8 郭敏;藍金輝;李娟娟;林宗術(shù);孫新榮;;基于灰色殘差GM(1,N)模型的交通流數(shù)據(jù)恢復算法[J];交通運輸系統(tǒng)工程與信息;2012年01期

9 鄭長江;路源;;基于支持向量機的城市道路交通擁堵判別算法研究[J];貴州大學學報(自然科學版);2014年01期

10 鄭濱;陳錦標;夏少生;金永興;;基于數(shù)據(jù)挖掘的海上交通流數(shù)據(jù)特征分析[J];中國航海;2009年01期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 胡偉超;劉君叢;浩哲;肖鵬飛;;實時交通流數(shù)據(jù)缺失修復方法對比研究[A];第八屆中國智能交通年會論文集[C];2013年

2 張亞平;裴玉龍;周剛;;交通流數(shù)據(jù)采集、處理及其在通行能力分析中的應用研究[A];土木工程與高新技術(shù)——中國土木工程學會第十屆年會論文集[C];2002年

3 趙慧;于雷;陳旭梅;耿彥斌;;ITS實時交通流數(shù)據(jù)質(zhì)量控制方法研究與案例分析[A];第一屆中國智能交通年會論文集[C];2005年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 丁男;基于WSN的實時動態(tài)交通流數(shù)據(jù)獲取相關(guān)技術(shù)研究[D];大連理工大學;2011年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陸婷;基于HBase的交通流數(shù)據(jù)實時存儲系統(tǒng)的設計與實現(xiàn)[D];北方工業(yè)大學;2016年

2 劉夢依;基于時空相關(guān)性的高速公路交通流故障數(shù)據(jù)修復方法研究[D];吉林大學;2016年

3 朱劉江;基于Hadoop的海量城市交通流數(shù)據(jù)分布式存儲與分析研究[D];揚州大學;2015年

4 方煒;基于Hadoop的面向海量交通流數(shù)據(jù)分析與利用[D];杭州電子科技大學;2016年

5 金逸文;城市快速路交通流數(shù)據(jù)修復方法研究[D];上海交通大學;2008年

6 吳芳;交通流數(shù)據(jù)清洗的關(guān)鍵理論及方法研究[D];山東理工大學;2009年

7 蒲樺隆;基于Qt/E的實時交通流數(shù)據(jù)顯示系統(tǒng)的研究[D];云南大學;2015年

8 洪智兵;基于GPRS的實時交通流數(shù)據(jù)接發(fā)系統(tǒng)的研究[D];云南大學;2015年

9 馬韻楠;基于模糊綜合評價的道路交通流數(shù)據(jù)質(zhì)量評價研究[D];北京交通大學;2015年

10 張旭;面向交通運行狀態(tài)評價的多源異質(zhì)交通流數(shù)據(jù)融合技術(shù)方法研究[D];北京交通大學;2008年

，

本文編號：945699