本文關鍵詞：基于云架構的交通流量數據分析平臺，，由筆耕文化傳播整理發(fā)布。

【摘要】：城市交通的快速發(fā)展,交通流量數據每天以PB級或者更高的數量級增加,如何高效地存儲這些數據并從中挖掘出業(yè)務價值成為本文研究的關鍵,Hadoop作為大數據的處理工具脫穎而出,成為大數據時代處理海量數據的主流平臺之一。本文使用大數據平臺分析交通數據,做了以下幾個方面的工作:1.研究交通流量數據,根據業(yè)務需求設計了三個應用:“指定車子是否被套牌”、“指定車子是否被跟蹤”以及“兩點之間的最優(yōu)路徑”;2.結合Hadoop2.2.0版本的分布式平臺,設計上述應用的算法,并通過Map/Reduce實現出來,包括存儲分布和計算分布;3.針對實時性強的應用采用Twitter公司的Storm流式處理平臺,設計應用的算法,并用java設計topology;4.搭建集群和實驗平臺,進行實驗分析,結果表明基于Hadoop以及Storm的交通流量數據分析平臺具有高效的存儲和計算能力,驗證了該平臺的可行性;
【關鍵詞】：大數據 Hadoop Storm 分布式計算 MapReduce
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-12
• 1.1 課題背景及意義8-9
• 1.1.1 數據的重要性8
• 1.1.2 如何對數據進行處理8-9
• 1.2 國內外研究狀況9-10
• 1.2.1 國內研究現狀9-10
• 1.2.2 國外研究現狀10
• 1.3 本文的主要工作10-11
• 1.4 本文的組織結構11-12
• 第二章 相關技術基礎12-23
• 2.1 Hadoop概述12-19
• 2.1.1 HDFS系統(tǒng)架構12-16
• 2.1.2 HDFS的故障容錯16-17
• 2.1.3 Map/Reduce介紹17-19
• 2.2 Storm概述19-22
• 2.2.1 Zookeeper簡介19-20
• 2.2.2 Storm架構20-22
• 2.3 本章小結22-23
• 第三章 交通流量數據分析平臺的需求分析與設計23-42
• 3.1 系統(tǒng)需求分析23-25
• 3.1.1 系統(tǒng)可行性分析23-24
• 3.1.2 系統(tǒng)性能需求24-25
• 3.1.3 系統(tǒng)功能需求25
• 3.2 系統(tǒng)整體設計25-41
• 3.2.1 Hadoop集群資源層的設計27-29
• 3.2.2 Hadoop參數配置29-31
• 3.2.3 分布式文件存儲層的設計31-35
• 3.2.4 業(yè)務邏輯層的設計35-39
• 3.2.5 用戶請求接口層的設計39-41
• 3.3 本章小結41-42
• 第四章 交通流量數據分析平臺的實現42-62
• 4.1 分布式文件存儲層的實現42-44
• 4.2 業(yè)務邏輯層的實現44-53
• 4.3 用戶請求接口層的實現53-55
• 4.4 對指定車牌是否被套牌應用的實時處理55-61
• 4.4.1 Storm的應用場景分析56
• 4.4.2 整體設計方案56-57
• 4.4.3 Topology的設計與實現57-60
• 4.4.4 數據庫部分的設計與實現60-61
• 4.5 本章小結61-62
• 第五章 實驗結果和分析62-70
• 5.1 實驗環(huán)境62-63
• 5.1.1 硬件準備62
• 5.1.2 軟件準備62-63
• 5.2 實驗與分析63-68
• 5.2.1 基于Hadoop平臺的實驗分析63-66
• 5.2.2 基于Storm平臺的實驗分析66-68
• 5.3 本章小結68-70
• 第六章 總結與展望70-72
• 6.1 總結70-71
• 6.2 展望71-72
• 參考文獻72-74
• 附錄1 攻讀碩士學位期間參加的科研項目74-75
• 致謝75

【相似文獻】

中國期刊全文數據庫 前10條

1 師鳴若;姜中華;申貴成;;基于流量數據的分層態(tài)勢評估算法[J];微計算機信息;2008年30期

2 白楊;周曉潔;孫恩昌;孫艷華;張延華;;NetFlow流量數據的壓縮存儲與多維度聚合[J];中國電子科學研究院學報;2009年04期

3 汲錫林;肖剛;王建新;;網管測試平臺中流量數據的生成算法[J];吉林大學學報(信息科學版);2007年06期

4 張校輝;曾威;蘭巨龍;;一種生成符合網絡實際特性的仿真流量方法[J];信息工程大學學報;2009年02期

5 王翔;邵靖;王大慶;;交通車流量數據的數據庫存儲及應用[J];貴州大學學報(自然科學版);2009年05期

6 吳丹;;基于最短可達路徑和歷史流量數據的電網網絡優(yōu)化技術[J];現代計算機;2013年09期

7 夏瑩瑩;汪雄海;;基于流量數據的城市污水協(xié)調調度排放控制系統(tǒng)[J];電工技術學報;2011年12期

8 孫修東,徐立新,張彥峰;一種基于IP流量數據的計費系統(tǒng)的實現[J];河南機電高等�？茖W校學報;2001年04期

9 馮傳濱;;小流量數據業(yè)務與3G視頻監(jiān)控融合剖析[J];電信技術;2013年02期

10 王安華;王娟;萬海軍;;基于GSM短消息傳輸小流量數據的設計[J];自動化技術與應用;2008年01期

中國重要會議論文全文數據庫 前2條

1 韋達利;陳鋒;卞凱;令狐彬;;基于數據融合的交通流量數據在線校正[A];2009年中國智能自動化會議論文集（第六分冊）[中南大學學報（增刊）][C];2009年

2 陳循;;具有N條支流的河網系統(tǒng)2N參數線性模型[A];全國青年管理科學與系統(tǒng)科學論文集（第1卷）[C];1991年

中國重要報紙全文數據庫 前2條

1 任香玫;自己裝個網絡計價器[N];中國計算機報;2004年

2 ;IP網管簡約之路[N];網絡世界;2003年

中國博士學位論文全文數據庫 前1條

1 劉珍;因特網流量類不平衡特性與分類方法的研究[D];華南理工大學;2013年

中國碩士學位論文全文數據庫 前5條

1 李成露;基于云架構的交通流量數據分析平臺[D];南京郵電大學;2015年

2 關卿;分布式網絡流量數據分析與管理技術研究與實現[D];國防科學技術大學;2008年

3 徐珊;流量數據時間機系統(tǒng)的改進研究[D];湖南大學;2011年

4 李瑞麗;利用流量數據對訪問者行為演變過程的建模研究[D];上海海事大學;2005年

5 張忠琳;網絡質量探測應用的研究[D];北京郵電大學;2015年

  本文關鍵詞：基于云架構的交通流量數據分析平臺，由筆耕文化傳播整理發(fā)布。

本文編號：319250