本文關(guān)鍵詞：基于云架構(gòu)的交通流量數(shù)據(jù)分析平臺(tái)，，由筆耕文化傳播整理發(fā)布。

【摘要】：城市交通的快速發(fā)展,交通流量數(shù)據(jù)每天以PB級(jí)或者更高的數(shù)量級(jí)增加,如何高效地存儲(chǔ)這些數(shù)據(jù)并從中挖掘出業(yè)務(wù)價(jià)值成為本文研究的關(guān)鍵,Hadoop作為大數(shù)據(jù)的處理工具脫穎而出,成為大數(shù)據(jù)時(shí)代處理海量數(shù)據(jù)的主流平臺(tái)之一。本文使用大數(shù)據(jù)平臺(tái)分析交通數(shù)據(jù),做了以下幾個(gè)方面的工作:1.研究交通流量數(shù)據(jù),根據(jù)業(yè)務(wù)需求設(shè)計(jì)了三個(gè)應(yīng)用:“指定車子是否被套牌”、“指定車子是否被跟蹤”以及“兩點(diǎn)之間的最優(yōu)路徑”;2.結(jié)合Hadoop2.2.0版本的分布式平臺(tái),設(shè)計(jì)上述應(yīng)用的算法,并通過(guò)Map/Reduce實(shí)現(xiàn)出來(lái),包括存儲(chǔ)分布和計(jì)算分布;3.針對(duì)實(shí)時(shí)性強(qiáng)的應(yīng)用采用Twitter公司的Storm流式處理平臺(tái),設(shè)計(jì)應(yīng)用的算法,并用java設(shè)計(jì)topology;4.搭建集群和實(shí)驗(yàn)平臺(tái),進(jìn)行實(shí)驗(yàn)分析,結(jié)果表明基于Hadoop以及Storm的交通流量數(shù)據(jù)分析平臺(tái)具有高效的存儲(chǔ)和計(jì)算能力,驗(yàn)證了該平臺(tái)的可行性;
【關(guān)鍵詞】：大數(shù)據(jù) Hadoop Storm 分布式計(jì)算 MapReduce
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 緒論8-12
• 1.1 課題背景及意義8-9
• 1.1.1 數(shù)據(jù)的重要性8
• 1.1.2 如何對(duì)數(shù)據(jù)進(jìn)行處理8-9
• 1.2 國(guó)內(nèi)外研究狀況9-10
• 1.2.1 國(guó)內(nèi)研究現(xiàn)狀9-10
• 1.2.2 國(guó)外研究現(xiàn)狀10
• 1.3 本文的主要工作10-11
• 1.4 本文的組織結(jié)構(gòu)11-12
• 第二章 相關(guān)技術(shù)基礎(chǔ)12-23
• 2.1 Hadoop概述12-19
• 2.1.1 HDFS系統(tǒng)架構(gòu)12-16
• 2.1.2 HDFS的故障容錯(cuò)16-17
• 2.1.3 Map/Reduce介紹17-19
• 2.2 Storm概述19-22
• 2.2.1 Zookeeper簡(jiǎn)介19-20
• 2.2.2 Storm架構(gòu)20-22
• 2.3 本章小結(jié)22-23
• 第三章 交通流量數(shù)據(jù)分析平臺(tái)的需求分析與設(shè)計(jì)23-42
• 3.1 系統(tǒng)需求分析23-25
• 3.1.1 系統(tǒng)可行性分析23-24
• 3.1.2 系統(tǒng)性能需求24-25
• 3.1.3 系統(tǒng)功能需求25
• 3.2 系統(tǒng)整體設(shè)計(jì)25-41
• 3.2.1 Hadoop集群資源層的設(shè)計(jì)27-29
• 3.2.2 Hadoop參數(shù)配置29-31
• 3.2.3 分布式文件存儲(chǔ)層的設(shè)計(jì)31-35
• 3.2.4 業(yè)務(wù)邏輯層的設(shè)計(jì)35-39
• 3.2.5 用戶請(qǐng)求接口層的設(shè)計(jì)39-41
• 3.3 本章小結(jié)41-42
• 第四章 交通流量數(shù)據(jù)分析平臺(tái)的實(shí)現(xiàn)42-62
• 4.1 分布式文件存儲(chǔ)層的實(shí)現(xiàn)42-44
• 4.2 業(yè)務(wù)邏輯層的實(shí)現(xiàn)44-53
• 4.3 用戶請(qǐng)求接口層的實(shí)現(xiàn)53-55
• 4.4 對(duì)指定車牌是否被套牌應(yīng)用的實(shí)時(shí)處理55-61
• 4.4.1 Storm的應(yīng)用場(chǎng)景分析56
• 4.4.2 整體設(shè)計(jì)方案56-57
• 4.4.3 Topology的設(shè)計(jì)與實(shí)現(xiàn)57-60
• 4.4.4 數(shù)據(jù)庫(kù)部分的設(shè)計(jì)與實(shí)現(xiàn)60-61
• 4.5 本章小結(jié)61-62
• 第五章 實(shí)驗(yàn)結(jié)果和分析62-70
• 5.1 實(shí)驗(yàn)環(huán)境62-63
• 5.1.1 硬件準(zhǔn)備62
• 5.1.2 軟件準(zhǔn)備62-63
• 5.2 實(shí)驗(yàn)與分析63-68
• 5.2.1 基于Hadoop平臺(tái)的實(shí)驗(yàn)分析63-66
• 5.2.2 基于Storm平臺(tái)的實(shí)驗(yàn)分析66-68
• 5.3 本章小結(jié)68-70
• 第六章 總結(jié)與展望70-72
• 6.1 總結(jié)70-71
• 6.2 展望71-72
• 參考文獻(xiàn)72-74
• 附錄1 攻讀碩士學(xué)位期間參加的科研項(xiàng)目74-75
• 致謝75

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 師鳴若;姜中華;申貴成;;基于流量數(shù)據(jù)的分層態(tài)勢(shì)評(píng)估算法[J];微計(jì)算機(jī)信息;2008年30期

2 白楊;周曉潔;孫恩昌;孫艷華;張延華;;NetFlow流量數(shù)據(jù)的壓縮存儲(chǔ)與多維度聚合[J];中國(guó)電子科學(xué)研究院學(xué)報(bào);2009年04期

3 汲錫林;肖剛;王建新;;網(wǎng)管測(cè)試平臺(tái)中流量數(shù)據(jù)的生成算法[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2007年06期

4 張校輝;曾威;蘭巨龍;;一種生成符合網(wǎng)絡(luò)實(shí)際特性的仿真流量方法[J];信息工程大學(xué)學(xué)報(bào);2009年02期

5 王翔;邵靖;王大慶;;交通車流量數(shù)據(jù)的數(shù)據(jù)庫(kù)存儲(chǔ)及應(yīng)用[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

6 吳丹;;基于最短可達(dá)路徑和歷史流量數(shù)據(jù)的電網(wǎng)網(wǎng)絡(luò)優(yōu)化技術(shù)[J];現(xiàn)代計(jì)算機(jī);2013年09期

7 夏瑩瑩;汪雄海;;基于流量數(shù)據(jù)的城市污水協(xié)調(diào)調(diào)度排放控制系統(tǒng)[J];電工技術(shù)學(xué)報(bào);2011年12期

8 孫修東,徐立新,張彥峰;一種基于IP流量數(shù)據(jù)的計(jì)費(fèi)系統(tǒng)的實(shí)現(xiàn)[J];河南機(jī)電高等�？茖W(xué)校學(xué)報(bào);2001年04期

9 馮傳濱;;小流量數(shù)據(jù)業(yè)務(wù)與3G視頻監(jiān)控融合剖析[J];電信技術(shù);2013年02期

10 王安華;王娟;萬(wàn)海軍;;基于GSM短消息傳輸小流量數(shù)據(jù)的設(shè)計(jì)[J];自動(dòng)化技術(shù)與應(yīng)用;2008年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 韋達(dá)利;陳鋒;卞凱;令狐彬;;基于數(shù)據(jù)融合的交通流量數(shù)據(jù)在線校正[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第六分冊(cè)）[中南大學(xué)學(xué)報(bào)（增刊）][C];2009年

2 陳循;;具有N條支流的河網(wǎng)系統(tǒng)2N參數(shù)線性模型[A];全國(guó)青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第1卷）[C];1991年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 任香玫;自己裝個(gè)網(wǎng)絡(luò)計(jì)價(jià)器[N];中國(guó)計(jì)算機(jī)報(bào);2004年

2 ;IP網(wǎng)管簡(jiǎn)約之路[N];網(wǎng)絡(luò)世界;2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 劉珍;因特網(wǎng)流量類不平衡特性與分類方法的研究[D];華南理工大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前5條

1 李成露;基于云架構(gòu)的交通流量數(shù)據(jù)分析平臺(tái)[D];南京郵電大學(xué);2015年

2 關(guān)卿;分布式網(wǎng)絡(luò)流量數(shù)據(jù)分析與管理技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

3 徐珊;流量數(shù)據(jù)時(shí)間機(jī)系統(tǒng)的改進(jìn)研究[D];湖南大學(xué);2011年

4 李瑞麗;利用流量數(shù)據(jù)對(duì)訪問(wèn)者行為演變過(guò)程的建模研究[D];上海海事大學(xué);2005年

5 張忠琳;網(wǎng)絡(luò)質(zhì)量探測(cè)應(yīng)用的研究[D];北京郵電大學(xué);2015年

  本文關(guān)鍵詞：基于云架構(gòu)的交通流量數(shù)據(jù)分析平臺(tái)，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：319250