本文關(guān)鍵詞：基于Spark平臺(tái)的短時(shí)交通流預(yù)測研究

  更多相關(guān)文章： 短時(shí)交通流預(yù)測 海量數(shù)據(jù)處理 時(shí)空特性 Spark KNN算法

【摘要】：隨著城市汽車數(shù)量的急劇增加,城市的交通擁堵問題日益嚴(yán)重,嚴(yán)重影響了人們的日常生活。實(shí)時(shí)、準(zhǔn)確的交通流預(yù)測可以為交通的管理和疏導(dǎo)提供依據(jù),從而有效的解決城市的交通擁堵問題。交通流預(yù)測是通過對(duì)來自數(shù)據(jù)采集設(shè)備的交通流數(shù)據(jù)進(jìn)行挖掘,找到交通流變化的內(nèi)在規(guī)律,從而預(yù)測出各路段下一時(shí)刻的交通流狀況。而隨著數(shù)據(jù)采集技術(shù)的發(fā)展和數(shù)據(jù)采集設(shè)備的廣泛應(yīng)用,城市每天產(chǎn)生的交通數(shù)據(jù)量急劇增加,如何對(duì)海量的交通數(shù)據(jù)進(jìn)行有效的處理、分析成為近年來的研究熱點(diǎn)。傳統(tǒng)的基于單臺(tái)物理機(jī)的數(shù)據(jù)處理模式,由于受到內(nèi)存、磁盤、CPU等因素的限制,無法滿足對(duì)海量數(shù)據(jù)的存儲(chǔ)和處理需求。為了解決單機(jī)環(huán)境在處理海量數(shù)據(jù)時(shí)處理能力的性能瓶頸,本文利用大數(shù)據(jù)計(jì)算框架在處理海量數(shù)據(jù)上的優(yōu)勢,提出了一種基于Spark分布式計(jì)算平臺(tái)的短時(shí)交通流量預(yù)測方法,該方法在保證預(yù)測精度的基礎(chǔ)上,有效的提高了算法的計(jì)算效率,增強(qiáng)了預(yù)測算法的實(shí)用性。本文的主要工作如下:1、利用交通流的時(shí)空特性,提出了一種基于時(shí)空關(guān)系的交通流特征向量生成方法,實(shí)驗(yàn)結(jié)果表明,基于時(shí)空關(guān)系的K近鄰(KNN)預(yù)測模型的預(yù)測精度明顯好于基于時(shí)間關(guān)系的KNN預(yù)測模型。2、針對(duì)單機(jī)環(huán)境下處理海量數(shù)據(jù)時(shí)存在的計(jì)算性能低、擴(kuò)展性能差等問題,提出了在Spark平臺(tái)上對(duì)傳統(tǒng)KNN算法并行化實(shí)現(xiàn)的方法,該方法有效的解決了KNN算法近鄰查找過程中搜索歷史數(shù)據(jù)庫效率過低的問題,提高了KNN算法的計(jì)算效率,改善了KNN算法的實(shí)用性。3、選取美國加州PeMS系統(tǒng)的實(shí)際交通流數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),以均方根誤差、加速比等作為評(píng)價(jià)指標(biāo),在由多個(gè)節(jié)點(diǎn)組成的分布式集群中對(duì)交通流量進(jìn)行預(yù)測仿真,并對(duì)算法的預(yù)測精度和預(yù)測時(shí)間進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明,基于Spark平臺(tái)的短時(shí)交通流預(yù)測,可以在保證預(yù)測精度的前提下,滿足對(duì)海量交通數(shù)據(jù)的實(shí)時(shí)處理要求,并且系統(tǒng)具有良好的擴(kuò)展性和加速比。
【關(guān)鍵詞】：短時(shí)交通流預(yù)測 海量數(shù)據(jù)處理 時(shí)空特性 Spark KNN算法
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：U491.14;TP311.13
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-17
• 1.1 選題背景及研究意義10-12
• 1.2 短時(shí)交通流預(yù)測簡介12-15
• 1.2.1 短時(shí)交通流預(yù)測概述12-13
• 1.2.2 短時(shí)交通流預(yù)測研究現(xiàn)狀13-15
• 1.3 本文研究內(nèi)容及章節(jié)安排15-17
• 第二章 交通流預(yù)測相關(guān)理論17-28
• 2.1 交通流預(yù)測概述17-22
• 2.1.1 交通流預(yù)測基本參數(shù)18-19
• 2.1.2 交通數(shù)據(jù)的特點(diǎn)19-20
• 2.1.3 數(shù)據(jù)預(yù)處理方法20-21
• 2.1.4 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備21-22
• 2.2 KNN算法22-27
• 2.2.1 最近鄰K值23-24
• 2.2.2 樣本相似度計(jì)算24-25
• 2.2.3 基于時(shí)空特性的KNN算法25-27
• 2.3 本章小結(jié)27-28
• 第三章 Spark計(jì)算平臺(tái)28-39
• 3.1 Spark簡介28-29
• 3.2 Spark的組織架構(gòu)29-32
• 3.3 RDD簡介32-34
• 3.4 Spark基本工作流程34-36
• 3.5 Spark的運(yùn)行模式36-38
• 3.6 本章小結(jié)38-39
• 第四章 基于Spark的KNN算法并行研究與實(shí)現(xiàn)39-60
• 4.1 算法的并行化39-41
• 4.1.1 數(shù)據(jù)并行化39-40
• 4.1.2 任務(wù)并行化40-41
• 4.2 KNN算法的Spark并行化設(shè)計(jì)41-43
• 4.3 KNN算法的Spark并行化實(shí)現(xiàn)43-46
• 4.3.1 KNN算法數(shù)據(jù)并行的Spark實(shí)現(xiàn)43-45
• 4.3.2 KNN算法任務(wù)并行的Spark實(shí)現(xiàn)45-46
• 4.4 實(shí)驗(yàn)平臺(tái)及平臺(tái)搭建46-48
• 4.4.1 實(shí)驗(yàn)平臺(tái)46-47
• 4.4.2 平臺(tái)搭建47-48
• 4.5 實(shí)驗(yàn)結(jié)果及分析48-59
• 4.5.1 預(yù)測精度48-54
• 4.5.2 預(yù)測時(shí)間54-59
• 4.6 本章小結(jié)59-60
• 總結(jié)與展望60-62
• 參考文獻(xiàn)62-67
• 攻讀碩士學(xué)位期間取得的研究成果67-68
• 致謝68-69
• 附件69

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 偶昌寶,俞亞南;短時(shí)交通流預(yù)測的多層遞階方法[J];城市道橋與防洪;2004年05期

2 高麗梅;高鵬;陳俊波;;數(shù)據(jù)融合技術(shù)在短時(shí)交通流預(yù)測中的應(yīng)用[J];交通科技;2010年S1期

3 唐世星;;改進(jìn)的支持向量機(jī)算法在短時(shí)交通流預(yù)測中的應(yīng)用[J];承德石油高等專科學(xué)校學(xué)報(bào);2012年01期

4 王嬌;李軍;;最小最大概率回歸機(jī)在短時(shí)交通流預(yù)測中的應(yīng)用[J];公路交通科技;2014年02期

5 賀國光,李宇,馬壽峰;基于數(shù)學(xué)模型的短時(shí)交通流預(yù)測方法探討[J];系統(tǒng)工程理論與實(shí)踐;2000年12期

6 宗春光,宋靖雁,任江濤,胡堅(jiān)明;基于相空間重構(gòu)的短時(shí)交通流預(yù)測研究[J];公路交通科技;2003年04期

7 楊世堅(jiān),賀國光;基于模糊C均值聚類和神經(jīng)網(wǎng)絡(luò)的短時(shí)交通流預(yù)測方法[J];系統(tǒng)工程;2004年08期

8 王進(jìn);史其信;;短時(shí)交通流預(yù)測模型綜述[J];中國公共安全(學(xué)術(shù)卷);2005年01期

9 楊芳明;朱順應(yīng);;基于小波的短時(shí)交通流預(yù)測[J];重慶交通學(xué)院學(xué)報(bào);2006年03期

10 鄧志龍;李全;陳茜;;基于灰色系統(tǒng)理論的短時(shí)交通流預(yù)測[J];公路交通技術(shù);2006年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前4條

1 鄭德署;何世偉;許旺土;;分形理論在短時(shí)交通流預(yù)測中的應(yīng)用[A];2008第四屆中國智能交通年會(huì)論文集[C];2008年

2 唐麗娜;張衛(wèi)華;;短時(shí)交通流預(yù)測方法的比較研究[A];2007第三屆中國智能交通年會(huì)論文集[C];2007年

3 于建玲;商朋見;關(guān)積珍;;改進(jìn)的相空間重構(gòu)方法在短時(shí)交通流預(yù)測中的應(yīng)用[A];2008第四屆中國智能交通年會(huì)論文集[C];2008年

4 楊錦偉;肖新平;郭金海;;基于灰關(guān)聯(lián)與少數(shù)據(jù)云推理的短時(shí)交通流預(yù)測[A];第25屆全國灰色系統(tǒng)會(huì)議論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 姚智勝;基于實(shí)時(shí)數(shù)據(jù)的道路網(wǎng)短時(shí)交通流預(yù)測理論與方法研究[D];北京交通大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高為;基于數(shù)據(jù)挖掘和數(shù)據(jù)融合的短時(shí)交通流預(yù)測研究[D];重慶交通大學(xué);2011年

2 楊慧慧;城市交通流短時(shí)預(yù)測模型研究[D];河南理工大學(xué);2015年

3 王鵬;基于嵌入式系統(tǒng)的城市智能交通控制器研究[D];遼寧科技大學(xué);2016年

4 羅婷;模擬退火混沌粒子群算法在短時(shí)交通流預(yù)測中的應(yīng)用[D];西南交通大學(xué);2016年

5 黃曉慧;基于布谷鳥算法的小波神經(jīng)網(wǎng)絡(luò)短時(shí)交通流預(yù)測研究[D];西南交通大學(xué);2016年

6 褚鵬宇;融合時(shí)空信息的短時(shí)交通流預(yù)測[D];西南交通大學(xué);2016年

7 王騰輝;基于Spark平臺(tái)的短時(shí)交通流預(yù)測研究[D];華南理工大學(xué);2016年

8 吳凡;基于短時(shí)交通流預(yù)測的城市區(qū)域交通信號(hào)控制研究[D];南京理工大學(xué);2016年

9 江德浩;基于深度信念網(wǎng)絡(luò)的短時(shí)交通流預(yù)測[D];湖南師范大學(xué);2016年

10 尹振興;“機(jī)理+辨識(shí)”策略在短時(shí)交通流預(yù)測中多種結(jié)果合成[D];天津大學(xué);2008年

，

本文編號(hào)：670590