本文關(guān)鍵詞：基于Hadoop的城市道路交通狀態(tài)判別技術(shù)研究

  更多相關(guān)文章： 交通狀態(tài)判別 Hadoop 大數(shù)據(jù) 改進FCM 隨機森林

【摘要】：隨著社會經(jīng)濟的快速發(fā)展,城市道路的擁堵問題日益凸顯,給城市居民的出行生活帶來了極大的困擾。作為智能交通管理系統(tǒng)的重要組成部分,交通狀態(tài)判別技術(shù)可以準(zhǔn)確地識別路段的交通狀況,為交通參與者提供可靠的誘導(dǎo)信息,從而有效地緩解交通擁堵問題。目前我國大中城市的路網(wǎng)規(guī)模極其龐大,每時每刻都在產(chǎn)生著海量的交通數(shù)據(jù),傳統(tǒng)的單機方法已經(jīng)無法對其進行有效的處理,因此,本文利用具有強大并行計算能力的Hadoop平臺從海量交通數(shù)據(jù)中挖掘有用的信息來提高交通狀態(tài)判別的精度。本文以廣州市南沙自貿(mào)區(qū)智能交通管控平臺項目為研究背景,對基于Hadoop的城市道路交通狀態(tài)判別技術(shù)進行了深入的研究,主要包括以下幾方面:1)詳細地介紹了交通大數(shù)據(jù),描述了交通數(shù)據(jù)的獲取和預(yù)處理技術(shù),闡述了數(shù)據(jù)挖掘的過程和方法,并具體地分析了Hadoop平臺的組成體系。2)詳細地分析了交通狀態(tài)特征指標(biāo),選取了流量、速度、占有率這三個特征指標(biāo)作為交通狀態(tài)判別方法的輸入數(shù)據(jù)。針對傳統(tǒng)FCM算法隨機挑選初始聚類中心和沒有充分考慮數(shù)據(jù)對象不同屬性貢獻差異的缺點,本文采用K-means算法和特征權(quán)重的方法對傳統(tǒng)FCM算法進行了改進,同時對改進的FCM算法進行了并行化設(shè)計,并在Hadoop平臺上完成了對海量歷史交通數(shù)據(jù)的聚類分析仿真實驗,最后從誤判率和加速比兩個方面對改進FCM算法進行了評價對比。實驗結(jié)果顯示,改進的FCM算法性能最好。3)根據(jù)改進FCM算法得到的已標(biāo)識狀態(tài)的歷史交通數(shù)據(jù),本文采用隨機森林算法對當(dāng)前和未來的交通狀態(tài)進行判別,首先對隨機森林算法進行了并行化設(shè)計,同時在Hadoop平臺上完成了隨機森林算法對交通狀態(tài)的分類預(yù)測仿真實驗,并分析了算法的加速比,同時在Hadoop平臺上將隨機森林算法、Bayes和SVM這三種算法進行了判別準(zhǔn)確率的對比,結(jié)果顯示隨機森林算法對交通狀態(tài)判別的準(zhǔn)確率最高,達到91.1%,最后對比分析了隨機森林算法在單機和Hadoop平臺上的運行時間。4)從框架設(shè)計和功能實現(xiàn)兩個方面對交通云平臺進行了詳細的介紹,同時設(shè)計了基于Hadoop的交通狀態(tài)判別系統(tǒng)的建立流程,并從實時路況的顯示、未來交通狀態(tài)的預(yù)測、歷史交通狀態(tài)的查詢和交通狀態(tài)的數(shù)據(jù)分析四個方面對基于Hadoop的交通狀態(tài)判別技術(shù)進行了實際應(yīng)用的功能展示。
【關(guān)鍵詞】：交通狀態(tài)判別 Hadoop 大數(shù)據(jù) 改進FCM 隨機森林
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：U491;TP311.13
【目錄】：

• 摘要5-6
• Abstract6-12
• 第一章 緒論12-19
• 1.1 研究背景和意義12-13
• 1.2 國內(nèi)外研究現(xiàn)狀13-16
• 1.2.1 交通狀態(tài)判別方法研究13-14
• 1.2.2 Hadoop技術(shù)研究14-15
• 1.2.3 研究現(xiàn)狀綜述15-16
• 1.3 研究內(nèi)容16-17
• 1.4 技術(shù)路線和章節(jié)安排17-18
• 1.5 本章小結(jié)18-19
• 第二章 相關(guān)基礎(chǔ)理論研究19-32
• 2.1 引言19
• 2.2 交通大數(shù)據(jù)分析研究19-23
• 2.2.1 大數(shù)據(jù)定義19-20
• 2.2.2 交通大數(shù)據(jù)20-21
• 2.2.3 數(shù)據(jù)獲取技術(shù)21-22
• 2.2.4 數(shù)據(jù)預(yù)處理技術(shù)22-23
• 2.3 數(shù)據(jù)挖掘技術(shù)研究23-25
• 2.3.1 數(shù)據(jù)挖掘定義23-24
• 2.3.2 數(shù)據(jù)挖掘方法24-25
• 2.4 Hadoop平臺研究25-31
• 2.4.1 Hadoop平臺簡介25
• 2.4.2 分布式文件系統(tǒng)HDFS25-26
• 2.4.3 分布式計算框架Map Reduce26-29
• 2.4.4 新一代分布式計算框架YARN29-31
• 2.5 本章小結(jié)31-32
• 第三章 Hadoop環(huán)境下基于改進FCM算法的交通數(shù)據(jù)聚類分析研究32-60
• 3.1 引言32-33
• 3.2 交通狀態(tài)特征指標(biāo)體系研究33-38
• 3.2.1 交通狀態(tài)的劃分標(biāo)準(zhǔn)33-34
• 3.2.2 特征指標(biāo)分析研究34-36
• 3.2.3 特征指標(biāo)選取原則36
• 3.2.4 特征指標(biāo)確定方案36-38
• 3.3 FCM聚類算法38-41
• 3.3.1 FCM算法模型38-39
• 3.3.2 FCM算法流程39-40
• 3.3.3 算法的參數(shù)標(biāo)定40-41
• 3.3.4 FCM算法的不足41
• 3.4 基于K-means和特征加權(quán)的改進FCM算法研究41-48
• 3.4.1 K-means聚類算法42-44
• 3.4.2 特征加權(quán)方法44-45
• 3.4.3 改進FCM算法模型45-46
• 3.4.4 基于YARN的改進FCM算法并行化設(shè)計46-48
• 3.5 實驗分析48-59
• 3.5.1 交通數(shù)據(jù)來源48-50
• 3.5.2 數(shù)據(jù)預(yù)處理50
• 3.5.3 實驗環(huán)境的搭建50-53
• 3.5.4 算法評價指標(biāo)53-54
• 3.5.5 算法參數(shù)取值分析54-56
• 3.5.6 算法評價分析56-59
• 3.6 本章小結(jié)59-60
• 第四章 Hadoop環(huán)境下基于隨機森林的交通狀態(tài)判別方法研究60-74
• 4.1 引言60-61
• 4.2 決策樹算法61-63
• 4.2.1 決策樹簡介61-62
• 4.2.2 決策樹的節(jié)點分裂準(zhǔn)則62-63
• 4.2.3 決策樹的不足63
• 4.3 隨機森林算法63-67
• 4.3.1 隨機森林簡介63-64
• 4.3.2 隨機森林的算法模型64-65
• 4.3.3 隨機森林的性能分析65-67
• 4.4 基于YARN的隨機森林算法并行化設(shè)計67-68
• 4.4.1 隨機森林建樹并行化設(shè)計67-68
• 4.4.2 隨機森林預(yù)測并行化設(shè)計68
• 4.5 實驗分析68-72
• 4.5.1 數(shù)據(jù)預(yù)處理68-69
• 4.5.2 實驗環(huán)境69-70
• 4.5.3 算法的準(zhǔn)確率對比分析70-71
• 4.5.4 算法的加速比分析71-72
• 4.5.5 單機與Hadoop的運行時間對比72
• 4.6 本章小結(jié)72-74
• 第五章 基于Hadoop的交通狀態(tài)判別系統(tǒng)設(shè)計與應(yīng)用74-83
• 5.1 引言74
• 5.2 交通云平臺的設(shè)計與實現(xiàn)74-78
• 5.2.1 框架設(shè)計74-78
• 5.2.2 功能實現(xiàn)78
• 5.3 基于Hadoop的交通狀態(tài)判別系統(tǒng)設(shè)計78-79
• 5.4 基于Hadoop的交通狀態(tài)判別系統(tǒng)應(yīng)用79-82
• 5.5 本章小結(jié)82-83
• 結(jié)論和展望83-85
• 工作總結(jié)83-84
• 研究展望84-85
• 參考文獻85-90
• 攻讀碩士學(xué)位期間取得的研究成果90-91
• 致謝91-92
• 附件92

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王麗婷;丁曉青;方馳;;基于隨機森林的人臉關(guān)鍵點精確定位方法[J];清華大學(xué)學(xué)報(自然科學(xué)版);2009年04期

2 康有;陳元芳;顧圣華;姚欣明;黃琴;湯艷平;;基于隨機森林的區(qū)域水資源可持續(xù)利用評價[J];水電能源科學(xué);2014年03期

3 邱一卉;林成德;;基于隨機森林方法的異常樣本檢測方法[J];福建工程學(xué)院學(xué)報;2007年04期

4 馬昕;王雪;楊洋;;基于隨機森林算法的大學(xué)生異動情況的預(yù)測[J];江蘇科技大學(xué)學(xué)報(自然科學(xué)版);2012年01期

5 劉美菊;劉冬;劉劍;;隨機森林在群控電梯交通模式識別中的應(yīng)用[J];機械設(shè)計與制造;2013年04期

6 姚登舉;楊靜;詹曉娟;;基于隨機森林的特征選擇算法[J];吉林大學(xué)學(xué)報(工學(xué)版);2014年01期

7 張曄;楊國田;;基于隨機森林的數(shù)據(jù)融合架空輸電線路鐵塔損傷識別[J];黑龍江科技信息;2014年20期

8 呂淑婷;張啟敏;;一類帶Poisson跳的隨機森林發(fā)展系統(tǒng)數(shù)值解的穩(wěn)定性[J];蘭州理工大學(xué)學(xué)報;2012年03期

9 陳海利;孫志偉;龐龍;;基于隨機森林的文本分類研究[J];科技創(chuàng)新與應(yīng)用;2014年02期

10 莊進發(fā);羅鍵;彭彥卿;黃春慶;吳長慶;;基于改進隨機森林的故障診斷方法研究[J];計算機集成制造系統(tǒng);2009年04期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 謝程利;王金橋;盧漢清;;核森林及其在目標(biāo)檢測中的應(yīng)用[A];第六屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會議（NCMT2010）、第6屆全國人機交互學(xué)術(shù)會議（CHCI2010）、第5屆全國普適計算學(xué)術(shù)會議（PCC2010）論文集[C];2010年

2 武曉巖;方慶偉;;基因表達數(shù)據(jù)分析的隨機森林方法及算法改進[A];黑龍江省第十次統(tǒng)計科學(xué)討論會論文集[C];2008年

3 張?zhí)忑?梁龍;王康;李華;;隨機森林結(jié)合激光誘導(dǎo)擊穿光譜技術(shù)用于的鋼鐵分類[A];中國化學(xué)會第29屆學(xué)術(shù)年會摘要集——第19分會：化學(xué)信息學(xué)與化學(xué)計量學(xué)[C];2014年

4 相玉紅;張卓勇;;組蛋白去乙�；敢种苿┑臉�(gòu)效關(guān)系研究[A];第十一屆全國計算（機）化學(xué)學(xué)術(shù)會議論文摘要集[C];2011年

5 張濤;李貞子;武曉巖;李康;;隨機森林回歸分析方法及在代謝組學(xué)中的應(yīng)用[A];2011年中國衛(wèi)生統(tǒng)計學(xué)年會會議論文集[C];2011年

6 馮飛翔;馮輔周;江鵬程;劉菁;劉建敏;;隨機森林和k-近鄰法在某型坦克變速箱狀態(tài)識別中的應(yīng)用[A];第八屆全國轉(zhuǎn)子動力學(xué)學(xué)術(shù)討論會論文集[C];2008年

7 曹東升;許青松;梁逸曾;陳憲;李洪東;;組合樹的集合體和后向消除策略去分類P-糖蛋白化合物[A];第十屆全國計算(機)化學(xué)學(xué)術(shù)會議論文摘要集[C];2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 曹正鳳;隨機森林算法優(yōu)化研究[D];首都經(jīng)濟貿(mào)易大學(xué);2014年

2 雷震;隨機森林及其在遙感影像處理中應(yīng)用研究[D];上海交通大學(xué);2012年

3 岳明;基于隨機森林和規(guī)則集成法的酒類市場預(yù)測與發(fā)展戰(zhàn)略[D];天津大學(xué);2008年

4 李書艷;單點氨基酸多態(tài)性與疾病相關(guān)關(guān)系的預(yù)測及其機制研究[D];蘭州大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 錢維;藥品不良反應(yīng)監(jiān)測中隨機森林方法的建立與實現(xiàn)[D];第二軍醫(yī)大學(xué);2012年

2 韓燕龍;基于隨機森林的指數(shù)化投資組合構(gòu)建研究[D];華南理工大學(xué);2015年

3 賀捷;隨機森林在文本分類中的應(yīng)用[D];華南理工大學(xué);2015年

4 張文婷;交通環(huán)境下基于改進霍夫森林的目標(biāo)檢測與跟蹤[D];華南理工大學(xué);2015年

5 李強;基于多視角特征融合與隨機森林的蛋白質(zhì)結(jié)晶預(yù)測[D];南京理工大學(xué);2015年

6 朱玟謙;一種收斂性隨機森林在人臉檢測中的應(yīng)用研究[D];武漢理工大學(xué);2015年

7 肖宇;基于序列圖像的手勢檢測與識別算法研究[D];電子科技大學(xué);2014年

8 李慧;一種改進的隨機森林并行分類方法在運營商大數(shù)據(jù)的應(yīng)用[D];電子科技大學(xué);2015年

9 趙亞紅;面向多類標(biāo)分類的隨機森林算法研究[D];哈爾濱工業(yè)大學(xué);2014年

10 黎成;基于隨機森林和ReliefF的致病SNP識別方法[D];西安電子科技大學(xué);2014年

，

本文編號：1080055