隨著移動互聯(lián)網(wǎng)的快速發(fā)展,每時每刻都有大量的數(shù)據(jù)產(chǎn)生,數(shù)據(jù)出現(xiàn)了爆炸式的增長,同時存儲設(shè)備變得越來越廉價,然而面對海量的數(shù)據(jù),人們發(fā)現(xiàn)從中找到適合自己的信息越來越困難、需要花費(fèi)的時間也越來越長。另一方面人工智能的興起,在交通領(lǐng)域提出了智能交通系統(tǒng)。而智能交通系統(tǒng)運(yùn)行的先決條件是擁有準(zhǔn)確、實(shí)時的交通流量預(yù)測系統(tǒng)。通過實(shí)時的交通流量預(yù)測系統(tǒng),預(yù)知未來幾分鐘到幾十分鐘的交通流量,可以提前通過交通信號燈和交通控制管理系統(tǒng)對路面交通狀況進(jìn)行調(diào)控,從而達(dá)到緩解擁堵,提高交通效率的目標(biāo)。因此在智能交通系統(tǒng)中,交通流量的精準(zhǔn)預(yù)測變得尤為關(guān)鍵。本文針對目前智能交通流量預(yù)測精準(zhǔn)性不高和存在延遲性的問題,通過對相關(guān)原理進(jìn)行深入研究,實(shí)現(xiàn)了一種改進(jìn)算法,并且在Spark平臺上實(shí)現(xiàn)了分布式,提高了預(yù)測的精準(zhǔn)性和效率。首先,本文介紹了歷史交通數(shù)據(jù)的來源,對歷史交通數(shù)據(jù)進(jìn)行預(yù)處理。接著對路網(wǎng)進(jìn)行分析建模,提取預(yù)測道路的特征數(shù)據(jù),構(gòu)建特征向量空間,然后使用Python語言實(shí)現(xiàn)了多元線性回歸的算法來預(yù)測交通流量。最后本文研究了目前常用的智能交通流量模型,針對多元線性回歸算法和梯度下降算法進(jìn)行了改進(jìn),結(jié)合大數(shù)據(jù)處理技術(shù)S... 

【文章來源】：沈陽理工大學(xué)遼寧省

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１?ＨＤＦＳ架構(gòu)圖??Ｆｉｇ．２．１?ＨＤＦＳ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??

ＭａｐＲｅｄｕｃｅ過程中，采用的是分而治之的思想，大的任務(wù)和數(shù)據(jù)分成一個個小的??任務(wù)和數(shù)據(jù)，一個個小的任務(wù)和數(shù)據(jù)分片分別同時被許多個Ｍａｐ函數(shù)執(zhí)行，然后??再由ｒｅｄｕｃｅ匯總結(jié)果輸出，其執(zhí)行過程圖如圖２．２所示：??輸入數(shù)據(jù)?Ｍａｐ階段?Ｒｅｄｕｃｅｒ階段?輸出數(shù)據(jù)??數(shù)據(jù)分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？輸出數(shù)據(jù)?１??數(shù)據(jù)分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一輸出數(shù)據(jù)２??數(shù)據(jù)分片３?？?Ｍａｐｐｅｒ３?＾??圖２＿２?ＭａｐＲｅｄｕｃｅ的過程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?簡介??Ｓｐａｒｋ最開始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ實(shí)驗室開發(fā)的自己用來分布式計算軟??件，后來由Ａｐａｃｈｅ頂級開源項目負(fù)責(zé)維護(hù)開發(fā)，漸漸成為大數(shù)據(jù)領(lǐng)域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一個分布式計算引擎和一個專門的編程設(shè)計模型，其核心是采??用了基于內(nèi)存的計算方法，因此速度比Ｈａｄｏｏｐ快很多，特別是有迭代計算邏輯的??業(yè)務(wù)上Ｓｐａｒｋ的速度優(yōu)勢更加明顯，在Ｓｐａｒｋ的官網(wǎng)上更是著重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，隨著Ｓｐａｒｋ的快速發(fā)展，Ｓｐａｒｋ生態(tài)圈日漸豐富，出現(xiàn)了??許多的子項目。Ｓｐａｒｋ家族中最具代表性的分支有四個，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用來進(jìn)行??流式計算類似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用來進(jìn)行圖計算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于機(jī)器學(xué)習(xí)的

ＭａｐＲｅｄｕｃｅ過程中，采用的是分而治之的思想，大的任務(wù)和數(shù)據(jù)分成一個個小的??任務(wù)和數(shù)據(jù)，一個個小的任務(wù)和數(shù)據(jù)分片分別同時被許多個Ｍａｐ函數(shù)執(zhí)行，然后??再由ｒｅｄｕｃｅ匯總結(jié)果輸出，其執(zhí)行過程圖如圖２．２所示：??輸入數(shù)據(jù)?Ｍａｐ階段?Ｒｅｄｕｃｅｒ階段?輸出數(shù)據(jù)??數(shù)據(jù)分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？輸出數(shù)據(jù)?１??數(shù)據(jù)分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一輸出數(shù)據(jù)２??數(shù)據(jù)分片３?？?Ｍａｐｐｅｒ３?＾??圖２＿２?ＭａｐＲｅｄｕｃｅ的過程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?簡介??Ｓｐａｒｋ最開始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ實(shí)驗室開發(fā)的自己用來分布式計算軟??件，后來由Ａｐａｃｈｅ頂級開源項目負(fù)責(zé)維護(hù)開發(fā)，漸漸成為大數(shù)據(jù)領(lǐng)域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一個分布式計算引擎和一個專門的編程設(shè)計模型，其核心是采??用了基于內(nèi)存的計算方法，因此速度比Ｈａｄｏｏｐ快很多，特別是有迭代計算邏輯的??業(yè)務(wù)上Ｓｐａｒｋ的速度優(yōu)勢更加明顯，在Ｓｐａｒｋ的官網(wǎng)上更是著重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，隨著Ｓｐａｒｋ的快速發(fā)展，Ｓｐａｒｋ生態(tài)圈日漸豐富，出現(xiàn)了??許多的子項目。Ｓｐａｒｋ家族中最具代表性的分支有四個，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用來進(jìn)行??流式計算類似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用來進(jìn)行圖計算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于機(jī)器學(xué)習(xí)的

【參考文獻(xiàn)】：
期刊論文
[1]基于自適應(yīng)隨機(jī)梯度下降方法的非平衡數(shù)據(jù)分類[J]. 陶秉墨,魯淑霞.  計算機(jī)科學(xué). 2018(S1)
[2]基于Adaboost的改進(jìn)多元線性回歸算法中長期負(fù)荷預(yù)測[J]. 楊胡萍,李輝.  太原理工大學(xué)學(xué)報. 2017(05)
[3]網(wǎng)絡(luò)爬蟲針對“反爬”網(wǎng)站的爬取策略研究[J]. 鄒科文,李達(dá),鄧婷敏,李嘉振,陳義明.  電腦知識與技術(shù). 2016(07)
[4]Python科學(xué)計算包在實(shí)驗數(shù)據(jù)處理中的應(yīng)用[J]. 王振振.  計量技術(shù). 2015 (07)
[5]一種基于MapReduce的短時交通流預(yù)測方法[J]. 梁軻,譚建軍,李英遠(yuǎn).  計算機(jī)工程. 2015(01)
[6]智能交通系統(tǒng)綜述[J]. 趙娜,袁家斌,徐晗.  計算機(jī)科學(xué). 2014(11)
[7]基于MapReduce的多元線性回歸預(yù)測模型[J]. 代亮,許宏科,陳婷,錢超,梁殿鵬.  計算機(jī)應(yīng)用. 2014(07)
[8]車聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境下的交通信息服務(wù)協(xié)同體系[J]. 段宗濤,康軍,唐蕾,樊娜,劉研,代記婷.  長安大學(xué)學(xué)報(自然科學(xué)版). 2014(02)
[9]基于MapReduce的K-Medoids并行算法[J]. 張雪萍,龔康莉,趙廣才.  計算機(jī)應(yīng)用. 2013(04)
[10]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報. 2011(11)

博士論文
[1]城市道路網(wǎng)絡(luò)結(jié)構(gòu)分析及其對交通流的影響研究[D]. 趙玲.中南大學(xué) 2013
[2]多狀態(tài)下城市快速路網(wǎng)交通流短時預(yù)測理論與方法研究[D]. 董春嬌.北京交通大學(xué) 2011
[3]時空路網(wǎng)交通擁堵預(yù)測與疏導(dǎo)決策方法研究[D]. 任其亮.西南交通大學(xué) 2007

碩士論文
[1]基于Spark云計算平臺的城市交通流實(shí)時預(yù)測技術(shù)[D]. 寧洪波.廣東工業(yè)大學(xué) 2018
[2]基于神經(jīng)網(wǎng)絡(luò)的城市交通流量預(yù)測模型研究[D]. 張佳寧.廣東工業(yè)大學(xué) 2016
[3]基于神經(jīng)網(wǎng)絡(luò)模型的短時交通流預(yù)測及應(yīng)用研究[D]. 于亞男.太原理工大學(xué) 2015
[4]高速公路長隧道出口段晝間照明優(yōu)化研究[D]. 林淼.長安大學(xué) 2012
[5]短時交通流預(yù)測模型及預(yù)測方法的研究[D]. 高雅.華東師范大學(xué) 2011



本文編號：3300681