本文關(guān)鍵詞： 大數(shù)據(jù)分析 MapReduce 出租車GPS軌跡挖掘 時空特征提取 交通小區(qū)劃分 交通流預(yù)測　出處：《西南大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：在“互聯(lián)網(wǎng)+”到“大數(shù)據(jù)×”的DT時代,大數(shù)據(jù)已成為科技界、產(chǎn)業(yè)界、政府部門高度關(guān)注的焦點,而移動軌跡大數(shù)據(jù)分析正成為城市計算、智慧城市領(lǐng)域的研究熱點。當(dāng)前,交通擁堵、環(huán)境惡化、能源緊缺等問題嚴(yán)重影響著城市的宜居程度和可持續(xù)發(fā)展。移動社交網(wǎng)絡(luò)中位置軌跡數(shù)據(jù)的挖掘、分析與利用,為解決城市問題提供了新思路。本文研究基于MapReduce的出租車軌跡大數(shù)據(jù)深度挖掘新方法及其應(yīng)用,致力于解決實時性、魯棒性和精確性問題,為復(fù)雜交通網(wǎng)絡(luò)的動態(tài)監(jiān)測與預(yù)警控制提供理論依據(jù)和實用技術(shù)。本文研究的主要內(nèi)容及創(chuàng)新性成果如下：1.提出基于MapReduce的面向海量小文件處理策略的并行頻繁模式增長算法(MR-PFP),關(guān)聯(lián)分析車輛運行的時空特征。首先,在搭建的基于MapReduce并行處理框架的Hadoop分布式計算平臺上,實現(xiàn)海量小文件處理方法(Hadoop Archives、 CombineFileInputFormat、Sequence Files)彌補Hadoop的固有缺陷,并實驗比較三種方法的內(nèi)存消耗和執(zhí)行效率以提出選擇策略。其次,引入小文件處理策略SF優(yōu)化頻繁模式增長算法,并基于MapReduce實現(xiàn)優(yōu)化算法的并行化,即MR-PFP。最后,基于MR-PFP算法,并行挖掘出租車軌跡大數(shù)據(jù)中的頻繁項集以產(chǎn)生有趣的強關(guān)聯(lián)規(guī)則,進(jìn)而多維度關(guān)聯(lián)分析車輛運行的時空特征。實驗結(jié)果表明,與并行頻繁模式增長算法(PFP)相比,MR-PFP算法具有更好的加速比性能和更高的挖掘效率。2.提出基于MapReduce的并行三階段K均值算法(Par3PKM),分布式劃分城市交通小區(qū)。首先,提出分布式交通小區(qū)劃分方法(DTSAD),包括并行聚類和邊界識別兩大關(guān)鍵任務(wù)。其次,提出兩種距離度量方法和三種聚類初始化策略來優(yōu)化K均值算法,并在MapReduce作業(yè)中通過Map、Combiner、Reduce函數(shù)實現(xiàn)優(yōu)化算法,即Par3PKM,進(jìn)而完成出租車軌跡大數(shù)據(jù)的并行聚類。最后,提出邊界識別方法連接聚類結(jié)果中各簇的邊界數(shù)據(jù)點以形成交通小區(qū)。實驗結(jié)果表明,與并行兩階段K均值(Par2PK-Means)、并行聚類大型應(yīng)用(ParCLARA).K均值(K-Means)算法相比,Par3PKM算法具有更高的聚類效率、準(zhǔn)確性、可擴展性和可靠性,以及邊界識別方法可以準(zhǔn)確連接各簇的邊界。尤其是,交通小區(qū)劃分結(jié)果與相應(yīng)區(qū)域?qū)嶋H的交通狀況高度吻合。3.提出基于MapReduce的面向分布式建模通用框架的時空權(quán)重K近鄰模型(STW KNN),并行預(yù)測短時交通流。首先,提出基于MapReduce的交通流預(yù)測分布式建模通用框架(MF-TFF),解決集中式學(xué)習(xí)模型在處理大規(guī)模軌跡數(shù)據(jù)時存在的計算與存儲問題。該框架足夠普適,能通用于其他數(shù)據(jù)驅(qū)動的交通預(yù)測方法。其次,基于MF-TFF框架,提出分布式時空權(quán)重K近鄰模型(STW-KNN)。該模型通過考慮上游-下游、歷史-未來且具有趨勢調(diào)整特征(變化跡象、變化幅度)交通流的時空相關(guān)性與權(quán)重來優(yōu)化搜索機制,包括狀態(tài)向量、相似性度量、預(yù)測函數(shù)和K值選擇。最后,基于MapReduce并行處理范式實現(xiàn)STW-KNN模型,以并行化預(yù)測短時交通流。實驗結(jié)果表明,與K近鄰(KNN)、人工神經(jīng)網(wǎng)絡(luò)(ANNs)、樸素貝葉斯(NB)、隨機深林(RF)和C4.5決策樹相比,STW-KNN模型可以提高超過89.71%的預(yù)測準(zhǔn)確性(MAPE值界于3.34%-6.00%),及其并行化實現(xiàn)顯著改進(jìn)了預(yù)測的效率和可擴展性。4.提出基于MapReduce的面向相關(guān)性分析的交通流預(yù)測方法(TFPC),實時預(yù)測交通流量。首先,在Hadoop分布式計算平臺中,提出實時交通流預(yù)測系統(tǒng)框架(RPS),包括離線分布式訓(xùn)練(ODT)模塊和在線并行預(yù)測(OPP)模塊。其次,在ODT中提出魯棒的并行近鄰優(yōu)化分類器(ParKNNO)來建模交通流的相關(guān)性,發(fā)掘交通流內(nèi)在的相關(guān)性信息并將其納入分類過程。最后,在OPP中提出新穎的預(yù)測計算方法,并利用當(dāng)前數(shù)據(jù)和ParKNNO訓(xùn)練大規(guī)模歷史數(shù)據(jù)所獲得的分類結(jié)果,實時產(chǎn)生交通流預(yù)測。實驗結(jié)果表明,與差分自回歸移動平均(ARIMA)、多層感知器神經(jīng)網(wǎng)絡(luò)(MLP-NN)、近鄰(NN)回歸等方法相比,TFPC方法可以最大改進(jìn)90.07%的預(yù)測準(zhǔn)確性(MAPE均值為5.53%),且具有良好的加速比、擴展性和規(guī)模增長性。
[Abstract]:In this paper , based on MapReduce ( MapReduce ) , this paper proposes a new method and its application to deal with the problems of real - time performance , robustness and accuracy . This paper proposes a new method for forecasting traffic flow based on MapReduce .

【學(xué)位授予單位】：西南大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
，

本文編號：1519502