城市公共交通大數(shù)據(jù)蘊含著豐富的時空信息,是進行乘客出行特征分析、城市交通服務(wù)能力評價以及公共客流預測的數(shù)據(jù)基礎(chǔ),是城市公共交通科學管理和規(guī)劃設(shè)計的重要依據(jù)。隨著城市交通的快速發(fā)展,城市管理部門積累了體量超大的交通數(shù)據(jù),然而這些數(shù)據(jù)并不能得到充分利用,因為傳統(tǒng)的交通數(shù)據(jù)分析軟件無法對大數(shù)據(jù)進行加載、處理和分析,所以一般采用從大數(shù)據(jù)中抽取數(shù)據(jù)的方法,樣本量較小,并且分析結(jié)果大多以二維圖表為主,數(shù)據(jù)可視化效果一般。為此,本文以北京市公交車刷卡數(shù)據(jù)和出租車GPS軌跡數(shù)據(jù)為研究對象,主要進行了以下幾個方面的研究工作:（1）搭建Hadoop分布式計算平臺。利用實驗室八臺電腦搭建微型分布式集群,將30天公交車刷卡數(shù)據(jù)和7天出租車GPS軌跡數(shù)據(jù)進行分布式存儲,并利用MapReduce編程模型進行數(shù)據(jù)清洗、預處理和數(shù)據(jù)挖掘。（2）構(gòu)建公交車乘客出行鏈和交通工具客流模型。研究建立基于時空約束的公交車乘客出行鏈、基于公交站點的公交車客流模型和基于車輛狀態(tài)的出租車客流模型。基于上述模型完成公交車換乘數(shù)據(jù)、公交車客流數(shù)據(jù)、出租車客流數(shù)據(jù)的提取和計算。（3）城市公共交通大數(shù)據(jù)時空分析。根據(jù)不同種類交通工具的運營特... 

【文章來源】：北京建筑大學北京市

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

WebGIS基本架構(gòu)

第一章緒論5為本文的總體技術(shù)路線。圖1-2總體技術(shù)路線Fig.1-2Overalltechnicalroute本文的研究內(nèi)容總結(jié)如下：（1）時空大數(shù)據(jù)的管理通過搭建Hadoop分布式框架構(gòu)建數(shù)據(jù)倉庫，將公交車乘客的刷卡數(shù)據(jù)和出租車GPS軌跡數(shù)據(jù)進行分類并進行數(shù)據(jù)切片存儲，通過數(shù)據(jù)字典將數(shù)據(jù)切片中的無效數(shù)據(jù)記錄和無用數(shù)據(jù)字段進行清洗處理，并將處理結(jié)果以切片形式再次存入數(shù)據(jù)倉庫為后續(xù)的數(shù)據(jù)計算做準備，從而達到優(yōu)化數(shù)據(jù)結(jié)構(gòu)，提高計算效率的效果。（2）時空大數(shù)據(jù)挖掘通過將公交車刷卡數(shù)據(jù)、出租車GPS軌跡數(shù)據(jù)與公交站點數(shù)據(jù)、北京市土地利用類型數(shù)據(jù)等多類數(shù)據(jù)進行結(jié)合，然后構(gòu)建公交車乘客出行鏈和交通工具客流模型，并提取熱點乘車區(qū)域、換乘客流分析、線路運營狀況、重大交通樞紐客流分析等核心指標,為全方位、多角度的對城市公共交通大數(shù)據(jù)進行分析計算打下堅實的基矗（3）不同交通工具差異性分析在分別針對不同種類交通數(shù)據(jù)時空分析的基礎(chǔ)上，從出行時間、出行熱點和出行時長三個方面進行不同種類交通工具乘客出行特征的差異性分析，并探討二者之間的區(qū)別和聯(lián)系，為掌握乘客的出行規(guī)律提供有效的數(shù)據(jù)支撐。

數(shù)據(jù)節(jié)點有多么好的性能，在一定程度上也節(jié)省了硬件花費。Hadoop生態(tài)體系作為大數(shù)據(jù)分布式計算的完整解決方案，包含HDFS(分布式文件系統(tǒng))、MapReduce(分布式離線運算框架)、Tez(DAG運算框架)、HBASE(DAG分布式實時數(shù)據(jù)庫)、Zookeeper(分布式協(xié)調(diào)器)等組件，并在此基礎(chǔ)上產(chǎn)生Hive(數(shù)據(jù)倉庫工具)、Pig(ad-hoc腳本)、Sqoop(數(shù)據(jù)庫ETL工具)等組件，Hadoop生態(tài)體系如圖2-1所示。Hadoop的核心由HDFS(分布式文件存儲系統(tǒng))和MapReduce編程模型兩部分組成，其中，HDFS負責存儲靜態(tài)數(shù)據(jù)，MapReduce負責將計算邏輯分配到各個數(shù)據(jù)節(jié)點。圖2-1Hadoop生態(tài)體系Fig.2-1EcosystemofHadoop2.2.2HDFS與MapReduceHDFS提供了一次寫入多次讀取的機制，數(shù)據(jù)以數(shù)據(jù)塊的形式同時分布在集群中不同物理機器上，為保護數(shù)據(jù)的完整性在不同計算機上對同一份文件進行冗余備份，不同數(shù)據(jù)節(jié)點之間通過計算機網(wǎng)絡(luò)進行數(shù)據(jù)的轉(zhuǎn)移從而保證數(shù)據(jù)均勻分布[25]。HDFS中包含三種重要元素NameNode(管理節(jié)點)、DataNode(數(shù)據(jù)節(jié)點)和Block(數(shù)據(jù)塊)，具體結(jié)構(gòu)如圖2-2所示。一個HDFS通常包含兩個NameNode和多個DataNode，一級NameNode

【參考文獻】：
期刊論文
[1]基于云計算的城市交通大數(shù)據(jù)分析平臺[J]. 趙明,張健欽,盧劍.  地理空間信息. 2020(02)
[2]基于Google Earth遙感影像的城市建筑物高度反演[J]. 陳沖,楊志勇,史曉亮,尚雨.  測繪通報. 2020(01)
[3]基于出租車軌跡數(shù)據(jù)的空間關(guān)聯(lián)規(guī)則挖掘[J]. 姜晶莉,郭黎.  測繪與空間地理信息. 2019(07)
[4]供熱信息服務(wù)可視化平臺的研制[J]. 趙明,張健欽,申兆慕.  北京測繪. 2019(06)
[5]基于WebGIS的地理信息系統(tǒng)開發(fā)應用[J]. 岳軍紅,王濤,任英橋,王圓圓.  微型電腦應用. 2018(12)
[6]多模態(tài)時空數(shù)據(jù)多層次可視化任務(wù)模型[J]. 劉銘崴,朱慶,朱軍,馮斌,李赟,張駿驍,付蕭,張鵬程,楊衛(wèi)軍,寧新穩(wěn),徐婉妍.  測繪學報. 2018(08)
[7]時空大數(shù)據(jù)面臨的挑戰(zhàn)與機遇[J]. 王家耀,武芳,郭建忠,成毅,陳科.  測繪科學. 2017(07)
[8]大數(shù)據(jù)和云計算環(huán)境下的Hadoop技術(shù)研究[J]. 張子妍.  中國管理信息化. 2017(13)
[9]論時空大數(shù)據(jù)及其應用[J]. 李德仁,馬軍,邵振峰.  衛(wèi)星應用. 2015(09)
[10]大數(shù)據(jù)系統(tǒng)綜述[J]. 李學龍,龔海剛.  中國科學:信息科學. 2015(01)

博士論文
[1]城市公共交通系統(tǒng)可達性評價與優(yōu)化方法[D]. 江世雄.北京交通大學 2019
[2]城市信息可視化設(shè)計研究[D]. 李謙升.上海大學 2017
[3]通勤者出行行為特征與分析方法研究[D]. 陳團生.北京交通大學 2007
[4]地礦三維空間數(shù)據(jù)模型及相關(guān)算法研究[D]. 程朋根.武漢大學 2005

碩士論文
[1]基于出租車GPS數(shù)據(jù)的城市快速路交通狀態(tài)識別與預測[D]. 梁迪.吉林大學 2019
[2]基于WebGIS的城市公交大數(shù)據(jù)可視化研究[D]. 王勝開.北京建筑大學 2018
[3]3D Tiles定義解析與生產(chǎn)規(guī)范設(shè)計[D]. 曹浩澤.武漢大學 2018
[4]公共空間中的繪畫藝術(shù)[D]. 牛志超.北京服裝學院 2018
[5]基于出租車軌跡數(shù)據(jù)的居民出行時空特征分析[D]. 徐玉靜.山東科技大學 2017
[6]人群聚集熱點區(qū)域分析與預測[D]. 張文星.寧夏大學 2017
[7]城市居民公交出行數(shù)據(jù)分析研究及可視化[D]. 鄧晨晨.重慶大學 2016
[8]大數(shù)據(jù)環(huán)境下時空多維數(shù)據(jù)可視化研究[D]. 王瑞松.浙江大學 2016
[9]基于數(shù)據(jù)的交通擁堵評價與預測方法[D]. 倪升華.浙江工業(yè)大學 2014
[10]西安市城市交通擁堵治理及對策研究[D]. 劉瓊.長安大學 2014



本文編號：3028994