隨著我國城市公共交通的快速發(fā)展,大量智能化、信息化的技術(shù)手段被廣泛應(yīng)用于公共交通領(lǐng)域。諸如IC卡收費(fèi)系統(tǒng)、公交GPS系統(tǒng)等技術(shù)的使用,不僅方便了公交企業(yè)的日常運(yùn)營,也為公交企業(yè)采集到大量的數(shù)據(jù)資源。通過對(duì)數(shù)據(jù)資源的分析與處理,公交企業(yè)可以獲取到公交客流等信息,為公交運(yùn)營、管理和規(guī)劃提供寶貴的決策支持。然而,面對(duì)日積月累,逐漸龐大的公交數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理方法與算法越來越力不從心。為了更好地對(duì)公交數(shù)據(jù)進(jìn)行挖掘與應(yīng)用,亟需使用大數(shù)據(jù)的方法與思路對(duì)公交數(shù)據(jù)進(jìn)行分析處理。針對(duì)上述問題,本文設(shè)計(jì)了基于Hadoop架構(gòu)的"公交大數(shù)據(jù)分析平臺(tái)",以適應(yīng)海量公交數(shù)據(jù)的處理需求,結(jié)合大數(shù)據(jù)思維和實(shí)際數(shù)據(jù)情況,提出大數(shù)據(jù)環(huán)境下的公交客流OD矩陣推導(dǎo)算法以及公交客流數(shù)據(jù)應(yīng)用方法。相較于以往研究的理想化、簡單化處理,本文算法以IC卡刷卡、公交GPS(進(jìn)出站)和公交調(diào)度數(shù)據(jù)為基礎(chǔ),充分考慮了實(shí)際公交數(shù)據(jù)所存在的問題,在客流推導(dǎo)過程中對(duì)數(shù)據(jù)進(jìn)行修正與補(bǔ)全?紤]到以往計(jì)算客流指標(biāo)的數(shù)據(jù)應(yīng)用方法過于片面與單薄,本文提出以主題分析的方式綜合地挖掘應(yīng)用公交客流數(shù)據(jù)。首先,本文介紹了論文相關(guān)的背景知識(shí),對(duì)研究中所用到的基礎(chǔ)理論以及技術(shù)概況進(jìn)行了描述;接著,分析了公交系統(tǒng)數(shù)據(jù)情況,進(jìn)行了數(shù)據(jù)預(yù)處理工作,基于對(duì)數(shù)據(jù)的分析與公交業(yè)務(wù)的需求設(shè)計(jì)構(gòu)建了"公交大數(shù)據(jù)分析平臺(tái)",使用HDFS,MapReduce,Hive等技術(shù)分析處理公交數(shù)據(jù);然后,以大數(shù)據(jù)處理環(huán)境為背景,提出基于IC卡刷卡、公交GPS和公交調(diào)度數(shù)據(jù)的公交客流OD矩陣推導(dǎo)算法。分別從乘客上車站點(diǎn)判定、乘客下車站點(diǎn)判定、乘客換乘判定等步驟進(jìn)行說明;最后,結(jié)合公交企業(yè)需求,提出公交客流數(shù)據(jù)的主題挖掘應(yīng)用方法,以線路站點(diǎn)客流分析、區(qū)域客流分析、運(yùn)量匹配分析三個(gè)主題對(duì)數(shù)據(jù)進(jìn)行了分析應(yīng)用,并選取實(shí)例數(shù)據(jù)進(jìn)行說明。
【學(xué)位授予單位】:西南石油大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2017
【分類號(hào)】:TP311.13
文章目錄
摘要
Abstract
第1章 緒論
1.1 研究目的與意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 研究內(nèi)容與方法
1.4 論文章節(jié)安排
第2章 相關(guān)背景知識(shí)介紹
2.1 大數(shù)據(jù)技術(shù)
2.1.1 基本概念
2.1.2 Hadoop
2.1.3 HDFS
2.1.4 MapReduce
2.1.5 Hive
2.2 數(shù)據(jù)挖掘技術(shù)
2.2.1 基本概念
2.2.2 數(shù)據(jù)挖掘功能與模式
2.2.3 主要挖掘技術(shù)
2.3 數(shù)據(jù)倉庫技術(shù)
2.3.1 基本概念
2.3.2 關(guān)鍵特點(diǎn)
2.4 公交客流OD矩陣
第3章 公交大數(shù)據(jù)分析平臺(tái)設(shè)計(jì)
3.1 平臺(tái)基礎(chǔ)數(shù)據(jù)介紹
3.1.1 IC卡刷卡數(shù)據(jù)
3.1.2 公交GPS數(shù)據(jù)
3.1.3 公交調(diào)度數(shù)據(jù)
3.1.4 公交基礎(chǔ)數(shù)據(jù)
3.2 平臺(tái)基礎(chǔ)數(shù)據(jù)預(yù)處理
3.2.1 數(shù)據(jù)預(yù)處理概述
3.2.2 IC卡刷卡數(shù)據(jù)預(yù)處理
3.2.3 公交GPS數(shù)據(jù)預(yù)處理
3.2.4 公交調(diào)度數(shù)據(jù)預(yù)處理
3.2.5 公交基礎(chǔ)數(shù)據(jù)預(yù)處理
3.3 公交大數(shù)據(jù)分析平臺(tái)的框架設(shè)計(jì)
3.3.1 公交大數(shù)據(jù)分析平臺(tái)框架
3.3.2 公交大數(shù)據(jù)分析處理流程
第4章 公交客流OD矩陣推導(dǎo)
4.1 乘客上車站點(diǎn)判定
4.1.1 合并GPS公交進(jìn)出站數(shù)據(jù)
4.1.2 獲取公交車輛運(yùn)行軌跡
4.1.3 補(bǔ)全公交軌跡數(shù)據(jù)
4.1.4 判定上車站點(diǎn)
4.2 乘客下車站點(diǎn)判定
4.2.1 生成最近站距表
4.2.2 判定下車站點(diǎn)
4.2.3 匹配下車時(shí)間
4.3 乘客換乘分析
4.4 構(gòu)建擴(kuò)樣表
4.5 數(shù)據(jù)檢驗(yàn)
第5章 公交客流數(shù)據(jù)的挖掘應(yīng)用
5.1 線路站點(diǎn)客流分析
5.2 區(qū)域客流分析
5.3 運(yùn)量匹配分析
第6章 結(jié)論與展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及科研成果
【參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 李濤;曾春秋;周武柏;周綺鳳;鄭理;;大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘——從應(yīng)用的角度看大數(shù)據(jù)挖掘[J];大數(shù)據(jù);2015年04期
2 李方正;李婉儀;李雄;;基于公交刷卡大數(shù)據(jù)分析的城市綠道規(guī)劃研究——以北京市為例[J];城市發(fā)展研究;2015年08期
3 于鵑;;數(shù)據(jù)倉庫與大數(shù)據(jù)融合的探討[J];電信科學(xué);2015年03期
4 劉小峰;;基于大數(shù)據(jù)的智慧云公交調(diào)度管理系統(tǒng)[J];電腦開發(fā)與應(yīng)用;2014年09期
5 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期
6 謝仲磊;;基于IC卡數(shù)據(jù)的公交線網(wǎng)評(píng)價(jià)[J];交通標(biāo)準(zhǔn)化;2013年21期
7 王夢(mèng)雪;;數(shù)據(jù)挖掘綜述[J];軟件導(dǎo)刊;2013年10期
8 王德文;肖凱;肖磊;;基于Hive的電力設(shè)備狀態(tài)信息數(shù)據(jù)倉庫[J];電力系統(tǒng)保護(hù)與控制;2013年09期
9 鄔賀銓;;大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J];求是;2013年04期
10 黃斌;許舒人;蒲衛(wèi);;基于MapReduce的數(shù)據(jù)挖掘平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2013年02期
相關(guān)博士學(xué)位論文 前1條
1 高聯(lián)雄;智能公交系統(tǒng)數(shù)據(jù)挖掘研究與應(yīng)用[D];北京郵電大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 王周全;基于IC卡數(shù)據(jù)與GPS數(shù)據(jù)的公交客流時(shí)空分布研究[D];西南交通大學(xué);2016年
2 王瑞松;大數(shù)據(jù)環(huán)境下時(shí)空多維數(shù)據(jù)可視化研究[D];浙江大學(xué);2016年
3 李振;基于Hadoop平臺(tái)的公交客流分析與預(yù)測(cè)研究[D];東北師范大學(xué);2015年
4 張國棟;基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];上海交通大學(xué);2014年
5 趙安嶺;基于公交動(dòng)態(tài)客流OD的車輛調(diào)度優(yōu)化模型研究[D];重慶交通大學(xué);2014年
6 吳祥國;基于公交IC卡和GPS數(shù)據(jù)的居民公交出行OD矩陣推導(dǎo)與應(yīng)用[D];山東大學(xué);2011年
7 章玉;基于數(shù)據(jù)挖掘的動(dòng)態(tài)公交客流OD獲取方法研究[D];北京交通大學(xué);2010年
8 袁勇;公交IC卡數(shù)據(jù)挖掘技術(shù)及應(yīng)用研究[D];吉林大學(xué);2009年
9 舒國輝;基于數(shù)據(jù)挖掘的公交客流規(guī)律研究[D];北京交通大學(xué);2009年
10 王春雨;公交客流數(shù)據(jù)分析的研究[D];河北工業(yè)大學(xué);2006年
本文編號(hào):
1898164
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1898164.html