智能化的公共交通發(fā)展建設是當今智慧城市建設的主體之一,利用大數(shù)據(jù)分析技術輔助解決交通問題、提高公共交通工具運載效率,改善公共交通環(huán)境,實現(xiàn)智慧交通,是智能公共交通行業(yè)的發(fā)展訴求和趨向。Hadoop是一個開源的分布式云計算平臺,能滿足大數(shù)據(jù)處理需求,適用于大數(shù)據(jù)集的分布式處理。Hadoop在數(shù)據(jù)挖掘領域應用廣泛,數(shù)據(jù)挖掘技術利用Hadoop平臺作為數(shù)據(jù)處理載體,能提高數(shù)據(jù)處理效率。數(shù)據(jù)挖掘算法中運用普遍的K-means聚類算法能有效處理大數(shù)據(jù)集,簡單易用,但其k值人為選取以及初始聚類中心隨機選取使得算法存在較大的不穩(wěn)定性,且在算法計算每個數(shù)據(jù)樣本到質(zhì)心的距離時會產(chǎn)生較多計算冗余使得算法運算效率大大降低。在大數(shù)據(jù)背景下,圍繞智能公共交通的Hadoop數(shù)據(jù)分析系統(tǒng)和數(shù)據(jù)挖掘算法的K-means聚類算法研究,本文主要完成工作及創(chuàng)新點如下:(1)針對數(shù)據(jù)分析中需應用到的數(shù)據(jù)挖掘算法中的傳統(tǒng)K-means聚類算法的K值人為選取以及初始聚類質(zhì)心隨機選取的問題,提出了一種改進的Canopy-Kmeans算法:在Canopy算法中采用“中值與最大距離積法”原則以及在K-means算法迭代過程中加入距離計算判定方法。并利用Matlab進行了改進算法的仿真實驗對比分析。實驗證明改進算法更具有良好的時效性和準確性。(2)針對智能化公共交通發(fā)展現(xiàn)狀分析了公共交通數(shù)據(jù)海量、分散、多源、異構等現(xiàn)狀,根據(jù)Hadoop集群所具有的海量數(shù)據(jù)存儲、分析以及集群的高擴展性等優(yōu)勢,設計并實現(xiàn)了以數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)分析以及結果可視化展示四個模塊組成的基于Hadoop框架技術的數(shù)據(jù)分析系統(tǒng)。(3)利用搭建的數(shù)據(jù)分析系統(tǒng)對仙桃市公交公司歷史運營數(shù)據(jù)進行了分析實驗:結合K-means聚類算法按照乘客出行人次和營收對公交線路進行了分類運算;利用MapReduce的編程計算模型對公交公司2018年第一季度公交乘客數(shù)、公交線路日收入對比、乘客24小時乘車波動進行了分析。實驗結果證明系統(tǒng)具備實用性和有效性。同時,數(shù)據(jù)分析結果對公交公司運營有一定指導性意義。(4)設計了基于MapReduce改進的Canopy-Kmeans算法模型,并利用改進的Canopy-Kmeans聚類算法在數(shù)據(jù)分析系統(tǒng)上對公交公司歷史相關運營數(shù)據(jù)進行了數(shù)據(jù)分析應用,并分析了并行化算法性能。應用及性能分析結果證明改進算法能進行良好的并行化運算且更高效。
【學位單位】：武漢輕工大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：U491.17;TP311.13
【部分圖文】：

ＤａｔａＮｏｄｅｓ上執(zhí)行此工作任務。如是，ＮａｍｅＮｏｄｅ和ＪｏｂＴｒａｃｋｅｒ是為管理者，??ＤａｔａＮｏｄｅｓ和ＴａｓｋＴｒａｃｋｅｒｓ是為工作者，共同配合完成任務的執(zhí)行操作［２７〗。??Ｈａｄｏｏｐ集群的整體部署架構如圖２－２所示：??Ｍａｓｔｅｒ??ＮａｍｅＮｏｄｅ?ＪｏｂＴｒａｃｋｅｒ??Ｕ＝ｑ＝＝＃＝ｚｃｚｄ＿??、、、】?、、■＇、??Ｓｌａｖｅ?Ｓｌａｖｅ?Ｓｌａｖｅ??■?？?？?，?？私’?＾?、冷?＼??ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ?ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ?ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ??圖２－２?Ｈａｄｏｏｐ集群的整體部署架構??１２??

（分布式文件系統(tǒng)）?Ｉ??圖２－１?Ｈａｄｏｏｐ生態(tài)系統(tǒng)圖??２＿?３．?３?Ｈａｄｏｏｐ工作架構??Ｈａｄｏｏｐ是一個Ｍａｐ?／?Ｒｅｄｕｃｅ框架，運作在ＨＤＦＳ或ＨＢａｓｅ?（列式存儲數(shù)據(jù)??庫）上。其本質(zhì)是將一個整體較為復雜的工作分割成為若干單獨的任務，分割的??小任務能夠同時在不同的數(shù)據(jù)節(jié)點上運行。每個被分割的小任務在Ｍａｐ階段執(zhí)??行并行運算，最后在Ｒｅｄｕｃｅ階段合并運行的結果。??Ｈａｄｏｏｐ集群采用了?Ｍａｓｔｅｒ／Ｓｌａｖｅｓ?（主從結構）的架構設計，ＮａｍｅＮｏｄｅ?（名??稱節(jié)點）是Ｍａｓｔｅｒ（主服務器），ＤａｔａＮｏｄｅ?（數(shù)據(jù)節(jié)點）是Ｓｌａｖｅ（從服務器）。??ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅｓ負責處理ＨＤＦＳ的工作，其中，ＮａｍｅＮｏｄｅ負責管理文??件系統(tǒng)的名稱空間及外部用戶訪問的控制，ＤａｔａＮｏｄｅｓ則響應來自ＨＤＦＳ和??ＮａｍｅＮｏｄｅ的命令。??ＪｏｂＴｒａｃｋｅｒ?和?ＴａｓｋＴｒａｃｋｅｒｓ?共同完成?ＭａｐＲｅｄｕｃｅ?的工作

ＤａｔａＮｏｄｅ響應來自文件系統(tǒng)用戶的請求并且提供數(shù)據(jù)讀寫服務。同時，ＤａｔａＮｏｄｅ??基于ＮａｍｅＮｏｄｅ執(zhí)行數(shù)據(jù)塊創(chuàng)建，刪除和冗余備份等工作。??客戶端、ＤａｔａＮｏｄｅ以及ＮａｍｅＮｏｄｅ三者之間的交互關系如圖２－３所示：??ＮａｍｅＮｏｄｅ?Ｍｅｔａｄａｔａ?（Ｎａｍｅ．?Ｒｅｐｌｉｃａｓ．．．）??元數(shù)據(jù)操＾名稱節(jié)點?—存儲元數(shù)描??－－－??、客戶端ｊ?＼??：廣??讀／?＼??．．．．．１???????＼?＿丨．丨丨．．ｉ?丨丨丨＿??ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ??數(shù)據(jù)鋸節(jié)點?）?數(shù)據(jù)據(jù)節(jié)點??＼ｍ?＼?＼ｍｍ＼?????????……????機架１?＼?／?機架２??寫＼?，?一、、、／寫??圖２－３?ＨＤＦＳ架構圖??２．?５?ＭａｐＲｅｄｕｃｅ??２．?５．?１?ＭａｐＲｅｄｕｃｅ?概述??Ｈａｄｏｏｐ另一個重要組成部分ＭａｐＲｅｄｕｃｅ是一個并行編程模型，它可以并行??的處理上ＴＢ級海量的大數(shù)據(jù)集，并且具有非常好的可靠性及容錯性。ＭａｐＲｅｄｕｃｅ??數(shù)據(jù)集的整體處理過程可以分成為兩個部分，即任務的分解和結果的匯總。在任??務處理過程中，ＭａｐＲｅｄｕｃｅ將海量數(shù)據(jù)集的操作分發(fā)給主節(jié)點下的各個子節(jié)點，??然后整合各子節(jié)點的處理結果分而治之共同完成數(shù)據(jù)
【參考文獻】

相關期刊論文 前10條

1 吳騰奇;;智能交通系統(tǒng)構成及發(fā)展研究[J];汽車工業(yè)研究;2015年12期

2 陸化普;孫智源;屈聞聰;;大數(shù)據(jù)及其在城市智能交通系統(tǒng)中的應用綜述[J];交通運輸系統(tǒng)工程與信息;2015年05期

3 李正熙;;中國城市智能交通系統(tǒng)產(chǎn)業(yè)化發(fā)展趨勢[J];自動化博覽;2015年07期

4 段桂芹;;基于均值與最大距離乘積的初始聚類中心優(yōu)化K-means算法[J];計算機與數(shù)字工程;2015年03期

5 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數(shù)據(jù)計算框架及其資源調(diào)度機制研究[J];信息通信技術;2015年01期

6 謝然;;大數(shù)據(jù)社會的具體場景[J];互聯(lián)網(wǎng)周刊;2014年22期

7 楊銘;;數(shù)據(jù)挖掘中聚類算法的分析與研究[J];網(wǎng)友世界;2014年15期

8 劉智慧;張泉靈;;大數(shù)據(jù)技術研究綜述[J];浙江大學學報(工學版);2014年06期

9 趙清;唐菁;;電信業(yè)數(shù)據(jù)倉庫體系結構及關鍵技術研究[J];信息通信技術;2013年06期

10 王德青;朱建平;謝邦昌;;主成分聚類分析有效性的思考[J];統(tǒng)計研究;2012年11期

相關博士學位論文 前1條

1 高聯(lián)雄;智能公交系統(tǒng)數(shù)據(jù)挖掘研究與應用[D];北京郵電大學;2011年

相關碩士學位論文 前9條

1 蘇金;基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究[D];西安工業(yè)大學;2017年

2 何晴;基于聚類的多層關聯(lián)規(guī)則挖掘算法研究與改進[D];上海師范大學;2017年

3 黃亞萍;基于聚類分析的電子商務客戶細分系統(tǒng)的設計與實現(xiàn)[D];江蘇科技大學;2016年

4 劉越;K-means聚類算法的改進[D];廣西師范大學;2016年

5 萬旭;基于Hadoop平臺的聚類算法研究[D];西安電子科技大學;2016年

6 宋媛;聚類分析中確定最佳聚類數(shù)的若干問題研究[D];延邊大學;2013年

7 李存琛;海量數(shù)據(jù)分布式存儲技術的研究與應用[D];北京郵電大學;2013年

8 袁勇;公交IC卡數(shù)據(jù)挖掘技術及應用研究[D];吉林大學;2009年

9 張滌;基于文化算法的聚類分析研究[D];西南交通大學;2008年

本文編號：2856572