智能化的公共交通發(fā)展建設(shè)是當(dāng)今智慧城市建設(shè)的主體之一,利用大數(shù)據(jù)分析技術(shù)輔助解決交通問題、提高公共交通工具運(yùn)載效率,改善公共交通環(huán)境,實(shí)現(xiàn)智慧交通,是智能公共交通行業(yè)的發(fā)展訴求和趨向。Hadoop是一個(gè)開源的分布式云計(jì)算平臺(tái),能滿足大數(shù)據(jù)處理需求,適用于大數(shù)據(jù)集的分布式處理。Hadoop在數(shù)據(jù)挖掘領(lǐng)域應(yīng)用廣泛,數(shù)據(jù)挖掘技術(shù)利用Hadoop平臺(tái)作為數(shù)據(jù)處理載體,能提高數(shù)據(jù)處理效率。數(shù)據(jù)挖掘算法中運(yùn)用普遍的K-means聚類算法能有效處理大數(shù)據(jù)集,簡(jiǎn)單易用,但其k值人為選取以及初始聚類中心隨機(jī)選取使得算法存在較大的不穩(wěn)定性,且在算法計(jì)算每個(gè)數(shù)據(jù)樣本到質(zhì)心的距離時(shí)會(huì)產(chǎn)生較多計(jì)算冗余使得算法運(yùn)算效率大大降低。在大數(shù)據(jù)背景下,圍繞智能公共交通的Hadoop數(shù)據(jù)分析系統(tǒng)和數(shù)據(jù)挖掘算法的K-means聚類算法研究,本文主要完成工作及創(chuàng)新點(diǎn)如下:(1)針對(duì)數(shù)據(jù)分析中需應(yīng)用到的數(shù)據(jù)挖掘算法中的傳統(tǒng)K-means聚類算法的K值人為選取以及初始聚類質(zhì)心隨機(jī)選取的問題,提出了一種改進(jìn)的Canopy-Kmeans算法:在Canopy算法中采用“中值與最大距離積法”原則以及在K-means算法迭代過程中加入距離計(jì)算判定方法。并利用Matlab進(jìn)行了改進(jìn)算法的仿真實(shí)驗(yàn)對(duì)比分析。實(shí)驗(yàn)證明改進(jìn)算法更具有良好的時(shí)效性和準(zhǔn)確性。(2)針對(duì)智能化公共交通發(fā)展現(xiàn)狀分析了公共交通數(shù)據(jù)海量、分散、多源、異構(gòu)等現(xiàn)狀,根據(jù)Hadoop集群所具有的海量數(shù)據(jù)存儲(chǔ)、分析以及集群的高擴(kuò)展性等優(yōu)勢(shì),設(shè)計(jì)并實(shí)現(xiàn)了以數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析以及結(jié)果可視化展示四個(gè)模塊組成的基于Hadoop框架技術(shù)的數(shù)據(jù)分析系統(tǒng)。(3)利用搭建的數(shù)據(jù)分析系統(tǒng)對(duì)仙桃市公交公司歷史運(yùn)營(yíng)數(shù)據(jù)進(jìn)行了分析實(shí)驗(yàn):結(jié)合K-means聚類算法按照乘客出行人次和營(yíng)收對(duì)公交線路進(jìn)行了分類運(yùn)算;利用MapReduce的編程計(jì)算模型對(duì)公交公司2018年第一季度公交乘客數(shù)、公交線路日收入對(duì)比、乘客24小時(shí)乘車波動(dòng)進(jìn)行了分析。實(shí)驗(yàn)結(jié)果證明系統(tǒng)具備實(shí)用性和有效性。同時(shí),數(shù)據(jù)分析結(jié)果對(duì)公交公司運(yùn)營(yíng)有一定指導(dǎo)性意義。(4)設(shè)計(jì)了基于MapReduce改進(jìn)的Canopy-Kmeans算法模型,并利用改進(jìn)的Canopy-Kmeans聚類算法在數(shù)據(jù)分析系統(tǒng)上對(duì)公交公司歷史相關(guān)運(yùn)營(yíng)數(shù)據(jù)進(jìn)行了數(shù)據(jù)分析應(yīng)用,并分析了并行化算法性能。應(yīng)用及性能分析結(jié)果證明改進(jìn)算法能進(jìn)行良好的并行化運(yùn)算且更高效。
【學(xué)位單位】：武漢輕工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：U491.17;TP311.13
【部分圖文】：

ＤａｔａＮｏｄｅｓ上執(zhí)行此工作任務(wù)。如是，ＮａｍｅＮｏｄｅ和ＪｏｂＴｒａｃｋｅｒ是為管理者，??ＤａｔａＮｏｄｅｓ和ＴａｓｋＴｒａｃｋｅｒｓ是為工作者，共同配合完成任務(wù)的執(zhí)行操作［２７〗。??Ｈａｄｏｏｐ集群的整體部署架構(gòu)如圖２－２所示：??Ｍａｓｔｅｒ??ＮａｍｅＮｏｄｅ?ＪｏｂＴｒａｃｋｅｒ??Ｕ＝ｑ＝＝＃＝ｚｃｚｄ＿??、、、】?、、■＇、??Ｓｌａｖｅ?Ｓｌａｖｅ?Ｓｌａｖｅ??■?？?？?，?？私’?＾?、冷?＼??ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ?ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ?ＤａｔａＮｏｄｅ?ＴａｓｋＴｒａｃｋｅｒ??圖２－２?Ｈａｄｏｏｐ集群的整體部署架構(gòu)??１２??

（分布式文件系統(tǒng)）?Ｉ??圖２－１?Ｈａｄｏｏｐ生態(tài)系統(tǒng)圖??２＿?３．?３?Ｈａｄｏｏｐ工作架構(gòu)??Ｈａｄｏｏｐ是一個(gè)Ｍａｐ?／?Ｒｅｄｕｃｅ框架，運(yùn)作在ＨＤＦＳ或ＨＢａｓｅ?（列式存儲(chǔ)數(shù)據(jù)??庫）上。其本質(zhì)是將一個(gè)整體較為復(fù)雜的工作分割成為若干單獨(dú)的任務(wù)，分割的??小任務(wù)能夠同時(shí)在不同的數(shù)據(jù)節(jié)點(diǎn)上運(yùn)行。每個(gè)被分割的小任務(wù)在Ｍａｐ階段執(zhí)??行并行運(yùn)算，最后在Ｒｅｄｕｃｅ階段合并運(yùn)行的結(jié)果。??Ｈａｄｏｏｐ集群采用了?Ｍａｓｔｅｒ／Ｓｌａｖｅｓ?（主從結(jié)構(gòu)）的架構(gòu)設(shè)計(jì)，ＮａｍｅＮｏｄｅ?（名??稱節(jié)點(diǎn)）是Ｍａｓｔｅｒ（主服務(wù)器），ＤａｔａＮｏｄｅ?（數(shù)據(jù)節(jié)點(diǎn)）是Ｓｌａｖｅ（從服務(wù)器）。??ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅｓ負(fù)責(zé)處理ＨＤＦＳ的工作，其中，ＮａｍｅＮｏｄｅ負(fù)責(zé)管理文??件系統(tǒng)的名稱空間及外部用戶訪問的控制，ＤａｔａＮｏｄｅｓ則響應(yīng)來自ＨＤＦＳ和??ＮａｍｅＮｏｄｅ的命令。??ＪｏｂＴｒａｃｋｅｒ?和?ＴａｓｋＴｒａｃｋｅｒｓ?共同完成?ＭａｐＲｅｄｕｃｅ?的工作

ＤａｔａＮｏｄｅ響應(yīng)來自文件系統(tǒng)用戶的請(qǐng)求并且提供數(shù)據(jù)讀寫服務(wù)。同時(shí)，ＤａｔａＮｏｄｅ??基于ＮａｍｅＮｏｄｅ執(zhí)行數(shù)據(jù)塊創(chuàng)建，刪除和冗余備份等工作。??客戶端、ＤａｔａＮｏｄｅ以及ＮａｍｅＮｏｄｅ三者之間的交互關(guān)系如圖２－３所示：??ＮａｍｅＮｏｄｅ?Ｍｅｔａｄａｔａ?（Ｎａｍｅ．?Ｒｅｐｌｉｃａｓ．．．）??元數(shù)據(jù)操＾名稱節(jié)點(diǎn)?—存儲(chǔ)元數(shù)描??－－－??、客戶端ｊ?＼??：廣??讀／?＼??．．．．．１???????＼?＿丨．丨丨．．ｉ?丨丨丨＿??ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ??數(shù)據(jù)鋸節(jié)點(diǎn)?）?數(shù)據(jù)據(jù)節(jié)點(diǎn)??＼ｍ?＼?＼ｍｍ＼?????????……????機(jī)架１?＼?／?機(jī)架２??寫＼?，?一、、、／寫??圖２－３?ＨＤＦＳ架構(gòu)圖??２．?５?ＭａｐＲｅｄｕｃｅ??２．?５．?１?ＭａｐＲｅｄｕｃｅ?概述??Ｈａｄｏｏｐ另一個(gè)重要組成部分ＭａｐＲｅｄｕｃｅ是一個(gè)并行編程模型，它可以并行??的處理上ＴＢ級(jí)海量的大數(shù)據(jù)集，并且具有非常好的可靠性及容錯(cuò)性。ＭａｐＲｅｄｕｃｅ??數(shù)據(jù)集的整體處理過程可以分成為兩個(gè)部分，即任務(wù)的分解和結(jié)果的匯總。在任??務(wù)處理過程中，ＭａｐＲｅｄｕｃｅ將海量數(shù)據(jù)集的操作分發(fā)給主節(jié)點(diǎn)下的各個(gè)子節(jié)點(diǎn)，??然后整合各子節(jié)點(diǎn)的處理結(jié)果分而治之共同完成數(shù)據(jù)
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳騰奇;;智能交通系統(tǒng)構(gòu)成及發(fā)展研究[J];汽車工業(yè)研究;2015年12期

2 陸化普;孫智源;屈聞聰;;大數(shù)據(jù)及其在城市智能交通系統(tǒng)中的應(yīng)用綜述[J];交通運(yùn)輸系統(tǒng)工程與信息;2015年05期

3 李正熙;;中國(guó)城市智能交通系統(tǒng)產(chǎn)業(yè)化發(fā)展趨勢(shì)[J];自動(dòng)化博覽;2015年07期

4 段桂芹;;基于均值與最大距離乘積的初始聚類中心優(yōu)化K-means算法[J];計(jì)算機(jī)與數(shù)字工程;2015年03期

5 董春濤;李文婷;沈晴霓;吳中海;;Hadoop YARN大數(shù)據(jù)計(jì)算框架及其資源調(diào)度機(jī)制研究[J];信息通信技術(shù);2015年01期

6 謝然;;大數(shù)據(jù)社會(huì)的具體場(chǎng)景[J];互聯(lián)網(wǎng)周刊;2014年22期

7 楊銘;;數(shù)據(jù)挖掘中聚類算法的分析與研究[J];網(wǎng)友世界;2014年15期

8 劉智慧;張泉靈;;大數(shù)據(jù)技術(shù)研究綜述[J];浙江大學(xué)學(xué)報(bào)(工學(xué)版);2014年06期

9 趙清;唐菁;;電信業(yè)數(shù)據(jù)倉(cāng)庫體系結(jié)構(gòu)及關(guān)鍵技術(shù)研究[J];信息通信技術(shù);2013年06期

10 王德青;朱建平;謝邦昌;;主成分聚類分析有效性的思考[J];統(tǒng)計(jì)研究;2012年11期

相關(guān)博士學(xué)位論文 前1條

1 高聯(lián)雄;智能公交系統(tǒng)數(shù)據(jù)挖掘研究與應(yīng)用[D];北京郵電大學(xué);2011年

相關(guān)碩士學(xué)位論文 前9條

1 蘇金;基于Hadoop的物流歷史數(shù)據(jù)聚類挖掘研究[D];西安工業(yè)大學(xué);2017年

2 何晴;基于聚類的多層關(guān)聯(lián)規(guī)則挖掘算法研究與改進(jìn)[D];上海師范大學(xué);2017年

3 黃亞萍;基于聚類分析的電子商務(wù)客戶細(xì)分系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];江蘇科技大學(xué);2016年

4 劉越;K-means聚類算法的改進(jìn)[D];廣西師范大學(xué);2016年

5 萬旭;基于Hadoop平臺(tái)的聚類算法研究[D];西安電子科技大學(xué);2016年

6 宋媛;聚類分析中確定最佳聚類數(shù)的若干問題研究[D];延邊大學(xué);2013年

7 李存琛;海量數(shù)據(jù)分布式存儲(chǔ)技術(shù)的研究與應(yīng)用[D];北京郵電大學(xué);2013年

8 袁勇;公交IC卡數(shù)據(jù)挖掘技術(shù)及應(yīng)用研究[D];吉林大學(xué);2009年

9 張滌;基于文化算法的聚類分析研究[D];西南交通大學(xué);2008年

本文編號(hào)：2856572