隨著低碳環(huán)保社會(huì)的發(fā)展,城市規(guī)模的不斷擴(kuò)大,電動(dòng)自行車(chē)由于其成本低廉、操作靈活、騎行便捷等特點(diǎn),已成為我國(guó)許多城市重要的出行方式之一。近年來(lái),隨著電動(dòng)自行車(chē)行業(yè)的快速發(fā)展,與之相關(guān)的交通和社會(huì)治安問(wèn)題也層出不窮。為了解決日益增長(zhǎng)的電動(dòng)自行車(chē)數(shù)量和有限道路之間的矛盾,政府部門(mén)需要全面深入地了解電動(dòng)自行車(chē)群體的行為特征,以加強(qiáng)對(duì)電動(dòng)自行車(chē)的管理,從而提高城市系統(tǒng)的服務(wù)水平和管理效率。本文基于海量的電動(dòng)自行車(chē)軌跡數(shù)據(jù)開(kāi)展了系統(tǒng)性的研究工作,對(duì)電動(dòng)自行車(chē)用戶(hù)的行為進(jìn)行深入地分析,并構(gòu)建了功能豐富的可視化交互系統(tǒng)。具體研究?jī)?nèi)容如下:本文基于大數(shù)據(jù)平臺(tái)對(duì)電動(dòng)自行車(chē)數(shù)據(jù)進(jìn)行清洗,針對(duì)清洗后的軌跡數(shù)據(jù),設(shè)計(jì)一種基于速度的時(shí)間聚類(lèi)算法來(lái)提取用戶(hù)在運(yùn)動(dòng)過(guò)程中的停留點(diǎn),通過(guò)基于Spark的K-means++算法對(duì)用戶(hù)的停留點(diǎn)進(jìn)行聚類(lèi)分析,得到用戶(hù)熱點(diǎn)停留區(qū)域。為得到用戶(hù)的居住地信息,針對(duì)不同職業(yè)背景的用戶(hù),設(shè)計(jì)不同的聚類(lèi)算法去自動(dòng)有效地挖掘用戶(hù)居住地信息。在數(shù)據(jù)分析的基礎(chǔ)之上,本文還構(gòu)建了基于大數(shù)據(jù)平臺(tái)的Web端可視化系統(tǒng),方便人們直觀地分析和理解電動(dòng)自行車(chē)數(shù)據(jù),該系統(tǒng)包括電動(dòng)自行車(chē)數(shù)據(jù)地圖、軌跡移動(dòng)等模塊,在該系統(tǒng)中,前端頁(yè)面經(jīng)常需要根據(jù)指定字段或者幾個(gè)字段組合檢索存儲(chǔ)在HBase里的電動(dòng)自行車(chē)數(shù)據(jù),為了提高查詢(xún)的速度,本文提出了一種基于Phoenix來(lái)實(shí)現(xiàn)HBase二級(jí)索引的方法。最后對(duì)HBase與Phoenix集成的性能進(jìn)行測(cè)試,實(shí)驗(yàn)表明在對(duì)HBase表數(shù)據(jù)建立二級(jí)索引后,數(shù)據(jù)的查詢(xún)速度會(huì)有顯著的提升。本文將大數(shù)據(jù)和WEB可視化系統(tǒng)進(jìn)行結(jié)合,對(duì)電動(dòng)自行車(chē)用戶(hù)的行為進(jìn)行分析。根據(jù)其分析的數(shù)據(jù)特征構(gòu)建了基于大數(shù)據(jù)平臺(tái)的電動(dòng)自行車(chē)可視化系統(tǒng),并利用 Phoenix為HBase創(chuàng)建二級(jí)索引,提高了可視化系統(tǒng)的資詢(xún)速度。為本文研究工作的實(shí)際應(yīng)用提供了可能。
【學(xué)位單位】：沈陽(yáng)理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TP311.13;U491.225
【部分圖文】：

在大數(shù)據(jù)時(shí)代的背景下，不僅是數(shù)據(jù)量開(kāi)始了爆炸式的增長(zhǎng)，數(shù)據(jù)種類(lèi)也開(kāi)逡逑始變得更加復(fù)雜，單機(jī)己經(jīng)無(wú)法存儲(chǔ)這些海量的數(shù)據(jù)，需要多臺(tái)機(jī)器共同去存儲(chǔ)。逡逑ＨＤＦＳ的設(shè)計(jì)思想就是把要存儲(chǔ)的海量數(shù)據(jù)劃分為不同的小文件，再將這些小文件逡逑存儲(chǔ)到不同的機(jī)器節(jié)點(diǎn)上。ＨＤＦＳ可以理解為對(duì)磁盤(pán)的更高一級(jí)的抽象，它將數(shù)據(jù)逡逑存儲(chǔ)在多臺(tái)機(jī)器節(jié)點(diǎn)上的磁盤(pán)內(nèi)。ＨＤＦＳ分布式文件管理系統(tǒng)作為Ｈａｄｏｏｐ的生態(tài)逡逑圈基礎(chǔ)，默認(rèn)會(huì)對(duì)數(shù)據(jù)進(jìn)行備份，它是通過(guò)機(jī)架感知的方式分配每一個(gè)數(shù)據(jù)副本逡逑的，從而保證數(shù)據(jù)的安全性。ＨＤＦＳ是由ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ兩個(gè)進(jìn)程維護(hù)的，逡逑為了避免單點(diǎn)故障，配置了主備ＮａｍｅＮｏｄｅ，同一時(shí)刻只有主ＮａｍｅＮｏｄｅ向外提供逡逑服務(wù)，只有當(dāng)主ＮａｍｅＮｏｄｅ進(jìn)程宕機(jī)了，Ｚｏｏｋｅｅｐｅｒ會(huì)將備ＮａｍｅＮｏｄｅ切換為主逡逑ＮａｍｅＮｏｄｅ繼續(xù)向外提供服務(wù)，保證ＨＤＦＳ文件系統(tǒng)的高可靠性。ＮａｍｅＮｏｄｅ維護(hù)逡逑著存儲(chǔ)在ＨＤＦＳ上數(shù)據(jù)塊的元數(shù)據(jù)，比如文件名、所屬用戶(hù)及擁有的權(quán)限等等，逡逑ＤａｔａＮｏｄｅ負(fù)責(zé)管理存儲(chǔ)在本機(jī)上的數(shù)據(jù)塊信息，ＤａｔａＮｏｄｅ定期向ＮａｍｅＮｏｄｅ發(fā)送逡逑心跳包報(bào)告自身所擁有的數(shù)據(jù)塊信息ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ互相通信來(lái)保證逡逑客戶(hù)端對(duì)ＨＤＦＳ文件的讀寫(xiě)操作，ＨＤＦＳ分布式文件系統(tǒng)的主從架構(gòu)如圖２．１所示。逡逑

Ｈｉｖｅ底層執(zhí)行引擎會(huì)把ＨＳＱＬ語(yǔ)句轉(zhuǎn)化為ＭａｐＲｅｄｕｃｅ任務(wù)，比單純的用Ｊａｖａ逡逑語(yǔ)言編寫(xiě)ＭａｐＲｅｄｕｃｅ程序來(lái)說(shuō)，Ｈｉｖｅ具有使用簡(jiǎn)單、開(kāi)發(fā)效率高等特點(diǎn)，非常適逡逑合對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，Ｈｉｖｅ的體系結(jié)構(gòu)如圖２．３所示。逡逑Ｓｈｅ丨１接口邐ＪＤＢＣ／ＯＤＢＣ客戶(hù)端邐Ｗｅｂ接口逡逑＼邐Ｔｈｒｉｆｔ服務(wù)器■邐／逡逑＼邐淲＾邐／逡逑＾邐編譯器邐＾一＞邐元數(shù)據(jù)庫(kù)逡逑執(zhí)行器逡逑ＭａｐＲｅｄｕｃｅ邋？邐＞邋數(shù)據(jù)倉(cāng)庫(kù)邐ＨＤＦＳ逡逑圖２．３邋Ｈｉｖｅ體系結(jié)構(gòu)逡逑Ｆｉｇ．２．３邋Ｈｉｖｅ邋ａｒｃｈｉｔｅｃｔｕｒｅ逡逑Ｈｉｖｅ是一個(gè)針對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析的數(shù)據(jù)倉(cāng)庫(kù)［４｜］。：Ｈｉｖｅ的運(yùn)行是建立逡逑在Ｈａｄｏｏｐ框架之上的，Ｈｉｖｅ對(duì)用戶(hù)提供了一系列的ＨＳＱＬ語(yǔ)法，用戶(hù)可以使用逡逑ＨＳＱＬ語(yǔ)句對(duì)存儲(chǔ)在ＨＤＦＳ上的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，Ｈｉｖｅ底層引擎默認(rèn)是逡逑ＭａｐＲｅｄｕｃｅ，通過(guò)源碼編譯以及相關(guān)配置可以將其改為Ｓｐａｒｋ或者Ｔｅｚ執(zhí)行引擎，逡逑以此來(lái)加快數(shù)據(jù)處理的效率。在默認(rèn)情況下，Ｈｉｖｅ可以理解為ＭａｐＲｅｄｕｃｅ的客戶(hù)逡逑端，Ｈｉｖｅ底層執(zhí)行＾）丨擎將用戶(hù)編寫(xiě)的ＨＳＱＬ語(yǔ)句轉(zhuǎn)化為ＭａｐＲｅｄｕｃｅ任務(wù)，在Ｈａｄｏｏｐ逡逑－１４－逡逑

逡逑ＨＢａｓｅ數(shù)據(jù)庫(kù)里的物理表在在行的方向上，分割為多個(gè)ｒｅｇｉ0ｎ塊，每個(gè)ｒｅｇｉ0ｎ逡逑塊分布在多臺(tái)機(jī)器節(jié)點(diǎn)上，物理存儲(chǔ)模型如圖２．４所示。逡逑Ｔａｂｌｅｌ邐＂Ｔａｂｌ＾ＳｅｒｖｅｒＬ邋１逡逑ｒ邐ｉ邐ｆ邋￣＾邋＾ｒｉ逡逑Ｒｅｇｉｏｎ邋ｊ邐Ｒｅｇｉｏｎ逡逑S茫垮�？逦＊邋＊邋＊辶x希蹋潁澹戾澹叔澹遙

本文編號(hào)：2813551