基于全文搜索引擎的大規(guī)模軌跡數(shù)據(jù)高效查詢統(tǒng)計研究

發(fā)布時間：2020-08-22 22:00

【摘要】：軌跡數(shù)據(jù)是連續(xù)軌跡點的集合,軌跡點通常是具有時間和空間屬性的空間點對象。在互聯(lián)網(wǎng)、GPS定位等技術(shù)迅速發(fā)展的背景下,軌跡數(shù)據(jù)的種類、規(guī)模及其產(chǎn)生速度都在迅速增加。海量的軌跡數(shù)據(jù)必然蘊(yùn)含了諸多有用的信息,通過不同的技術(shù)與方法對這些信息進(jìn)行挖掘分析,對空間數(shù)據(jù)的研究與應(yīng)用有著重要意義。數(shù)據(jù)的查詢與統(tǒng)計是數(shù)據(jù)挖掘分析的必要條件,也是互聯(lián)網(wǎng)產(chǎn)品日常使用過程中的基本需求;高效的數(shù)據(jù)查詢與統(tǒng)計速度不僅能保障數(shù)據(jù)分析的時效性,而且有助于提升互聯(lián)網(wǎng)產(chǎn)品的用戶體驗。本文基于Elasticsearch全文搜索引擎框架,以出租車軌跡數(shù)據(jù)為例,對空間軌跡數(shù)據(jù)的高效查詢與統(tǒng)計分析做了深入研究。首先,剖析了傳統(tǒng)關(guān)系型數(shù)據(jù)庫與全文搜索引擎在大規(guī)模數(shù)據(jù)存儲與檢索上的優(yōu)劣;其次,搭建了Elasticsearch集群服務(wù)并對其查詢性能做了測試分析;再次,基于Geohash地理編碼實現(xiàn)了WebGIS中大量點數(shù)據(jù)高效聚合展示的功能;最后,設(shè)計并開發(fā)了大規(guī)模軌跡數(shù)據(jù)高效查詢統(tǒng)計系統(tǒng),驗證了將全文搜索引擎應(yīng)用于軌跡數(shù)據(jù)高效檢索的可行性。本研究主要取得如下成果:1)探索了出租車軌跡數(shù)據(jù)在Elasticsearch集群中的存儲方案,搭建了用于存儲出租車軌跡數(shù)據(jù)的Elasticsearch集群。經(jīng)性能測試工具的模擬查詢測試,該集群在高并發(fā)訪問條件下具有高效的查詢速度與可靠的穩(wěn)定性。2)后臺實現(xiàn)了起訖點數(shù)據(jù)高效動態(tài)聚合展示的相關(guān)算法,解決了傳統(tǒng)前端WebGIS框架難以實現(xiàn)大規(guī)模點數(shù)據(jù)高效聚合的問題。該方法首先采用Geohash對二維空間進(jìn)行網(wǎng)格劃分,對出租車起訖點數(shù)據(jù)進(jìn)行基于網(wǎng)格的聚類,然后將聚類結(jié)果再次進(jìn)行基于密度的聚類得到最終聚合結(jié)果。經(jīng)實例驗證,該方法具有較好的動態(tài)聚合效率與效果。3)基于Elasticsearch集群服務(wù)與相關(guān)前端開發(fā)框架設(shè)計開發(fā)了用于大規(guī)模軌跡數(shù)據(jù)高效查詢統(tǒng)計的可視化系統(tǒng),系統(tǒng)支持空間查詢、屬性查詢、聚合分析、熱點區(qū)域分析等功能。從而實現(xiàn)了全文搜索引擎與WebGIS應(yīng)用的結(jié)合。
【學(xué)位授予單位】：長安大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：U491;TP311.13
【圖文】：