近年來,隨著GPS、手機(jī)等定位設(shè)備的發(fā)展,位置信息的獲取變得越來越容易。移動電話、出租車、公交車等每天都會產(chǎn)生大量的軌跡數(shù)據(jù)。這些軌跡數(shù)據(jù)具有數(shù)據(jù)量大、維度高的特點(diǎn),且隱藏著大量可以被挖掘的信息。很多科技公司如國外的Uber、國內(nèi)的滴滴出行、高德等都會利用這些軌跡數(shù)據(jù)提供基于位置的服務(wù),比如道路推薦、路線規(guī)劃等等。大規(guī)模的軌跡數(shù)據(jù)與軌跡數(shù)據(jù)應(yīng)用之間需要一個溝通的橋梁,這個橋梁就是軌跡數(shù)據(jù)處理系統(tǒng),也是本文要做的工作。首先,對于海量的軌跡數(shù)據(jù),本文設(shè)計了軌跡數(shù)據(jù)處理系統(tǒng),該系統(tǒng)能夠滿足軌跡數(shù)據(jù)的收集、處理與存儲的功能需求,且具有拓展性好、可靠性高、實時性強(qiáng)的特點(diǎn)。系統(tǒng)整體可以分為三個模塊,即軌跡數(shù)據(jù)的收集模塊、軌跡數(shù)據(jù)的處理模塊和軌跡數(shù)據(jù)的存儲模塊。存儲模塊由于數(shù)據(jù)庫HBase的分區(qū)問題導(dǎo)致了軌跡數(shù)據(jù)寫入性能的下降,針對這種情況,本文提出了預(yù)分區(qū)策略,并結(jié)合軌跡數(shù)據(jù)的分布特點(diǎn)和軌跡數(shù)據(jù)的時間屬性合理設(shè)置了分區(qū)的粒度和分區(qū)的大小。實驗部分驗證了預(yù)分區(qū)方法對存儲模塊性能的提高。其次,本文針對軌跡數(shù)據(jù)處理中常用的兩種查詢,精確查詢和時空范圍查詢在存儲模塊進(jìn)行了實現(xiàn)。通常的數(shù)據(jù)存儲模塊都帶有查詢... 

【文章來源】：大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀與分析
        1.2.1 軌跡數(shù)據(jù)的處理和分析
        1.2.2 大數(shù)據(jù)流式處理
        1.2.3 軌跡數(shù)據(jù)的存儲和查詢
    1.3 論文主要工作
    1.4 論文組織架構(gòu)
2 背景知識和相關(guān)技術(shù)分析
    2.1 Hadoop大數(shù)據(jù)處理框架
        2.1.1 Hadoop簡介
        2.1.2 MapReduce簡介
    2.2 Kafka消息隊列
    2.3 HBase數(shù)據(jù)庫
        2.3.1 HBase數(shù)據(jù)模型
        2.3.2 HBase的架構(gòu)與原理
    2.4 Zookeeper介紹
    2.5 Spark計算框架
        2.5.1 Spark介紹
        2.5.2 Spark Streaming流式計算
    2.6 本章小結(jié)
3 軌跡數(shù)據(jù)處理系統(tǒng)設(shè)計與實現(xiàn)
    3.1 系統(tǒng)整體架構(gòu)
    3.2 系統(tǒng)詳細(xì)設(shè)計
    3.3 數(shù)據(jù)收集模塊的設(shè)計
    3.4 數(shù)據(jù)匯總模塊的設(shè)計
    3.5 數(shù)據(jù)處理模塊
        3.5.1 數(shù)據(jù)實時處理模塊
        3.5.2 數(shù)據(jù)離線處理模塊
    3.6 數(shù)據(jù)存儲模塊的設(shè)計
        3.6.1 數(shù)據(jù)表結(jié)構(gòu)及行鍵設(shè)計
        3.6.2 基于時間域的預(yù)分區(qū)策略
    3.7 本章小結(jié)
4 軌跡數(shù)據(jù)查詢方案設(shè)計
    4.1 精確查詢
        4.1.1 相關(guān)概念
        4.1.2 HBase的檢索機(jī)制
        4.1.3 GeoHash編碼與行鍵設(shè)計
        4.1.4 軌跡數(shù)據(jù)存儲模型與緩存機(jī)制
    4.2 時空范圍查詢
        4.2.1 復(fù)合行鍵
        4.2.2 自定義Filter
        4.2.3 分層索引結(jié)構(gòu)
    4.3 本章小結(jié)
5 實驗驗證與性能測試
    5.1 實驗環(huán)境
    5.2 數(shù)據(jù)集
    5.3 預(yù)分區(qū)性能測試
    5.4 精確查詢實驗分析
    5.5 時空查詢實驗分析
        5.5.1 實驗參數(shù)設(shè)置
        5.5.2 空間查詢分析
        5.5.3 時間查詢分析
        5.5.4 時空查詢分析
    5.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝


【參考文獻(xiàn)】：
期刊論文
[1]軌跡大數(shù)據(jù):數(shù)據(jù)處理關(guān)鍵技術(shù)研究綜述[J]. 高強(qiáng),張鳳荔,王瑞錦,周帆.  軟件學(xué)報. 2017(04)
[2]大數(shù)據(jù)研究綜述[J]. 涂新莉,劉波,林偉偉.  計算機(jī)應(yīng)用研究. 2014(06)



本文編號：3507369