城市時空熱點指城市居民來往次數多、交通流量大的時空區(qū)域。確定城市時空熱點在城市基礎設施建設、交通規(guī)劃、商鋪選址、打擊犯罪等公共服務領域有大量的應用。目前的熱點檢測通常是在收集到的全部出租車軌跡上,采用Getis-Ord G_i^*統(tǒng)計方法,把軌跡按照時空立方單元劃分,計算所有軌跡數據覆蓋下的熱點單元,作為城市時空熱點。隨著實際應用的擴展,人們對于城市時空熱點檢測有了更高的要求,希望根據需求定制城市時空熱點檢測。不同需求的熱點檢測使用不同的數據,但是現(xiàn)有的熱點檢測方法是使用海量歷史數據進行一次性計算,占用內存大,計算時間長。這樣得到的熱點往往不能滿足眾多的實際需要,當軌跡數據更新或進行不同需求的熱點檢測時,需要重新計算熱點。由于積累的軌跡數量龐大和計算復雜,現(xiàn)有檢測算法的優(yōu)化重點放在了如何應對海量的數據上,從目前已知的文獻中沒有發(fā)現(xiàn)專門針對不同需求進行城市時空熱點檢測的方法。針對上述問題,本文研究參數化的“城市時空熱點查詢”,設置五類符合實際需求的查詢參數（地理范圍、日期范圍、熱點粒度、時間組織方式和熱點數目）,通過適當的數據組織,滿足多參數查詢,... 

【文章來源】：太原理工大學山西省 211工程院校

【文章頁數】：67 頁

【學位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 本文研究的背景與意義
    1.2 相關研究現(xiàn)狀
    1.3 本文的主要研究內容
    1.4 論文組織結構
    1.5 本章小結
第二章 相關工作綜述
    2.1 基于Gi*統(tǒng)計量的城市時空熱點檢測方法綜述
        2.1.1 基于Gi*統(tǒng)計量的城市時空熱點檢測方法詳述
        2.1.2 用Spark分布式計算城市時空熱點算法詳述
    2.2 大數據技術框架介紹
        2.2.1 Hadoop組件
        2.2.2 Spark計算框架
    2.3 Hadoop DFS上的索引技術
第三章 城市時空熱點查詢
    3.1 城市時空熱點查詢定義
    3.2 軌跡數據的組織
        3.2.1 組織軌跡數據的思路
        3.2.2 數據組織
        3.2.3 數據訪問
    3.3 查詢過程
第四章 查詢優(yōu)化
    4.1 檢測算法的優(yōu)化技術
        4.1.1 二次job解決數據傾斜
        4.1.2 RDD元素重構優(yōu)化shuffle階段
        4.1.3 Java層面上的優(yōu)化技術
    4.2 采樣過濾優(yōu)化策略
        4.2.1 采樣過濾優(yōu)化策略的思路
        4.2.2 優(yōu)化策略
第五章 實驗分析
    5.1 實驗環(huán)境與數據
    5.2 城市時空熱點檢測算法優(yōu)化效率分析
        5.2.1 緩解數據傾斜
        5.2.2 優(yōu)化shuffle
        5.2.3 技術細節(jié)優(yōu)化
    5.3 城市時空熱點查詢效率分析
        5.3.1 不同數據量的城市時空熱點查詢響應時間
        5.3.2 針對不同參數的查詢
    5.4 采樣過濾策略實驗分析
        5.4.1 采樣參數確定
        5.4.2 采樣效率分析
    5.5 小結
第六章 總結與展望
    6.1 本文工作總結
    6.2 工作展望
參考文獻
致謝
攻讀碩士學位期間發(fā)表的論文


【參考文獻】：
期刊論文
[1]CSPRJ:基于數據傾斜的MapReduce連接查詢算法[J]. 周婭,魏夏飛,熊晗,胡彩林,李玲.  小型微型計算機系統(tǒng). 2018(02)
[2]基于出租車軌跡數據的城市熱點出行區(qū)域挖掘[J]. 鄭林江,趙欣,蔣朝輝,鄧建國,夏冬,劉衛(wèi)寧.  計算機應用與軟件. 2018(01)
[3]基于增量式分區(qū)策略的MapReduce數據均衡方法[J]. 王卓,陳群,李戰(zhàn)懷,潘巍,尤立.  計算機學報. 2016(01)
[4]五種快速序列化框架的性能比較[J]. 史棟杰.  電腦知識與技術. 2010(34)

博士論文
[1]基于軌跡聚類的城市熱點區(qū)域提取與分析方法研究[D]. 趙鵬祥.武漢大學 2015

碩士論文
[1]Hadoop YARN資源分配機制的研究與改進[D]. 陳袁春.華中科技大學 2017
[2]基于DBSCAN聚類算法的研究與應用[D]. 馮振華.江南大學 2016
[3]基于出租車軌跡的居民出行熱點路徑和區(qū)域挖掘[D]. 馮琦森.重慶大學 2016
[4]基于Hadoop的商品推薦系統(tǒng)研究與應用[D]. 李黎明.湖南大學 2016



本文編號：3011290