城市時空熱點指城市居民來往次數(shù)多、交通流量大的時空區(qū)域。確定城市時空熱點在城市基礎(chǔ)設(shè)施建設(shè)、交通規(guī)劃、商鋪選址、打擊犯罪等公共服務(wù)領(lǐng)域有大量的應(yīng)用。目前的熱點檢測通常是在收集到的全部出租車軌跡上,采用Getis-Ord G_i^*統(tǒng)計方法,把軌跡按照時空立方單元劃分,計算所有軌跡數(shù)據(jù)覆蓋下的熱點單元,作為城市時空熱點。隨著實際應(yīng)用的擴(kuò)展,人們對于城市時空熱點檢測有了更高的要求,希望根據(jù)需求定制城市時空熱點檢測。不同需求的熱點檢測使用不同的數(shù)據(jù),但是現(xiàn)有的熱點檢測方法是使用海量歷史數(shù)據(jù)進(jìn)行一次性計算,占用內(nèi)存大,計算時間長。這樣得到的熱點往往不能滿足眾多的實際需要,當(dāng)軌跡數(shù)據(jù)更新或進(jìn)行不同需求的熱點檢測時,需要重新計算熱點。由于積累的軌跡數(shù)量龐大和計算復(fù)雜,現(xiàn)有檢測算法的優(yōu)化重點放在了如何應(yīng)對海量的數(shù)據(jù)上,從目前已知的文獻(xiàn)中沒有發(fā)現(xiàn)專門針對不同需求進(jìn)行城市時空熱點檢測的方法。針對上述問題,本文研究參數(shù)化的“城市時空熱點查詢”,設(shè)置五類符合實際需求的查詢參數(shù)（地理范圍、日期范圍、熱點粒度、時間組織方式和熱點數(shù)目）,通過適當(dāng)?shù)臄?shù)據(jù)組織,滿足多參數(shù)查詢,... 

【文章來源】：太原理工大學(xué)山西省 211工程院校

【文章頁數(shù)】：67 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 本文研究的背景與意義
    1.2 相關(guān)研究現(xiàn)狀
    1.3 本文的主要研究內(nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)工作綜述
    2.1 基于Gi*統(tǒng)計量的城市時空熱點檢測方法綜述
        2.1.1 基于Gi*統(tǒng)計量的城市時空熱點檢測方法詳述
        2.1.2 用Spark分布式計算城市時空熱點算法詳述
    2.2 大數(shù)據(jù)技術(shù)框架介紹
        2.2.1 Hadoop組件
        2.2.2 Spark計算框架
    2.3 Hadoop DFS上的索引技術(shù)
第三章 城市時空熱點查詢
    3.1 城市時空熱點查詢定義
    3.2 軌跡數(shù)據(jù)的組織
        3.2.1 組織軌跡數(shù)據(jù)的思路
        3.2.2 數(shù)據(jù)組織
        3.2.3 數(shù)據(jù)訪問
    3.3 查詢過程
第四章 查詢優(yōu)化
    4.1 檢測算法的優(yōu)化技術(shù)
        4.1.1 二次job解決數(shù)據(jù)傾斜
        4.1.2 RDD元素重構(gòu)優(yōu)化shuffle階段
        4.1.3 Java層面上的優(yōu)化技術(shù)
    4.2 采樣過濾優(yōu)化策略
        4.2.1 采樣過濾優(yōu)化策略的思路
        4.2.2 優(yōu)化策略
第五章 實驗分析
    5.1 實驗環(huán)境與數(shù)據(jù)
    5.2 城市時空熱點檢測算法優(yōu)化效率分析
        5.2.1 緩解數(shù)據(jù)傾斜
        5.2.2 優(yōu)化shuffle
        5.2.3 技術(shù)細(xì)節(jié)優(yōu)化
    5.3 城市時空熱點查詢效率分析
        5.3.1 不同數(shù)據(jù)量的城市時空熱點查詢響應(yīng)時間
        5.3.2 針對不同參數(shù)的查詢
    5.4 采樣過濾策略實驗分析
        5.4.1 采樣參數(shù)確定
        5.4.2 采樣效率分析
    5.5 小結(jié)
第六章 總結(jié)與展望
    6.1 本文工作總結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝
攻讀碩士學(xué)位期間發(fā)表的論文


【參考文獻(xiàn)】：
期刊論文
[1]CSPRJ:基于數(shù)據(jù)傾斜的MapReduce連接查詢算法[J]. 周婭,魏夏飛,熊晗,胡彩林,李玲.  小型微型計算機系統(tǒng). 2018(02)
[2]基于出租車軌跡數(shù)據(jù)的城市熱點出行區(qū)域挖掘[J]. 鄭林江,趙欣,蔣朝輝,鄧建國,夏冬,劉衛(wèi)寧.  計算機應(yīng)用與軟件. 2018(01)
[3]基于增量式分區(qū)策略的MapReduce數(shù)據(jù)均衡方法[J]. 王卓,陳群,李戰(zhàn)懷,潘巍,尤立.  計算機學(xué)報. 2016(01)
[4]五種快速序列化框架的性能比較[J]. 史棟杰.  電腦知識與技術(shù). 2010(34)

博士論文
[1]基于軌跡聚類的城市熱點區(qū)域提取與分析方法研究[D]. 趙鵬祥.武漢大學(xué) 2015

碩士論文
[1]Hadoop YARN資源分配機制的研究與改進(jìn)[D]. 陳袁春.華中科技大學(xué) 2017
[2]基于DBSCAN聚類算法的研究與應(yīng)用[D]. 馮振華.江南大學(xué) 2016
[3]基于出租車軌跡的居民出行熱點路徑和區(qū)域挖掘[D]. 馮琦森.重慶大學(xué) 2016
[4]基于Hadoop的商品推薦系統(tǒng)研究與應(yīng)用[D]. 李黎明.湖南大學(xué) 2016



本文編號：3011290