隨著時態(tài)地理信息系統(tǒng)的發(fā)展和智能移動設備的普及,全球每時每刻都在產生海量地理空間數(shù)據(jù)。大量有價值的知識和潛在的規(guī)律信息被蘊藏在數(shù)據(jù)中,這些數(shù)據(jù)的價值會隨著時間的流逝而減少。因此,對時刻產生的地理空間數(shù)據(jù)進行實時處理與應用顯得格外重要。地理空間數(shù)據(jù)的傳統(tǒng)處理方式是將文件或數(shù)據(jù)庫中存儲的數(shù)據(jù)一次性加載到內存中,對這些數(shù)據(jù)進行處理后將得到的結果反饋給用戶。該方式存在很多弊端,首先流數(shù)據(jù)是不間斷產生的,并且具有無限的特性,而傳統(tǒng)分析方法需要將所有數(shù)據(jù)都加載到內存中再進行后續(xù)分析,在數(shù)據(jù)量過大同時內存限制的環(huán)境下,傳統(tǒng)分析方法就會失效;其次,傳統(tǒng)處理方式在處理流數(shù)據(jù)時,通常會對數(shù)據(jù)進行循環(huán)掃描處理,而在處理流數(shù)據(jù)過程中,分析方法通常只能單遍掃描,即每個數(shù)據(jù)只會被處理一次。流數(shù)據(jù)處理方式是在數(shù)據(jù)流到來時及時處理并將結果反饋給用戶。針對上述問題,本文基于Spark Streaming和HBase等核心技術設計實現(xiàn)了地理空間實時流數(shù)據(jù)壓縮與查詢技術方案。該技術實現(xiàn)了對地理空間數(shù)據(jù)進行實時壓縮、存儲管理與連續(xù)查詢等功能,具有高效壓縮、實時查詢等優(yōu)點。本文的主要工作如下:(1)針對地理空間實時流數(shù)據(jù)實時性...

【文章頁數(shù)】：85 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 研究背景及意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 實時流數(shù)據(jù)處理技術的研究現(xiàn)狀
        1.2.2 軌跡壓縮方法的研究現(xiàn)狀
        1.2.3 移動對象連續(xù)查詢研究現(xiàn)狀
    1.3 研究內容與主要工作
    1.4 論文組織結構
第二章 技術背景介紹
    2.1 Spark分布式計算框架
        2.1.1 RDD彈性伸縮分布式數(shù)據(jù)集
        2.1.2 Spark集群模型
        2.1.3 Spark任務調度
    2.2 Kafka消息中間件
        2.2.1 Kafka技術的核心概念
        2.2.2 Kafka的架構和交互流程
    2.3 地理空間數(shù)據(jù)處理與應用技術
        2.3.1 地理空間數(shù)據(jù)壓縮技術
        2.3.2 地理空間數(shù)據(jù)存儲技術
        2.3.3 地理空間數(shù)據(jù)查詢技術
    2.4 本章小結
第三章 系統(tǒng)總體架構與設計
    3.1 總體架構設計
    3.2 地理空間實時流數(shù)據(jù)壓縮層設計
        3.2.1 地理空間實時流數(shù)據(jù)導入模型
        3.2.2 地理空間實時流數(shù)據(jù)壓縮模型
    3.3 地理空間實時流數(shù)據(jù)存儲層設計
        3.3.1 地理空間實時流數(shù)據(jù)的存儲模型
        3.3.2 地理空間實時流數(shù)據(jù)的索引模型
    3.4 地理空間實時流數(shù)據(jù)查詢層設計
        3.4.1 連續(xù)k近鄰查詢
        3.4.2 連續(xù)范圍查詢
    3.5 本章小結
第四章 地理空間實時流數(shù)據(jù)壓縮關鍵技術研究
    4.1 Douglas-Peucker算法
    4.2 BOPW算法
    4.3 T-CE算法設計與實現(xiàn)
    4.4 地理空間實時流數(shù)據(jù)壓縮技術實現(xiàn)
    4.5 實驗與分析
        4.5.1 實驗環(huán)境說明
        4.5.2 壓縮率與運行時間的實驗
        4.5.3 軌跡點數(shù)量與運行時間的實驗
        4.5.4 軌跡壓縮誤差實驗
    4.6 本章小結
第五章 地理空間實時流數(shù)據(jù)查詢關鍵技術研究
    5.1 四叉樹索引更新的實現(xiàn)
    5.2 基于四叉樹索引的概念分區(qū)
    5.3 連續(xù)k近鄰查詢的設計與實現(xiàn)
        5.3.1 kNN計算模塊
        5.3.2 處理單個對象更新
        5.3.3 處理多個對象更新
    5.4 連續(xù)范圍查詢的設計與實現(xiàn)
        5.4.1 連續(xù)范圍查詢研究
        5.4.2 處理對象更新
    5.5 地理空間實時流數(shù)據(jù)查詢技術實現(xiàn)
    5.6 實驗與分析
        5.6.1 連續(xù)k近鄰查詢實驗
        5.6.2 連續(xù)范圍查詢實驗
    5.7 本章小結
第六章 總結與展望
    6.1 工作總結
    6.2 研究展望
參考文獻
致謝
作者簡介



本文編號：3860254