隨著時態(tài)地理信息系統(tǒng)的發(fā)展和智能移動設(shè)備的普及,全球每時每刻都在產(chǎn)生海量地理空間數(shù)據(jù)。大量有價值的知識和潛在的規(guī)律信息被蘊藏在數(shù)據(jù)中,這些數(shù)據(jù)的價值會隨著時間的流逝而減少。因此,對時刻產(chǎn)生的地理空間數(shù)據(jù)進行實時處理與應(yīng)用顯得格外重要。地理空間數(shù)據(jù)的傳統(tǒng)處理方式是將文件或數(shù)據(jù)庫中存儲的數(shù)據(jù)一次性加載到內(nèi)存中,對這些數(shù)據(jù)進行處理后將得到的結(jié)果反饋給用戶。該方式存在很多弊端,首先流數(shù)據(jù)是不間斷產(chǎn)生的,并且具有無限的特性,而傳統(tǒng)分析方法需要將所有數(shù)據(jù)都加載到內(nèi)存中再進行后續(xù)分析,在數(shù)據(jù)量過大同時內(nèi)存限制的環(huán)境下,傳統(tǒng)分析方法就會失效;其次,傳統(tǒng)處理方式在處理流數(shù)據(jù)時,通常會對數(shù)據(jù)進行循環(huán)掃描處理,而在處理流數(shù)據(jù)過程中,分析方法通常只能單遍掃描,即每個數(shù)據(jù)只會被處理一次。流數(shù)據(jù)處理方式是在數(shù)據(jù)流到來時及時處理并將結(jié)果反饋給用戶。針對上述問題,本文基于Spark Streaming和HBase等核心技術(shù)設(shè)計實現(xiàn)了地理空間實時流數(shù)據(jù)壓縮與查詢技術(shù)方案。該技術(shù)實現(xiàn)了對地理空間數(shù)據(jù)進行實時壓縮、存儲管理與連續(xù)查詢等功能,具有高效壓縮、實時查詢等優(yōu)點。本文的主要工作如下:(1)針對地理空間實時流數(shù)據(jù)實時性...

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 實時流數(shù)據(jù)處理技術(shù)的研究現(xiàn)狀
        1.2.2 軌跡壓縮方法的研究現(xiàn)狀
        1.2.3 移動對象連續(xù)查詢研究現(xiàn)狀
    1.3 研究內(nèi)容與主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 技術(shù)背景介紹
    2.1 Spark分布式計算框架
        2.1.1 RDD彈性伸縮分布式數(shù)據(jù)集
        2.1.2 Spark集群模型
        2.1.3 Spark任務(wù)調(diào)度
    2.2 Kafka消息中間件
        2.2.1 Kafka技術(shù)的核心概念
        2.2.2 Kafka的架構(gòu)和交互流程
    2.3 地理空間數(shù)據(jù)處理與應(yīng)用技術(shù)
        2.3.1 地理空間數(shù)據(jù)壓縮技術(shù)
        2.3.2 地理空間數(shù)據(jù)存儲技術(shù)
        2.3.3 地理空間數(shù)據(jù)查詢技術(shù)
    2.4 本章小結(jié)
第三章 系統(tǒng)總體架構(gòu)與設(shè)計
    3.1 總體架構(gòu)設(shè)計
    3.2 地理空間實時流數(shù)據(jù)壓縮層設(shè)計
        3.2.1 地理空間實時流數(shù)據(jù)導(dǎo)入模型
        3.2.2 地理空間實時流數(shù)據(jù)壓縮模型
    3.3 地理空間實時流數(shù)據(jù)存儲層設(shè)計
        3.3.1 地理空間實時流數(shù)據(jù)的存儲模型
        3.3.2 地理空間實時流數(shù)據(jù)的索引模型
    3.4 地理空間實時流數(shù)據(jù)查詢層設(shè)計
        3.4.1 連續(xù)k近鄰查詢
        3.4.2 連續(xù)范圍查詢
    3.5 本章小結(jié)
第四章 地理空間實時流數(shù)據(jù)壓縮關(guān)鍵技術(shù)研究
    4.1 Douglas-Peucker算法
    4.2 BOPW算法
    4.3 T-CE算法設(shè)計與實現(xiàn)
    4.4 地理空間實時流數(shù)據(jù)壓縮技術(shù)實現(xiàn)
    4.5 實驗與分析
        4.5.1 實驗環(huán)境說明
        4.5.2 壓縮率與運行時間的實驗
        4.5.3 軌跡點數(shù)量與運行時間的實驗
        4.5.4 軌跡壓縮誤差實驗
    4.6 本章小結(jié)
第五章 地理空間實時流數(shù)據(jù)查詢關(guān)鍵技術(shù)研究
    5.1 四叉樹索引更新的實現(xiàn)
    5.2 基于四叉樹索引的概念分區(qū)
    5.3 連續(xù)k近鄰查詢的設(shè)計與實現(xiàn)
        5.3.1 kNN計算模塊
        5.3.2 處理單個對象更新
        5.3.3 處理多個對象更新
    5.4 連續(xù)范圍查詢的設(shè)計與實現(xiàn)
        5.4.1 連續(xù)范圍查詢研究
        5.4.2 處理對象更新
    5.5 地理空間實時流數(shù)據(jù)查詢技術(shù)實現(xiàn)
    5.6 實驗與分析
        5.6.1 連續(xù)k近鄰查詢實驗
        5.6.2 連續(xù)范圍查詢實驗
    5.7 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 研究展望
參考文獻
致謝
作者簡介



本文編號：3860254