各行業(yè)信息化的發(fā)展,催生了數(shù)據(jù)爆發(fā)式的增長;移動(dòng)設(shè)備的迅速普及,加速了時(shí)空數(shù)據(jù)的產(chǎn)生;硬件水平以及數(shù)據(jù)挖掘等方面的進(jìn)步提升了分析時(shí)空數(shù)據(jù)的能力,這些都要求有更加高效的針對大規(guī)模的時(shí)空數(shù)據(jù)存儲(chǔ)與查詢方式。傳統(tǒng)關(guān)系型數(shù)據(jù)庫,其在水平擴(kuò)展方面存在天然劣勢,并不適合于大規(guī)模的數(shù)據(jù)存儲(chǔ);分布式系統(tǒng)利用整個(gè)集群的計(jì)算、存儲(chǔ)能力,可以更好地處理、存儲(chǔ)大規(guī)模數(shù)據(jù),例如現(xiàn)有的Hadoop、HBase等,具有處理、存儲(chǔ)大規(guī)模數(shù)據(jù)的能力,但并沒有提供對時(shí)空數(shù)據(jù)的存儲(chǔ)與管理的直接支持。針對上述問題,本文研究了現(xiàn)有時(shí)空數(shù)據(jù)存儲(chǔ)的相關(guān)內(nèi)容,設(shè)計(jì)了LPST-Hash,并基于HBase實(shí)現(xiàn)了時(shí)空數(shù)據(jù)存儲(chǔ)與查詢的原型系統(tǒng),該原型系統(tǒng)實(shí)現(xiàn)了時(shí)空數(shù)據(jù)的近實(shí)時(shí)插入、批量數(shù)據(jù)導(dǎo)入、范圍查詢與kNN查詢等功能,具有近實(shí)時(shí)、效率高等特點(diǎn)。本文主要工作內(nèi)容如下:(1)本文研究了現(xiàn)有的時(shí)空數(shù)據(jù)存儲(chǔ)方案,根據(jù)時(shí)空數(shù)據(jù)的特點(diǎn),將時(shí)空數(shù)據(jù)在時(shí)間維度進(jìn)行層級劃分(Level),不同類型的層級對應(yīng)時(shí)間維度不同的劃分粒度,來加速時(shí)空數(shù)據(jù)的查詢。(2)本文研究并分析了現(xiàn)有空間填充曲線(space filling curve)的特點(diǎn),敘述了存在的問題...

【文章頁數(shù)】：89 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
縮略語對照表
第一章 緒論
    1.1 論文背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 HBase的應(yīng)用現(xiàn)狀
        1.2.2 時(shí)空數(shù)據(jù)管理研究現(xiàn)狀
    1.3 論文研究內(nèi)容
    1.4 論文章節(jié)安排
第二章 相關(guān)技術(shù)概述
    2.1 HBase概述
        2.1.1 HBase模型與架構(gòu)
        2.1.2 Region
        2.1.3 協(xié)處理器
    2.2 時(shí)空數(shù)據(jù)及索引相關(guān)知識(shí)概述
        2.2.1 時(shí)空數(shù)據(jù)
        2.2.2 相關(guān)索引
        2.2.3 時(shí)空查詢
    2.3 本章小結(jié)
第三章 時(shí)空索引的研究與設(shè)計(jì)
    3.1 ST-Hash的問題與改進(jìn)
        3.1.1 ST-Hash的問題描述
        3.1.2 ST-Hash的改進(jìn)方案
    3.2 系統(tǒng)架構(gòu)設(shè)計(jì)
    3.3 索引結(jié)構(gòu)
        3.3.1 索引的組織結(jié)構(gòu)
        3.3.2 分區(qū)的分裂
    3.4 表模式設(shè)計(jì)
        3.4.1 行鍵設(shè)計(jì)
        3.4.2 列簇設(shè)計(jì)
    3.5 本章小結(jié)
第四章 時(shí)空索引及查詢的系統(tǒng)實(shí)現(xiàn)
    4.1 整體框架
    4.2 索引的實(shí)現(xiàn)細(xì)節(jié)
        4.2.1 索引的序列化
        4.2.2 Region分裂
        4.2.3 分區(qū)分裂
        4.2.4 索引重建
        4.2.5 索引增量更新
        4.2.6 Region移動(dòng)
    4.3 時(shí)空數(shù)據(jù)錄入
        4.3.1 HBase Put
        4.3.2 HBase Bulk Load
    4.4 查詢的實(shí)現(xiàn)
        4.4.1 范圍查詢
        4.4.2 kNN查詢
    4.5 本章小結(jié)
第五章 實(shí)驗(yàn)與分析
    5.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)
        5.1.1 實(shí)驗(yàn)環(huán)境
        5.1.2 實(shí)驗(yàn)數(shù)據(jù)
    5.2 分區(qū)閾值的確定
    5.3 數(shù)據(jù)錄入實(shí)驗(yàn)
    5.4 范圍查詢實(shí)驗(yàn)
    5.5 K鄰近查詢實(shí)驗(yàn)
第六章 總結(jié)展望
參考文獻(xiàn)
致謝
作者簡介



本文編號(hào)：3820584