隨著空間信息服務(wù)逐漸向時(shí)空大數(shù)據(jù)服務(wù)轉(zhuǎn)變,時(shí)空數(shù)據(jù)質(zhì)量及時(shí)效性得到保障,時(shí)空大數(shù)據(jù)的高效查詢與挖掘分析為復(fù)雜場景提供決策響應(yīng)支持。當(dāng)前時(shí)空數(shù)據(jù)管理方法結(jié)合大數(shù)據(jù)框架初步解決了數(shù)據(jù)規(guī)模問題,但整體研究尚未充分考慮擴(kuò)展數(shù)據(jù)庫存儲模式、索引方式單一且通用性不強(qiáng)。本研究結(jié)合分布式存儲技術(shù)與多維時(shí)空混合索引方法,旨在建立高效可擴(kuò)的時(shí)空數(shù)據(jù)高效存儲與時(shí)空索引優(yōu)化方法,在此基礎(chǔ)上構(gòu)建高效存取的綜合方案,支撐時(shí)空數(shù)據(jù)相關(guān)應(yīng)用。研究具體如下:(1)在分布式計(jì)算相關(guān)技術(shù)架構(gòu)和數(shù)據(jù)存儲特性基礎(chǔ)上,分析時(shí)空數(shù)據(jù)特點(diǎn)及其在分布式環(huán)境下實(shí)現(xiàn)高效存儲與并行處理技術(shù)的關(guān)鍵問題。構(gòu)建基于HBase的分布式時(shí)空數(shù)據(jù)存儲組織模型,降低時(shí)空數(shù)據(jù)結(jié)構(gòu)與索引之間的耦合,結(jié)合數(shù)據(jù)分布特征與分層分塊的邏輯組織,設(shè)計(jì)一種多表、多索引混合管理的數(shù)據(jù)存儲模式,為時(shí)空數(shù)據(jù)的高效查詢提供高可用的數(shù)據(jù)存儲結(jié)構(gòu)基礎(chǔ)。(2)基于大數(shù)據(jù)技術(shù)架構(gòu)特點(diǎn),結(jié)合時(shí)空數(shù)據(jù)整體的時(shí)空聚集性、全時(shí)態(tài)等特點(diǎn),分析了時(shí)空索引基于多維空間索引設(shè)計(jì)的可行性。本文基于S2-Geometry算法在地理空間的編碼與運(yùn)算能力,構(gòu)建通用化層次格網(wǎng)管理時(shí)空對象,引入CompactHi...

【文章頁數(shù)】：96 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．２?Ｓｐａｒｋ任務(wù)運(yùn)行流程圖（懷特，２０１７）??當(dāng)Ｓｐａｒｋ運(yùn)行一個(gè)計(jì)算任務(wù)，整體任務(wù)核心的運(yùn)行層次如圖２．２所示

?／??圖２．２?Ｓｐａｒｋ任務(wù)運(yùn)行流程圖（懷特，２０１７）??當(dāng)Ｓｐａｒｋ運(yùn)行一個(gè)計(jì)算任務(wù)，整體任務(wù)核心的運(yùn)行層次如圖２．２所示。其中，??Ｊｏｂ代表運(yùn)行計(jì)算的整體任務(wù)，Ｓｔａｇｅ作為Ｊｏｂ的基本調(diào)度單位，Ｔａｓｋ則是細(xì)分后??的多個(gè)子任務(wù)。??１．

圖２．５協(xié)處理器模式中指令運(yùn)行機(jī)制（Ｇｅｏｒｇｅ?Ｌ，２０１３）??列族數(shù)據(jù)庫由于底層架構(gòu)的分離設(shè)計(jì)，難以直接對表數(shù)據(jù)進(jìn)行初步計(jì)算、統(tǒng)計(jì)??

周期的變化，每個(gè)生命周期狀態(tài)將與鉤子函數(shù)進(jìn)行鏈接，例如ｐｒｅＰｕｔ、ｐｒｅＳｃａｎ等??數(shù)據(jù)庫存取存取操作被框架隱式調(diào)用，客戶端指令操作在協(xié)處理器模式中運(yùn)行機(jī)??制如圖２．５所示。??客戶端?數(shù)據(jù)分區(qū)??Ｓｃａｎ?－｜?協(xié)處理器?１??？?ＰｒｅＳｃａｎＯｐｅｎ?????Ｉ???....

圖２．６分布式時(shí)空數(shù)據(jù)存儲表結(jié)構(gòu)設(shè)計(jì)??按照如圖２．６所示，時(shí)空數(shù)據(jù)的存儲目錄被劃分為元數(shù)據(jù)表、多屬性索引表、??

時(shí)空線、面索引??圖２．６分布式時(shí)空數(shù)據(jù)存儲表結(jié)構(gòu)設(shè)計(jì)??按照如圖２．６所示，時(shí)空數(shù)據(jù)的存儲目錄被劃分為元數(shù)據(jù)表、多屬性索引表、??空間索引表和時(shí)空索引表：元數(shù)據(jù)表存儲了整個(gè)時(shí)空數(shù)據(jù)表目錄的分布結(jié)構(gòu)，記錄??了查詢索引對應(yīng)的表名和部分用戶自定義參數(shù)；屬性索引表針對多維屬性建立合?....

圖２．７時(shí)空數(shù)據(jù)整體存儲架構(gòu)??通過對時(shí)空數(shù)據(jù)存儲結(jié)構(gòu)的設(shè)計(jì)，ＨＢａｓｅ分別為每種索引表進(jìn)行分布式存儲

表示為線性關(guān)系，而檢索記錄行鍵或與時(shí)間呈對數(shù)關(guān)系，這使得系統(tǒng)不會因?yàn)樽x寫??操作性能而影響系統(tǒng)擴(kuò)展能力。??查詢引擎整體架構(gòu)如圖２．８所示，在ＨＢａｓｅ的協(xié)處理器機(jī)制之上，由客戶端??和服務(wù)端兩部分構(gòu)成�？蛻舳朔矫�，通過池化客戶端管理對象，將數(shù)據(jù)庫操作指令??批量傳入服務(wù)端，解決....

本文編號：3977499