云環(huán)境下海量GIS時空數據存儲方法的研究與實現(xiàn)
發(fā)布時間:2020-06-17 11:55
【摘要】:隨著移動互聯(lián)網、傳感器和大數據技術的發(fā)展,與地理信息有關的時空數據量級爆炸性增長。越來越多的信息數據和應用,都與地理空間和時間有關,海量GIS時空數據的高效存儲和管理變得愈加重要。時空數據本身具有空間屬性和時間屬性,傳統(tǒng)的時空數據模型完全基于關系型數據庫構建,服務性能、數據模式、索引性能受限。云環(huán)境下的NoSQL系統(tǒng)可以處理大規(guī)模數據,但是海量GIS時空數據本身結構復雜且具有一定關聯(lián)性,NoSQL系統(tǒng)提供的索引并未針對時空數據進行優(yōu)化。本文從時空數據建模、讀寫架構和時空索引三個方面,結合海量時空數據的特點,提出一種廣泛適用于NoSQL系統(tǒng)的海量時空數據存儲方案。針對海量GIS時空數據本身結構復雜且具有一定關聯(lián)性等特點,在時空數據建模方面提出了一種適合云環(huán)境存儲、保持時空數據結構和關聯(lián)性的ST-OpenGIS時空數據模型,將時空數據抽象為空間維、時間維和屬性維,表述了空間維、時間維和屬性維信息以及時態(tài)關系、空間拓撲關系。針對傳統(tǒng)GIS面臨著關系型數據庫讀寫效率低、擴展性差、數據模型不靈活、索引效率低的問題,在解決海量GIS時空數據存儲方面提出了一種通用的面向海量GIS時空數據讀寫架構,包括客戶端、NoSQL接口層和NoSQL數據層三部分。針對NoSQL數據庫時空索引能力比較弱的問題,基于MapReduce框架提出了一種改進BZ樹的全局分布式DBZ索引,通過空間Z曲線編碼將時空數據降維,然后結合B+樹索引建立高效的索引,將節(jié)點信息存儲在NoSQL數據庫中,設計了索引的離線處理、在線維護和數據查詢策略,實現(xiàn)了高性能的時空索引。本文在以上基礎上實現(xiàn)了原型系統(tǒng),進行了功能驗證和性能測試,測試結果表明該原型系統(tǒng)優(yōu)于傳統(tǒng)的關系型存儲方案,能夠達到時空數據高效存儲和查詢的目的。
【學位授予單位】:西安電子科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP311.13;P208
【圖文】:
西安電子科技大學碩士學位論文建離線索引后,Accumulo 數據庫中產生的表如圖 5.3,其中前 3 張表是 Ac庫系統(tǒng)自身的系統(tǒng)表。ns 代表命名空間,gdel_record 是源數據表, gdelt_s存適配器信息,gdelt_dbz_inner 和 gdelt_dbz_leaf 分別用于保存 DBZ 索引點和葉子節(jié)點。
西安電子科技大學碩士學位論文線索引后,Accumulo 數據庫中產生的表如圖 5.3,其中前 3 張表是統(tǒng)自身的系統(tǒng)表。ns 代表命名空間,gdel_record 是源數據表, gd配器信息,gdelt_dbz_inner 和 gdelt_dbz_leaf 分別用于保存 DBZ 索葉子節(jié)點。圖5.2 MapReduce 構建離線索引過程
【學位授予單位】:西安電子科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP311.13;P208
【圖文】:
西安電子科技大學碩士學位論文建離線索引后,Accumulo 數據庫中產生的表如圖 5.3,其中前 3 張表是 Ac庫系統(tǒng)自身的系統(tǒng)表。ns 代表命名空間,gdel_record 是源數據表, gdelt_s存適配器信息,gdelt_dbz_inner 和 gdelt_dbz_leaf 分別用于保存 DBZ 索引點和葉子節(jié)點。
西安電子科技大學碩士學位論文線索引后,Accumulo 數據庫中產生的表如圖 5.3,其中前 3 張表是統(tǒng)自身的系統(tǒng)表。ns 代表命名空間,gdel_record 是源數據表, gd配器信息,gdelt_dbz_inner 和 gdelt_dbz_leaf 分別用于保存 DBZ 索葉子節(jié)點。圖5.2 MapReduce 構建離線索引過程
【參考文獻】
相關期刊論文 前10條
1 劉飛;何珍文;鄭新奇;;一種基于事件的雙序列時空數據模型[J];地理與地理信息科學;2015年03期
2 龔健雅;李小龍;吳華意;;實時GIS時空數據模型[J];測繪學報;2014年03期
3 羅建平;鄔群勇;朱莉;;面向對象的全時域移動對象數據模型[J];計算機應用;2013年04期
4 陸納納;李景文;蘇浩;花維慧;;面向對象的基態(tài)修正模型改進及查詢方法[J];測繪科學技術學報;2012年04期
5 卓嵩;黃瑞金;;基于事件的疫情應急時空數據模型[J];測繪科學;2012年06期
6 夏慧瓊;李德仁;鄭春燕;;基于地理事件的時空數據模型及其在土地利用中的應用[J];測繪科學;2011年04期
7 張
本文編號:2717569
本文鏈接:http://sikaile.net/kejilunwen/dizhicehuilunwen/2717569.html
最近更新
教材專著