發(fā)布時間：2018-01-30 12:00

  本文關(guān)鍵詞： MapReduce Hilbert空間曲線 空間數(shù)據(jù)并行劃分　出處：《測繪通報》2017年11期 　論文類型：期刊論文

【摘要】：針對海量空間數(shù)據(jù)分布式存儲中存在的不顧及空間鄰近性、分布不均和數(shù)據(jù)傾斜的問題,基于MapReduce并行編程模型,對Hilbert空間曲線層次分解的思想和節(jié)點容量感知的方法進行了研究,提出了一種層次分解的空間數(shù)據(jù)并行劃分策略,并通過臨界值判定實現(xiàn)空間數(shù)據(jù)的均衡存儲。最后通過實例分析說明該方法可以在保證空間數(shù)據(jù)鄰近特性的同時,解決海量空間數(shù)據(jù)分布式存儲不均和數(shù)據(jù)傾斜的問題。
[Abstract]:In order to solve the problems of spatial proximity, uneven distribution and skew of data in distributed storage of massive spatial data, a parallel programming model based on MapReduce is proposed. In this paper, the idea of hierarchical decomposition of Hilbert spatial curve and the method of node capacity perception are studied, and a parallel partition strategy of spatial data based on hierarchical decomposition is proposed. Finally, through the analysis of an example, the method can guarantee the proximity of spatial data at the same time. To solve the problem of distributed storage and skew of massive spatial data.
【作者單位】： 濟南市勘察測繪研究院;中國地質(zhì)大學(xué)(武漢)信息工程學(xué)院;北京創(chuàng)時空科技發(fā)展有限公司;廣東省氣象探測數(shù)據(jù)中心;武漢兆圖科技有限公司;
【基金】：國家重點研發(fā)計劃(2016YFB0502603) 湖北省自然科學(xué)基金(ZRY2015001543) 中國地質(zhì)大學(xué)(武漢)中央高�；究蒲袠I(yè)務(wù)費資金(1610491B20)
【分類號】：P208
【正文快照】： 5.武漢兆圖科技有限公司,湖北武漢430070)隨著GIS應(yīng)用的逐步深入和拓展,各行業(yè)對GIS海量空間數(shù)據(jù)的處理能力及效率提出更高要求,分布式GIS及分布式空間數(shù)據(jù)庫應(yīng)運而生[1]。特別是隨著現(xiàn)代測量計算技術(shù)的發(fā)展,空間數(shù)據(jù)呈TB和PB級增長,大規(guī)�？臻g數(shù)據(jù)的分布式處理效率顯得尤為重，

本文編號：1476187