針對當(dāng)前單機(jī)環(huán)境下海量矢量數(shù)據(jù)疊置分析效率低的問題,提出了云環(huán)境下海量矢量數(shù)據(jù)并行疊置分析方法;設(shè)計(jì)了海量矢量數(shù)據(jù)在云環(huán)境下的存儲模型GeoWKT;基于該模型研究了云環(huán)境下海量矢量數(shù)據(jù)并行劃分方法,有效避免了云環(huán)境下并行疊置計(jì)算中負(fù)載不均引起的計(jì)算效率低的問題,為數(shù)據(jù)密集與計(jì)算密集型并行疊置計(jì)算提供了新的嘗試。實(shí)驗(yàn)結(jié)果表明,相較于傳統(tǒng)的單機(jī)GIS軟件,該方法在保證計(jì)算結(jié)果正確性的同時,顯著提高了疊置分析的計(jì)算效率,證明了本文提出的基于云環(huán)境下海量矢量數(shù)據(jù)并行疊置分析方法的正確性和有效性。 

【文章來源】：測繪科學(xué). 2020年07期 北大核心

【文章頁數(shù)】：8 頁

【部分圖文】：

數(shù)據(jù)劃分基本流程圖

圖1 數(shù)據(jù)劃分基本流程圖圖2中,白色格網(wǎng)表示未進(jìn)行過數(shù)據(jù)分發(fā)的格網(wǎng),灰色格網(wǎng)表示已進(jìn)行過數(shù)據(jù)分發(fā)的格網(wǎng)。該策略通過多次執(zhí)行數(shù)據(jù)分發(fā)過程來動態(tài)調(diào)節(jié)各節(jié)點(diǎn)的數(shù)據(jù)量,以使各節(jié)點(diǎn)之間的數(shù)據(jù)負(fù)載均衡。根據(jù)Hilbert編碼值大小對其進(jìn)行排序,從小到大依次遍歷所有格網(wǎng),并統(tǒng)計(jì)每個格網(wǎng)中的數(shù)據(jù)量,標(biāo)記為gi_c。為了均衡每個計(jì)算節(jié)點(diǎn)的數(shù)據(jù)量,需要對計(jì)算節(jié)點(diǎn)的數(shù)據(jù)量設(shè)定一個閥值,閥值的計(jì)算方法如式(1)所示。

圖4展示了冗余存儲策略中避免重復(fù)計(jì)算的示例,其中MA為主動圖層中空間要素A的MBR。根據(jù)冗余存儲策略,MA被重復(fù)映射至格網(wǎng)4、5、6、7、8、9、10、11中,MB為被動圖層中空間要素B的MBR,MB被重復(fù)映射至格網(wǎng)2、7、8、11、12、13中,在進(jìn)行疊置求交時,若不進(jìn)行重復(fù)計(jì)算問題的處理,那么將會在格網(wǎng)7、8、11中分別進(jìn)行重復(fù)計(jì)算,并在這些格網(wǎng)中輸出相同結(jié)果,這將降低系統(tǒng)的并行效率。根據(jù)避免重復(fù)計(jì)算策略,只對MA與MB相交的左下角頂點(diǎn)P所在的格網(wǎng)7進(jìn)行計(jì)算,并輸出相交結(jié)果C。顯然該策略很好地避免了重復(fù)計(jì)算帶來的時間開銷,對于并行系統(tǒng)的效率提升具有一定意義。2.3 局部索引的建立

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)時代的地理國情統(tǒng)計(jì)分析[J]. 劉紀(jì)平,董春,亢曉琛,邱士可,趙榮,栗斌,孫立堅(jiān).  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2019(01)
[2]面向空間關(guān)系復(fù)合的矢量多邊形圖形拓?fù)浏B置分析算法[J]. 謝順平,葉罕霖.  計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2018(09)
[3]Spark框架下矢量多邊形求交算法研究[J]. 姚曉,邱強(qiáng),肖茁建,方金云,崔紹龍.  高技術(shù)通訊. 2018(06)
[4]科學(xué)大數(shù)據(jù)管理:概念、技術(shù)與系統(tǒng)[J]. 黎建輝,沈志宏,孟小峰.  計(jì)算機(jī)研究與發(fā)展. 2017(02)
[5]陸地觀測衛(wèi)星數(shù)據(jù)中心:大數(shù)據(jù)挑戰(zhàn)及一種解決方案[J]. 徐文,邵俊,喻文勇,馮鵬.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2017(01)
[6]一種處理交點(diǎn)退化現(xiàn)象的高效多邊形裁剪算法[J]. 王慧青,崇素文.  東南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(04)
[7]一種大規(guī)�？臻g數(shù)據(jù)流式并行處理方法研究[J]. 劉紀(jì)平,吳立新,董春,張福浩,亢曉琛.  測繪科學(xué). 2016(01)
[8]云環(huán)境下的時空數(shù)據(jù)小文件存儲策略[J]. 熊煉,徐正全,王濤,顧鑫.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(10)
[9]大數(shù)據(jù)時代的空間分析[J]. 張曉祥.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(06)
[10]基于非均勻多級網(wǎng)格索引的矢量地圖疊加分析算法[J]. 王少華,鐘耳順,盧浩,張小虎,張珣.  地理與地理信息科學(xué). 2013(03)

碩士論文
[1]基于MapReduce的簡單要素模型并行疊置分析方法研究[D]. 江洋.南京師范大學(xué) 2016



本文編號：2934440