【摘要】：針對(duì)海量土地利用矢量數(shù)據(jù)空間疊加分析的效率問(wèn)題,提出了基于Spark的土地利用矢量數(shù)據(jù)空間疊加分析方法,通過(guò)彈性分布式數(shù)據(jù)集實(shí)現(xiàn)索引過(guò)濾與疊加計(jì)算,為解決空間疊加分析的瓶頸問(wèn)題做了新的嘗試.實(shí)驗(yàn)結(jié)果表明,相較基于Oracle數(shù)據(jù)管理的疊加分析方法,該方法顯著提高了空間疊加分析效率,更適合面向海量土地利用矢量數(shù)據(jù)的疊加分析.
【圖文】：

主節(jié)點(diǎn)、４個(gè)數(shù)據(jù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)配置Ｉｎｔｅｌｉ７９５０＠３．０７ＧＨｚ處理器、１６Ｇ內(nèi)存、１Ｔ硬盤(pán)．軟件環(huán)境為：操作系統(tǒng)ＳＵＳＥＬｉｎｕｘＥｎｔｅｒｐｒｉｓｅＳｅｒｖｅｒ１１ＳＰ２（ｘ８６＿６４），運(yùn)行環(huán)境Ｈａｄｏｏｐ２．４．０、Ｓｐａｒｋ１．０．１．本次實(shí)驗(yàn)以２個(gè)年份土地利用矢量數(shù)據(jù)地類(lèi)圖斑層的Ｉｎｔｅｒｓｅｃｔ為例測(cè)試圖層疊加分析的性能，實(shí)驗(yàn)數(shù)據(jù)為浙江�。玻埃保昂停玻埃保材甓鄠�(gè)縣級(jí)行政區(qū)土地利用矢量數(shù)據(jù)中的地類(lèi)圖斑數(shù)據(jù)．圖２為Ｓｐａｒｋ與Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ的性能對(duì)比圖．由圖２可知，Ｓｐａｒｋ的性能明顯優(yōu)于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，其所需的時(shí)間與數(shù)據(jù)量也呈線(xiàn)性關(guān)系，并且消耗時(shí)間要遠(yuǎn)少于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ．圖２空間Ｉｎｔｅｒｓｅｃｔ時(shí)間對(duì)比圖Ｆｉｇ．２ＴｉｍｅｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ圖３所示為２個(gè)節(jié)點(diǎn)和４個(gè)節(jié)點(diǎn)下的土地利用矢量數(shù)據(jù)Ｉｎｔｅｒｓｅｃｔ對(duì)比圖．由圖３可知，Ｓｐａｒｋ在２個(gè)節(jié)點(diǎn)上與在４個(gè)節(jié)點(diǎn)上運(yùn)行，所需的時(shí)間與數(shù)據(jù)量均線(xiàn)性相關(guān)，并且２個(gè)節(jié)點(diǎn)的效率與４個(gè)節(jié)點(diǎn)的效率呈一定比例關(guān)系．圖３空間Ｉｎｔｅｒｓｅｃｔ節(jié)點(diǎn)對(duì)比圖Ｆｉｇ．３ＮｏｄｅｓｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ通過(guò)以上實(shí)驗(yàn)測(cè)試，可以得到如下結(jié)論：在海量土地利用矢量數(shù)據(jù)疊加分析方面，Ｓｐａｒｋ性能明顯優(yōu)于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，并且隨著節(jié)點(diǎn)數(shù)量的增加，Ｓｐａｒｋ性能呈一定比例提高．４３第１期靳鳳營(yíng)，等：基于Ｓｐａｒｋ

ｒｓｅｃｔ為例測(cè)試圖層疊加分析的性能，實(shí)驗(yàn)數(shù)據(jù)為浙江�。玻埃保昂停玻埃保材甓鄠�(gè)縣級(jí)行政區(qū)土地利用矢量數(shù)據(jù)中的地類(lèi)圖斑數(shù)據(jù)．圖２為Ｓｐａｒｋ與Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ的性能對(duì)比圖．由圖２可知，Ｓｐａｒｋ的性能明顯優(yōu)于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，，其所需的時(shí)間與數(shù)據(jù)量也呈線(xiàn)性關(guān)系，并且消耗時(shí)間要遠(yuǎn)少于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ．圖２空間Ｉｎｔｅｒｓｅｃｔ時(shí)間對(duì)比圖Ｆｉｇ．２ＴｉｍｅｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ圖３所示為２個(gè)節(jié)點(diǎn)和４個(gè)節(jié)點(diǎn)下的土地利用矢量數(shù)據(jù)Ｉｎｔｅｒｓｅｃｔ對(duì)比圖．由圖３可知，Ｓｐａｒｋ在２個(gè)節(jié)點(diǎn)上與在４個(gè)節(jié)點(diǎn)上運(yùn)行，所需的時(shí)間與數(shù)據(jù)量均線(xiàn)性相關(guān)，并且２個(gè)節(jié)點(diǎn)的效率與４個(gè)節(jié)點(diǎn)的效率呈一定比例關(guān)系．圖３空間Ｉｎｔｅｒｓｅｃｔ節(jié)點(diǎn)對(duì)比圖Ｆｉｇ．３ＮｏｄｅｓｃｏｍｐａｒｉｓｏｎｃｈａｒｔｏｆＩｎｔｅｒｓｅｃｔ通過(guò)以上實(shí)驗(yàn)測(cè)試，可以得到如下結(jié)論：在海量土地利用矢量數(shù)據(jù)疊加分析方面，Ｓｐａｒｋ性能明顯優(yōu)于Ｏｒａｃｌｅ＋ＡｒｃＳＤＥ，并且隨著節(jié)點(diǎn)數(shù)量的增加，Ｓｐａｒｋ性能呈一定比例提高．４３第１期靳鳳營(yíng)，等：基于Ｓｐａｒｋ的土地利用矢量數(shù)據(jù)空間疊加分析方法
【作者單位】： 浙江大學(xué)浙江省資源與環(huán)境信息系統(tǒng)重點(diǎn)實(shí)驗(yàn)室;浙江大學(xué)地理信息科學(xué)研究所;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(41471313;41101356) 浙江省科技攻關(guān)計(jì)劃項(xiàng)目(2013C33051) 國(guó)家海洋公益性行業(yè)科研專(zhuān)項(xiàng)經(jīng)費(fèi)資助項(xiàng)目(2015418003;201305012) 國(guó)家科技基礎(chǔ)工作專(zhuān)項(xiàng)(2012FY112300) 中央高�；A(chǔ)科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)(2013QNA3023)
【分類(lèi)號(hào)】：P208

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 王少華;鐘耳順;盧浩;張小虎;張s

本文編號(hào)：2520824