本文關(guān)鍵詞：一種大規(guī)�？臻g數(shù)據(jù)流式并行處理方法研究，由筆耕文化傳播整理發(fā)布。

【摘要】：針對空間數(shù)據(jù)的讀寫(I/O)時間占比過高問題,文章提出一種流式并行化方法:通過將空間計算過程與數(shù)據(jù)I/O過程相重疊,使傳統(tǒng)并行空間計算方法中的性能提升瓶頸得到顯著緩解;并且,方法所采用的數(shù)據(jù)分片策略,能夠使數(shù)據(jù)單次I/O所產(chǎn)生的高內(nèi)存使用率得到降低,進(jìn)一步提高了具體地學(xué)算法的適用性。最后以地理國情普查基本統(tǒng)計分析中地表面積計算為例進(jìn)行驗證,結(jié)果表明:該算法的計算效率與內(nèi)存使用率相對于直接并行方法均獲得明顯改善,且空間數(shù)據(jù)流式并行處理方法與具體地學(xué)算法耦合度低。該方法已成功應(yīng)用于多個其他統(tǒng)計分析算法中。
【作者單位】： 中國測繪科學(xué)研究院;東北大學(xué);
【關(guān)鍵詞】： 流式并行方法 大規(guī)�？臻g數(shù)據(jù)處理 空間計算 I/O過程 地表面積
【基金】：測繪地理信息公益性行業(yè)科研專項經(jīng)費(fèi)項目(201512032) 國家863計劃項目(2011AA20302) 國家自然科學(xué)基金重點項目(40930104) 遼寧省自然科學(xué)基金資助項目(2015020581)
【分類號】：P208
【正文快照】： 0引言地理計算是地理信息科學(xué)核心內(nèi)容之一,其主要研究包括地理信息處理與管理、地理數(shù)據(jù)挖掘、地理過程建模模擬以及支持這些處理與分析的軟件工程和計算體系等。地理計算概念創(chuàng)始人Stan Openshaw認(rèn)為,地理計算是利用高性能計算技術(shù)來解決當(dāng)前無法解決、甚至未知的空間問題,

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 趙斯思;周成虎;;GPU加速的多邊形疊加分析[J];地理科學(xué)進(jìn)展;2013年01期

2 戴健;丁治明;;基于MapReduce快速kNN Join方法[J];計算機(jī)學(xué)報;2015年01期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 張得天;時間依賴路網(wǎng)高效k最近鄰查詢混搭機(jī)制的研究[D];中國科學(xué)技術(shù)大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 段安利;空間拓?fù)浞治霾僮鞯牟⑿刑幚砑夹g(shù)研究[D];南京航空航天大學(xué);2009年

  本文關(guān)鍵詞：一種大規(guī)�？臻g數(shù)據(jù)流式并行處理方法研究，，由筆耕文化傳播整理發(fā)布。

本文編號：462225