采用動態(tài)負載均衡的LiDAR數(shù)據(jù)生成DEM并行算法
本文選題:LiDAR + DEM; 參考:《地球信息科學(xué)學(xué)報》2015年05期
【摘要】:隨著高性能計算的發(fā)展,并行技術(shù)已經(jīng)廣泛應(yīng)用于Li DAR數(shù)據(jù)的分析處理。本文針對現(xiàn)有Li DAR數(shù)據(jù)生成DEM并行算法所存在的負載不均衡問題,設(shè)計并實現(xiàn)了動態(tài)負載均衡的Li DAR數(shù)據(jù)生成DEM并行算法。該算法采用主從式并行策略,管理進程負責(zé)Li DAR點云的高效自適應(yīng)條帶劃分,計算進程負責(zé)Li DAR點云生成DEM的計算。本文設(shè)計了任務(wù)量的動態(tài)調(diào)度策略:首先,由所有進程并行創(chuàng)建任務(wù)量由大到小排列的待處理任務(wù)隊列;然后,管理進程根據(jù)計算進程的反饋對待處理任務(wù)進行動態(tài)分配,以達到負載均衡。在24核集群環(huán)境下,用30 GB(約12億點)Li DAR數(shù)據(jù)對本文算法進行測試,生成分辨率為1 m的格網(wǎng)DEM,算法加速比峰值達到15.16;同時,與靜態(tài)調(diào)度策略進行對比實驗,結(jié)果顯示本文的動態(tài)負載均衡策略可更好地保證進程間的負載均衡,有效地提高了Li DAR生成DEM并行算法的整體效率。
[Abstract]:With the development of high performance computing, parallel technology has been widely used in the analysis and processing of Li Dar data. In this paper, we design and implement a dynamic load-balancing parallel algorithm for generating Dem data from Li Dar data, aiming at the problem of load imbalance existing in the existing parallel algorithms for generating Dem from Li Dar data. The algorithm adopts a master-slave parallel strategy, the management process is responsible for efficient adaptive strip partition of the Li Dar point cloud, and the computing process is responsible for the Dem generation of the Li Dar point cloud. In this paper, a dynamic scheduling strategy for task quantity is designed: firstly, all the processes parallel create the queue of tasks to be processed from large to small, and then the management process dynamically allocates processing tasks according to the feedback of the computing process. To achieve load balancing. In the 24-core cluster environment, the algorithm is tested with 30 GB (about 1.2 billion points) Li DAR data, and the grid DEM with a resolution of 1 m is generated, and the speedup peak of the algorithm reaches 15.16. At the same time, the algorithm is compared with the static scheduling strategy. The results show that the proposed dynamic load balancing strategy can better ensure the load balance between processes and effectively improve the overall efficiency of the parallel algorithm for the generation of Dem by Li DAR.
【作者單位】: 江蘇省地理信息技術(shù)重點實驗室;
【基金】:國家“863”計劃項目(2011AA120301) 地理空間信息工程國家測繪地理信息局重點實驗室開放課題(200712)
【分類號】:TP338.6
【參考文獻】
相關(guān)期刊論文 前3條
1 張靖;高偉;;LAS格式解析及其擴展域的應(yīng)用[J];測繪科學(xué);2008年03期
2 齊琳;沈婕;郭立帥;周侗;;面向D-TIN并行構(gòu)建的動態(tài)條帶數(shù)據(jù)劃分方法與實驗分析[J];地球信息科學(xué)學(xué)報;2012年01期
3 錢辰;竇萬峰;楊坤;湯國安;;基于時間均衡的并行插值數(shù)據(jù)劃分方法研究[J];地理與地理信息科學(xué);2013年04期
【共引文獻】
相關(guān)期刊論文 前10條
1 周曉明;唐德瑾;馬秋禾;楊靖宇;;LAS Version 2.0數(shù)據(jù)格式解析[J];測繪工程;2010年04期
2 周曉明;馬秋禾;許曉亮;楊靖宇;王楠;;LIDAR點云濾波算法分析——以ISPRS測試實驗為參考[J];測繪工程;2011年05期
3 趙自明;史兵;田喜平;趙松;;LAS格式解析及其數(shù)據(jù)的讀取與顯示[J];測繪技術(shù)裝備;2010年03期
4 沈婕;郭立帥;朱偉;顧乃杰;;消息傳遞接口環(huán)境下等高線簡化并行計算適宜性研究[J];測繪學(xué)報;2013年04期
5 張震;張碩;馬召恒;;基于VTK的機載LiDAR點云數(shù)據(jù)的可視化[J];城市勘測;2013年03期
6 劉二永;;基于雙線性插值的DEM誤差傳播的3維可視化模型[J];測繪與空間地理信息;2013年12期
7 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期
8 張留民;呂寶奇;林蒙恩;;LIDAR標(biāo)準(zhǔn)數(shù)據(jù)格式(LAS)的解析與處理[J];測繪與空間地理信息;2014年05期
9 徐國慶;顧鈺培;高雪梅;;LAS格式解析與信息提取[J];測繪與空間地理信息;2014年07期
10 吳晨;朱慶;張葉廷;許偉平;;基于混合瓦片的海量DEM/DOM數(shù)據(jù)高效存儲管理方法——以應(yīng)急救災(zāi)數(shù)據(jù)庫為例[J];地理信息世界;2014年03期
相關(guān)博士學(xué)位論文 前7條
1 駱社周;激光雷達遙感森林葉面積指數(shù)提取方法研究與應(yīng)用[D];中國地質(zhì)大學(xué)(北京);2012年
2 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年
3 宋效東;基于DEM的可視性分析綜合模型及其并行算法研究[D];南京師范大學(xué);2013年
4 劉燦由;電子海圖云服務(wù)關(guān)鍵技術(shù)研究與實踐[D];解放軍信息工程大學(xué);2013年
5 刁瑩;用數(shù)學(xué)建模方法評價存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年
6 楊典華;協(xié)作式大規(guī)模地理柵格數(shù)據(jù)并行處理方法研究[D];首都師范大學(xué);2014年
7 石峰;南汀河斷裂帶構(gòu)造地貌研究[D];中國地震局地質(zhì)研究所;2014年
相關(guān)碩士學(xué)位論文 前10條
1 滕志遠;大數(shù)據(jù)量機載激光點云快速瀏覽技術(shù)研究[D];首都師范大學(xué);2011年
2 鄧愛民;車載激光掃描點云數(shù)據(jù)流處理抽稀方法研究[D];西南交通大學(xué);2011年
3 李r,
本文編號:2073961
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2073961.html