針對全球海量地理信息數(shù)據(jù)成果數(shù)據(jù)量大、數(shù)據(jù)類型豐富、質(zhì)量檢查內(nèi)容多的特點(diǎn),本文將分布式并行計(jì)算技術(shù)、多線程技術(shù)應(yīng)用到地理信息數(shù)據(jù)質(zhì)量控制體系中,基于MapReduce框架實(shí)現(xiàn)了多源多時(shí)相海量數(shù)據(jù)并行質(zhì)量控制,把算法結(jié)構(gòu)由一個(gè)周期執(zhí)行一個(gè)操作改造為一個(gè)周期執(zhí)行多個(gè)操作的并行處理,從根本上解決重復(fù)操作多、計(jì)算慢的質(zhì)量檢查難題。選取核心矢量要素、DOM成果、DEM成果作為典型數(shù)據(jù)案例開展效率對比試驗(yàn)。試驗(yàn)結(jié)果表明,該技術(shù)方案的處理效率比傳統(tǒng)技術(shù)方案提高2～3倍,有效地壓縮了任務(wù)執(zhí)行時(shí)間,節(jié)約了任務(wù)執(zhí)行成本,實(shí)現(xiàn)了對海量地理信息數(shù)據(jù)的快速質(zhì)量控制,保障了全球地理信息數(shù)據(jù)的成果質(zhì)量。 

【文章來源】：測繪通報(bào). 2020,(07)北大核心CSCD

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1 分布式并行計(jì)算框架技術(shù)

Torque支持多任務(wù)批處理、多種作業(yè)調(diào)度策略，實(shí)現(xiàn)對多任務(wù)批處理的初始化和調(diào)度執(zhí)行的控制，其獨(dú)立調(diào)度模塊允許系統(tǒng)管理員定義資源和每個(gè)任務(wù)可使用的數(shù)量，實(shí)時(shí)監(jiān)控排隊(duì)任務(wù)、運(yùn)行任務(wù)和系統(tǒng)資源使用狀況。Torque由4部分組成，分別是PBS用戶命令、PBS服務(wù)(pbs＿server)、PBS執(zhí)行(pbs＿mom)和PBS調(diào)度(pbs＿sched)。如圖2所示。(1)PBS用戶命令主要用于用戶遞交、查詢、隊(duì)列管理和刪除多任務(wù)批處理質(zhì)檢任務(wù)。

(1)質(zhì)檢任務(wù)調(diào)度模塊負(fù)責(zé)獲取質(zhì)檢任務(wù)的處理請求，并將接收到的處理請求加入質(zhì)檢任務(wù)等待隊(duì)列，對質(zhì)檢任務(wù)等待隊(duì)列實(shí)時(shí)監(jiān)控，發(fā)現(xiàn)處理請求后依據(jù)先進(jìn)先出的原則選擇任務(wù)執(zhí)行，并依據(jù)任務(wù)調(diào)度策略為該任務(wù)分配質(zhì)檢任務(wù)進(jìn)程。主要包括質(zhì)檢任務(wù)等待緩沖區(qū)和調(diào)度控制單元兩個(gè)工作單元。(2)質(zhì)檢任務(wù)線程模塊負(fù)責(zé)創(chuàng)建質(zhì)檢任務(wù)線程及其線程索引表，按照預(yù)設(shè)的線程容量創(chuàng)建相應(yīng)數(shù)量的質(zhì)檢線程，同時(shí)為每個(gè)質(zhì)檢線程開辟與之對應(yīng)的任務(wù)等待隊(duì)列，線程執(zhí)行過程中實(shí)時(shí)監(jiān)控該等待隊(duì)列，獲取相關(guān)任務(wù)參數(shù)完成數(shù)據(jù)計(jì)算以及數(shù)據(jù)顯示等操作。主要包括線程索引表和工作線程兩個(gè)工作單元。

【參考文獻(xiàn)】：
期刊論文
[1]時(shí)空大數(shù)據(jù)背景下并行數(shù)據(jù)處理分析挖掘的進(jìn)展及趨勢[J]. 關(guān)雪峰,曾宇媚.  地理科學(xué)進(jìn)展. 2018(10)
[2]基于MapReduce的空間數(shù)據(jù)并行劃分算法[J]. 付艷麗,吳艷民,張金標(biāo),鄭坤,趙長虹,鄭康,方發(fā)林.  測繪通報(bào). 2017(11)
[3]MapReduce并行編程模型研究綜述[J]. 杜江,張錚,張杰鑫,邰銘.  計(jì)算機(jī)科學(xué). 2015(S1)
[4]基于線程池的多任務(wù)并行處理模型[J]. 高翔,張金登.  指揮信息系統(tǒng)與技術(shù). 2012(04)
[5]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報(bào). 2011(11)
[6]GIS數(shù)據(jù)質(zhì)量控制的分析研究[J]. 宗剛軍.  西安科技大學(xué)學(xué)報(bào). 2009(05)
[7]基于SMP集群的MPI+OpenMP混合編程模型及有效實(shí)現(xiàn)[J]. 趙永華,遲學(xué)斌.  微電子學(xué)與計(jì)算機(jī). 2005(10)

碩士論文
[1]基于MapRedcue的大規(guī)模柵格數(shù)據(jù)空間分析算法并行化研究[D]. 楊文奇.江西理工大學(xué) 2013
[2]基于MapReduce模型的生態(tài)遙感參數(shù)反演并行化方法與實(shí)現(xiàn)[D]. 付天新.蘭州交通大學(xué) 2012



本文編號：3626769