基于MapReduce的空間敏感性分析并行算法設(shè)計
本文關(guān)鍵詞: 遙感參數(shù)模型 空間敏感性分析 Sobol′ MapReduce 出處:《地球信息科學(xué)學(xué)報》2014年06期 論文類型:期刊論文
【摘要】:近年來,隨著遙感空間數(shù)據(jù)廣泛應(yīng)用于生態(tài)系統(tǒng),推動了區(qū)域尺度生態(tài)遙感參數(shù)模型的發(fā)展。敏感性分析對識別模型關(guān)鍵參數(shù),降低模型不確定性和完善模型具有重要作用。區(qū)域尺度的生態(tài)遙感參數(shù)模型,在進行模型參數(shù)敏感性分析時,由于涉及到空間數(shù)據(jù)的復(fù)雜運算,單機環(huán)境無法滿足快速分析的要求。為了提高生態(tài)遙感參數(shù)模型空間敏感性分析效率,本文以青藏高原為研究區(qū)域,利用植被光合模型VPM(Vegetation Photosynthesis Model)和開源云計算平臺Hadoop,設(shè)計和實現(xiàn)了基于Sobol′的生態(tài)遙感參數(shù)模型空間敏感性分析并行算法,并在實驗室集群環(huán)境下進行算法分析,驗證了算法的有效性和適用性。該算法的核心是利用MapReduce并行編程技術(shù),對空間敏感性分析中的地圖抽樣和模型迭代過程進行任務(wù)分割,將分割后的子任務(wù)分配至不同的計算節(jié)點進行并行計算。實驗表明,本文提出的并行策略,能有效縮短地圖抽樣和模型迭代計算時間,相比于單機算法,并行算法的運行速度提高了14倍左右。
[Abstract]:In recent years, with the wide application of remote sensing spatial data in ecosystem, the development of regional scale ecological remote sensing parameter model has been promoted. Sensitivity analysis is critical to identify the model parameters. It is very important to reduce the uncertainty of the model and perfect the model. The regional scale model of ecological remote sensing parameters is involved in the complex operation of spatial data in the sensitivity analysis of the model parameters. In order to improve the efficiency of spatial sensitivity analysis of ecological remote sensing parameter model, the Qinghai-Tibet Plateau is taken as the research area in this paper. Using the vegetation photosynthetic model VPM(Vegetation Photosynthesis Model and open source cloud computing platform Hadoop. The parallel algorithm of spatial sensitivity analysis of ecological remote sensing parameter model based on Sobol' is designed and implemented, and the algorithm analysis is carried out under the environment of laboratory cluster. The core of the algorithm is to segment the task of map sampling and model iteration in spatial sensitivity analysis by using MapReduce parallel programming technology. The sub-tasks are assigned to different computing nodes for parallel computation. Experiments show that the proposed parallel strategy can effectively shorten the computation time of map sampling and model iteration, compared with the single-machine algorithm. The running speed of parallel algorithm is increased about 14 times.
【作者單位】: 中國科學(xué)院地理科學(xué)與資源研究所生態(tài)系統(tǒng)網(wǎng)絡(luò)觀測與模擬重點實驗室;中國科學(xué)院大學(xué);
【基金】:科學(xué)院先導(dǎo)專項“應(yīng)對氣候變化的碳收支認證及相關(guān)問題”(XDA05050600) 國家生態(tài)系統(tǒng)觀測評估技術(shù)系統(tǒng)集成研究與示范(2013BAC03B00) MSR-CNIC Windows Azure合作計劃項目“基于Windows Azure的陸地生態(tài)系統(tǒng)碳水通量估算與不確定性研究” 國家科技部環(huán)保公益性行業(yè)科研專項(gyh5031103)
【分類號】:P208;TP338.6
【正文快照】: 1引言生態(tài)模型是模擬生態(tài)系統(tǒng)結(jié)構(gòu)、功能和變化過程及其調(diào)控機理的重要手段,采用數(shù)學(xué)公式和物理方程對生態(tài)現(xiàn)象和生態(tài)過程進行簡化、抽象,主要包括經(jīng)驗?zāi)P汀⑦^程模型和遙感參數(shù)模型。在實際的建模過程中,觀測誤差的存在和對機理過程的有限認識使模型參數(shù)存在很大的不確定性,
【參考文獻】
相關(guān)期刊論文 前10條
1 蔡毅;邢巖;胡丹;;敏感性分析綜述[J];北京師范大學(xué)學(xué)報(自然科學(xué)版);2008年01期
2 孔凡哲;宋曉猛;占車生;葉愛中;;水文模型參數(shù)敏感性快速定量評估的RSMSobol方法[J];地理學(xué)報;2011年09期
3 張鐿鋰,李炳元,鄭度;論青藏高原范圍與面積[J];地理研究;2002年01期
4 馮敏;尹芳;諸云強;宋佳;;基于MapReduce的分布式地形數(shù)據(jù)計算研究[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2011年S1期
5 趙青松;陳林;孫波;朱艷;姜海燕;;基于Hadoop的云環(huán)境下作物生長模型算法的實現(xiàn)與測試[J];農(nóng)業(yè)工程學(xué)報;2013年08期
6 任啟偉;陳洋波;周浩瀾;徐會軍;;基于Sobol法的TOPMODEL模型全局敏感性分析[J];人民長江;2010年19期
7 徐崇剛,胡遠滿,常禹,姜艷,李秀珍,布仁倉,賀紅士;生態(tài)模型的靈敏度分析[J];應(yīng)用生態(tài)學(xué)報;2004年06期
8 于貴瑞,何洪林,劉新安,牛棟;中國陸地生態(tài)信息空間化技術(shù)研究(Ⅰ)——氣象/氣候信息的空間化技術(shù)途徑[J];自然資源學(xué)報;2004年04期
9 何洪林,于貴瑞,劉新安,蘇文,牛棟,岳燕珍;中國陸地生態(tài)信息空間化技術(shù)研究(Ⅱ)——太陽輻射要素[J];自然資源學(xué)報;2004年05期
10 劉新安,于貴瑞,范遼生,李正泉,何洪林,郭學(xué)兵,任傳友;中國陸地生態(tài)信息空間化技術(shù)研究(Ⅲ)——溫度、降水等氣候要素[J];自然資源學(xué)報;2004年06期
【共引文獻】
相關(guān)期刊論文 前10條
1 劉祥梅;郭志華;王建力;;基于GIS的區(qū)域氣候綜合評價——以山東省為例[J];安徽農(nóng)業(yè)科學(xué);2007年10期
2 鄧珊珊;夏麗華;千懷遂;;基于柵格化的廣東省氣候綜合評價[J];安徽農(nóng)業(yè)科學(xué);2009年04期
3 田玉強;朱維樹;張勇;李悅;劉峻杉;;青藏高原高寒草甸光合特征研究簡述[J];安徽農(nóng)業(yè)科學(xué);2009年25期
4 蔡福;張玉書;陳鵬獅;張淑杰;紀瑞鵬;米娜;;基于GIS技術(shù)對遼寧不同時期熱量資源空間變異特征的分析[J];安徽農(nóng)業(yè)科學(xué);2009年36期
5 祝青林;王麗娜;;基于DEM的大連市降水量的空間柵格化[J];安徽農(nóng)業(yè)科學(xué);2010年25期
6 王麗娜;祝青林;;大連主要農(nóng)業(yè)氣象災(zāi)害空間化方法及應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2010年30期
7 趙曉萌;李棟梁;;基于GIS的中國西南地區(qū)覆冰氣象條件評估[J];冰川凍土;2012年03期
8 張黎;聶宏;魏小輝;印寅;;飛機起落架收放機構(gòu)靜態(tài)裝配的誤差靈敏度分析方法[J];兵工自動化;2012年04期
9 郝美玉;張耀南;雷富民;閻保平;星智;;基于數(shù)字地形模型的斑頭雁潛在生境分析[J];動物學(xué)雜志;2010年01期
10 葛永剛,張軍;3S技術(shù)在青藏高原研究中的應(yīng)用前景分析[J];寶雞文理學(xué)院學(xué)報(自然科學(xué)版);2005年03期
相關(guān)會議論文 前10條
1 謝啟苗;孔得朋;李強;陳兵;;感溫探測器響應(yīng)時間的不確定性分析[A];2011安徽省科協(xié)年會——海灣杯“社會消防安全管理創(chuàng)新”專題年會論文集[C];2011年
2 郭松峰;祁生文;翟文龍;黃曉林;;云南龍江特大懸索橋錨碇穩(wěn)定性分析[A];中國科學(xué)院地質(zhì)與地球物理研究所第11屆(2011年度)學(xué)術(shù)年會論文集(中)[C];2012年
3 王文毅;黃敏;李長軍;王建源;薛小萍;楊洪昌;;山東省主要農(nóng)林作物氣象指標及農(nóng)業(yè)氣候區(qū)劃研究[A];山東省重點學(xué)術(shù)研究成果(2008)[C];2009年
4 張鐿鋰;張瑋;擺萬奇;李雙成;鄭度;;行政單元與自然地理單元之間的數(shù)據(jù)耦合方法初探——以青藏高原人口統(tǒng)計數(shù)據(jù)為例[A];“土地變化科學(xué)與生態(tài)建設(shè)”學(xué)術(shù)研討會論文集[C];2004年
5 哈斯;蘭斌;;利用三維Surfer7繪圖軟件繪制二維平面等值圖與業(yè)務(wù)化[A];中國氣象學(xué)會2006年年會“氣候系統(tǒng)模式發(fā)展與應(yīng)用”分會場論文集[C];2006年
6 鄒蘭軍;許小峰;吳統(tǒng)文;;利用NCEP資料計算地表太陽輻射日變化的方案[A];中國氣象學(xué)會2006年年會“首屆研究生年會”分會場論文集[C];2006年
7 蔡哲;殷劍敏;辜曉青;李迎春;李美華;;江西省40年平均氣溫的空間插值方法比較研究[A];中國氣象學(xué)會2007年年會生態(tài)氣象業(yè)務(wù)建設(shè)與農(nóng)業(yè)氣象災(zāi)害預(yù)警分會場論文集[C];2007年
8 祝青林;張留柱;于貴瑞;戴東;蔡福;劉新安;;近30年黃河流域降水量的時空演變特征[A];中國氣象學(xué)會2008年年會氣候變化分會場論文集[C];2008年
9 孫嫻;姜創(chuàng)業(yè);王娟敏;肖科麗;;陜西省山地日照時間的空間分布特征[A];中國氣象學(xué)會2008年年會氣候資源應(yīng)用研究分會場論文集[C];2008年
10 蔡福;明惠青;陳鵬獅;米娜;紀瑞鵬;趙先麗;張淑杰;;基于GIS技術(shù)對近44年東北地區(qū)四季降水時空演變特征分析[A];糧食安全與現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)發(fā)展——2008年全國農(nóng)業(yè)氣象學(xué)術(shù)年會論文集[C];2008年
相關(guān)博士學(xué)位論文 前10條
1 梁欽鋒;擴散火焰形態(tài)及氣化爐內(nèi)熔渣沉積與傳熱規(guī)律研究[D];華東理工大學(xué);2010年
2 李巧媛;不同氣候變化情景下青藏高原冰川的變化[D];湖南師范大學(xué);2011年
3 金曉飛;500米口徑射電望遠鏡FAST結(jié)構(gòu)安全及精度控制關(guān)鍵問題研究[D];哈爾濱工業(yè)大學(xué);2010年
4 孟憲萌;基于過程模擬的越流區(qū)承壓含水層脆弱性評價研究[D];清華大學(xué);2010年
5 傅萃長;長江流域魚類多樣性空間格局與資源分析[D];復(fù)旦大學(xué);2003年
6 門明新;基于空間數(shù)據(jù)庫的土壤侵蝕和碳氮儲量研究[D];中國農(nóng)業(yè)大學(xué);2005年
7 張洪恩;青藏高原中分辯率亞像元雪填圖算法研究[D];中國科學(xué)院研究生院(遙感應(yīng)用研究所);2004年
8 李軍;基于GIS的氣候要素空間分布研究和中國植被凈第一性生產(chǎn)力的計算[D];浙江大學(xué);2006年
9 張?zhí)K瓊;稀土元素對青藏高原高寒草地生態(tài)系統(tǒng)草地·動物界面耦合效應(yīng)的研究[D];甘肅農(nóng)業(yè)大學(xué);2005年
10 武勝利;基于TRMM的主被動微波遙感結(jié)合反演土壤水分算法研究[D];中國科學(xué)院研究生院(遙感應(yīng)用研究所);2006年
相關(guān)碩士學(xué)位論文 前10條
1 崔普偉;基于單元流域的黃土丘陵溝壑區(qū)岔巴溝流域次暴雨產(chǎn)沙經(jīng)驗?zāi)P脱芯縖D];華中農(nóng)業(yè)大學(xué);2010年
2 盧嘉;基于ELCOM-CAEDYM耦合模型的淀山湖營養(yǎng)物調(diào)控的研究[D];東華大學(xué);2010年
3 周明厚;基于溫度數(shù)據(jù)的太陽輻射空間模擬[D];西南大學(xué);2011年
4 王娜;面向電網(wǎng)公司的光伏電站監(jiān)視系統(tǒng)的設(shè)計[D];杭州電子科技大學(xué);2011年
5 王瑋;青藏高原牧區(qū)積雪監(jiān)測研究[D];蘭州大學(xué);2011年
6 趙曉萌;中國西南地區(qū)覆冰氣候背景及風(fēng)險強度評估方法研究[D];南京信息工程大學(xué);2011年
7 王智;新疆地區(qū)植被覆蓋變化與氣候、人文因子的相關(guān)性探討[D];新疆大學(xué);2011年
8 牛杰;高速公路工程造價指標及指數(shù)研究[D];鄭州大學(xué);2011年
9 何海東;纖維復(fù)合材料預(yù)制件滲透率的結(jié)構(gòu)相關(guān)性建模[D];山東大學(xué);2011年
10 伍成成;Mike11在盤錦雙臺子河口感潮段的應(yīng)用研究[D];中國海洋大學(xué);2011年
【二級參考文獻】
相關(guān)期刊論文 前10條
1 楊秀芝;賈春梅;;投資項目因素敏感性分析[J];邊疆經(jīng)濟與文化;2005年12期
2 牛亞菲;青藏高原生態(tài)環(huán)境問題研究[J];地理科學(xué)進展;1999年02期
3 鄭度,李炳元;青藏高原地理環(huán)境研究進展[J];地理科學(xué);1999年04期
4 高國棟;對我國自然區(qū)劃中的青藏高原區(qū)和西北干旱區(qū)東部界線問題的探討[J];地理學(xué)報;1961年00期
5 伍光和;論柴達木盆地在我國綜合自然區(qū)劃中的從屬關(guān)系問題[J];地理學(xué)報;1965年04期
6 鄭度,張榮祖,楊勤業(yè);試論青藏高原的自然地帶[J];地理學(xué)報;1979年01期
7 趙松喬;中國綜合自然地理區(qū)劃的一個新方案[J];地理學(xué)報;1983年01期
8 林忠輝,莫興國,李宏軒,李海濱;中國陸地區(qū)域氣象要素的空間插值[J];地理學(xué)報;2002年01期
9 夏軍,王綱勝,呂愛鋒,談戈;分布式時變增益流域水循環(huán)模擬[J];地理學(xué)報;2003年05期
10 宋曉猛;占車生;孔凡哲;夏軍;;大尺度水循環(huán)模擬系統(tǒng)不確定性研究進展[J];地理學(xué)報;2011年03期
相關(guān)博士學(xué)位論文 前1條
1 姜海燕;作物模型資源與集成構(gòu)造關(guān)鍵技術(shù)研究[D];南京農(nóng)業(yè)大學(xué);2007年
【相似文獻】
相關(guān)會議論文 前1條
1 莊艷美;尹海偉;孔繁花;孫振如;周艷妮;;基于GIS和RS的湖北省生態(tài)敏感性分析[A];第十七屆中國遙感大會摘要集[C];2010年
相關(guān)碩士學(xué)位論文 前1條
1 艾喬;基于GIS的風(fēng)景區(qū)生態(tài)敏感性分析評價研究[D];西南大學(xué);2007年
,本文編號:1474212
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1474212.html