【摘要】：地理國(guó)情普查,需要在得到數(shù)據(jù)后快速,準(zhǔn)確的給出普查統(tǒng)計(jì)分析結(jié)果。而基本統(tǒng)計(jì)是地理國(guó)情普查的重要內(nèi)容,在這些統(tǒng)計(jì)中,地表覆蓋所涉及的地表面積的計(jì)算最耗時(shí)間。它需要處理的數(shù)據(jù)量最大,并且中間數(shù)據(jù)也最多,因此我們提出對(duì)地表面面積統(tǒng)計(jì)模型進(jìn)行優(yōu)化。由于地形起伏,難以用數(shù)學(xué)函數(shù)擬合,不能直接計(jì)算�，F(xiàn)下計(jì)算三維地表面積的方法很多,但是這些方法普遍對(duì)單元柵格的處理過于復(fù)雜。判定條件過多,使得計(jì)算海量數(shù)據(jù)花費(fèi)巨大時(shí)間。通過對(duì)現(xiàn)下各種方法進(jìn)行對(duì)比分析,我們提出一種思路較簡(jiǎn)單的地表面面積計(jì)算方法及步驟來提高計(jì)算效率。隨著新型硬件構(gòu)架(單機(jī)多核、集群等)計(jì)算資源能力的不斷升級(jí),傳統(tǒng)的數(shù)據(jù)處理技術(shù)和串行計(jì)算技術(shù)難以滿足海量數(shù)據(jù)處理的需求,因此需要充分利用計(jì)算資源能力提升數(shù)據(jù)處理的實(shí)際效率。我們結(jié)合現(xiàn)下蓬勃發(fā)展的分布式系統(tǒng)基礎(chǔ)架構(gòu)(Hadoop平臺(tái))構(gòu)建集群,實(shí)現(xiàn)地理國(guó)情分布式并行計(jì)算。本文通過探討各種地表面面積算法,根據(jù)算法特點(diǎn)結(jié)合計(jì)算機(jī)圖形學(xué)中知識(shí)提出一種計(jì)算地表面面積新方法。筆者給出計(jì)算具體步驟,并進(jìn)行編程實(shí)現(xiàn)。同時(shí)安裝現(xiàn)下開源Hadoop平臺(tái),并搭建小規(guī)模集群進(jìn)行分布式并行計(jì)算。我們分別對(duì)HDFS和Map-Reduce進(jìn)行設(shè)計(jì)和編程實(shí)現(xiàn)。最后我們選擇地理國(guó)情普查中的試點(diǎn)區(qū)域山東省東營(yíng)市進(jìn)行測(cè)試實(shí)驗(yàn)。我們給出了詳細(xì)的任務(wù)劃分策略,以及影響集群計(jì)算效率的四個(gè)方面因素的影響規(guī)律,并對(duì)整體優(yōu)化模型提出了切實(shí)可行的建議。
【圖文】：

邐－／逡逑圖２－１邋ＨＤＦＳ體系結(jié)構(gòu)及數(shù)據(jù)請(qǐng)求流程圖（胡琦，２０１４）逡逑上圖２－１給出了邋ＨＤＦＳ體系結(jié)構(gòu)及數(shù)據(jù)請(qǐng)求的流程圖，由圖可以看到，，這是一個(gè)有逡逑兩個(gè)機(jī)架的集群，實(shí)際上它可以運(yùn)行在跨越大量機(jī)架的集群上。機(jī)架１與機(jī)架２的通信逡逑是通過交換機(jī)實(shí)現(xiàn)的，而對(duì)于任意機(jī)架內(nèi)部（機(jī)架１或者機(jī)架２）間的網(wǎng)絡(luò)帶寬是優(yōu)于逡逑不同機(jī)架上的機(jī)器的。逡逑在該流程圖中，名字節(jié)點(diǎn)對(duì)應(yīng)著集群的主節(jié)點(diǎn)（Ｍａｓｔｅｒ），數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)著從節(jié)點(diǎn)逡逑（Ｓｌａｖｅ）。對(duì)于每個(gè)節(jié)點(diǎn)間的通信，是在ＴＣＰ／ＩＰ協(xié)議之上構(gòu)建的。在這個(gè)集群中各個(gè)逡逑節(jié)點(diǎn)之間通過數(shù)據(jù)節(jié)點(diǎn)協(xié)議通信。用戶與集群信息交互是通過客戶端協(xié)議。這兩個(gè)協(xié)議逡逑出自ＲＰＣ邋（Ｒｅｍｏｔｅ邋Ｐｒｏｃｅｄｕｒｅ邋Ｃａｌｌ），它們被抽象封裝。依據(jù)設(shè)計(jì)ＲＰＣ不會(huì)被名字節(jié)點(diǎn)逡逑主動(dòng)發(fā)起，而是數(shù)據(jù)節(jié)點(diǎn)和客戶端主動(dòng)發(fā)起ＲＰＣ，名字節(jié)點(diǎn)被動(dòng)對(duì)此作出反饋。逡逑在該流程圖中，有兩類關(guān)于數(shù)據(jù)的操作，分別是寫操作和讀操作。而寫操作是能改逡逑變文件命名空間的操作

邐／逡逑圖２－２邋ＭａｐＲｅｄｕｃｅ的任務(wù)處理流程圖（胡請(qǐng)，２０１４）逡逑從上圖２－２中可以看出ＭａｐＲｅｄｕｃｅ在處理任務(wù)時(shí)候，首先會(huì)傳入一組數(shù)據(jù)片段。逡逑這些數(shù)據(jù)片段就是原始數(shù)據(jù)，沒有經(jīng)過任何處理，數(shù)據(jù)之間毫無關(guān)系。原始數(shù)據(jù)傳入后逡逑１３逡逑
【學(xué)位授予單位】：武漢大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：P205

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 韓買俠;程傳錄;王維;;地表面積計(jì)算方法研究[J];測(cè)繪通報(bào);2015年09期

2 李越;;淺談地理國(guó)情普查數(shù)據(jù)采集方法及要求[J];科技與企業(yè);2015年12期

3 謝成磊;趙榮;梁勇;;基于地理坐標(biāo)的地理國(guó)情統(tǒng)計(jì)單元表面面積精確計(jì)算[J];遙感信息;2014年04期

4 凌娜;余躍平;曾正祥;;面向地理國(guó)情監(jiān)測(cè)數(shù)據(jù)管理研究[J];測(cè)繪;2013年01期

5 李德仁;眭海剛;單杰;;論地理國(guó)情監(jiān)測(cè)的技術(shù)支撐[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2012年05期

6 王長(zhǎng)海;;DEM模型的三維地表面積算法研究[J];紅水河;2010年03期

7 苗春葆;;點(diǎn)與多邊形關(guān)系的射線法[J];電腦編程技巧與維護(hù);2008年03期

8 魏東;張秀程;;基于遞歸算法的三維地形面積計(jì)算方法研究[J];工程地質(zhì)計(jì)算機(jī)應(yīng)用;2007年03期

9 江帆;呂曉華;王仲蘭;;基于復(fù)化公式的DEM表面積算法分析[J];測(cè)繪學(xué)院學(xué)報(bào);2005年04期

相關(guān)碩士學(xué)位論文 前1條

1 袁衛(wèi)平;地理統(tǒng)計(jì)空間計(jì)算效率優(yōu)化模型研究[D];遼寧工程技術(shù)大學(xué);2015年

本文編號(hào)：2667674