本文關(guān)鍵詞：基于云平臺的ARGO海洋環(huán)境觀測數(shù)據(jù)檢索與插值　出處：《中國海洋大學(xué)》2014年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 海洋環(huán)境信息 云計算 ARGO數(shù)據(jù)

【摘要】：云平臺技術(shù)的快速發(fā)展使人們越來越關(guān)注大數(shù)據(jù)（Big data）。如果想要分析大型數(shù)據(jù)集就需要通過像Hadoop中的并行計算模型MapReduce那樣的框架為成百、成千甚至上萬臺電腦分配工作，所以大數(shù)據(jù)分析通常會和云平臺緊密的結(jié)合在一起。從技術(shù)上來講，大數(shù)據(jù)與云計算的關(guān)系可以描述為一枚硬幣的正反兩面那樣密不可分。很顯然，大數(shù)據(jù)是無法用單臺計算機來進(jìn)行處理，而是必須要采用分布式計算架構(gòu)。這個架構(gòu)最大的特色就是能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分析，但是只有依靠云計算技術(shù)中的分布式數(shù)據(jù)庫技術(shù)、分布式處理技術(shù)、云存儲技術(shù)以及虛擬化技術(shù)才能夠?qū)崿F(xiàn)這個架構(gòu)。 隨著云計算技術(shù)的發(fā)展，開源云平臺Hadoop顯然已成世界上最重要的云計算技術(shù)之一，Hadoop中的并行計算模型MapReduce也應(yīng)用在分布式計算中。此框架對海量數(shù)據(jù)進(jìn)行分割然后分配到多個節(jié)點上，接著對每一個節(jié)點進(jìn)行并行計算，將得出的結(jié)果歸并后進(jìn)行輸出。下一階段計算的輸入就是上一階段計算的輸出，因此可以想象到一個與樹狀結(jié)構(gòu)類似的分布式計算結(jié)構(gòu)，在每一個不同階段都會產(chǎn)出不同的結(jié)果，同時在分布式集群的資源下并行和串行進(jìn)行結(jié)合的計算也可以很好地得以高效的處理。 對ARGO海洋環(huán)境觀測數(shù)據(jù)進(jìn)行分析，有利于保護(hù)海洋環(huán)境和預(yù)防海洋氣候災(zāi)害,與此同時ARGO海洋環(huán)境觀測數(shù)據(jù)也屬于典型的大數(shù)據(jù)，但ARGO數(shù)據(jù)分析軟件很少。所以本文針對ARGO海洋環(huán)境觀測數(shù)據(jù)數(shù)據(jù)量大、離散分布等特點，為了能夠高效的研究ARGO海洋環(huán)境觀測數(shù)據(jù)，我們需要將ARGO海洋環(huán)境觀測數(shù)據(jù)的分布與其它空間現(xiàn)象分布模式進(jìn)行比較，也就是說我們需要將離散分布的ARGO海洋環(huán)境觀測數(shù)據(jù)轉(zhuǎn)換成為連續(xù)的數(shù)據(jù)曲面，因此本文主要工作是研究基于Hadoop平臺來對ARGO海洋環(huán)境觀測數(shù)據(jù)進(jìn)行插值與檢索。由于采用不同的方法進(jìn)行插值會產(chǎn)生不同的計算效率，本文主要實現(xiàn)了兩種插值方法：一種方法是通過分布式計算模型MapReduce的Map過程對ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域分塊，在Reduce過程中，計算每個ARGO數(shù)據(jù)點的近鄰點，，然后分別對每一塊的ARGO海洋環(huán)境觀測數(shù)據(jù)分別進(jìn)行插值計算，從而得出插值后連續(xù)的數(shù)據(jù)曲面。由于采用這種方法會對一個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點進(jìn)行檢索,就需要遍歷整個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點,但是對于像ARGO海洋環(huán)境觀測數(shù)據(jù)這種大量記錄,很顯然這種方法檢索效率很低,因此提出了第二種方法：在第一種方法的基礎(chǔ)之上進(jìn)行改進(jìn)，通過KD樹近鄰算法找到每個塊的每個數(shù)據(jù)的近鄰點來建立索引表，然后直接根據(jù)索引表來計算插值，這種方法減少了搜索點的數(shù)量，進(jìn)而提高了插值的效率。 本文在實驗環(huán)境下采集了大量ARGO海洋環(huán)境觀測數(shù)據(jù)來比較直接插值計算與KD樹索引插值計算兩種算法的計算效率，實驗結(jié)果也表明了KD樹索引插值計算算法的計算效率要遠(yuǎn)高于直接插值計算算法的效率。該方法同時也在ARGO海洋觀測數(shù)據(jù)分析方面取得了良好的效果。
【學(xué)位授予單位】：中國海洋大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP3;P714

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 童明榮,劉增宏,孫朝輝,朱伯康,許建平;ARGO剖面浮標(biāo)數(shù)據(jù)質(zhì)量控制過程剖析[J];海洋技術(shù);2003年04期

2 俞黎敏;;函數(shù)式編程思想[J];程序員;2010年09期

3 李國杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國科學(xué)院院刊;2012年06期

4 劉南,劉仁義,尹勁峰,蘇國中;ARGO海洋衛(wèi)星觀測數(shù)據(jù)處理方法及應(yīng)用[J];中國圖象圖形學(xué)報;2004年11期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 王鴻鵬;復(fù)雜環(huán)境下輪式自主移動機器人定位與運動控制研究[D];南開大學(xué);2009年

本文編號：1313968