海洋數(shù)據(jù)的極大豐富,不僅推動了海洋科學(xué)以及海洋漁業(yè)生產(chǎn)的快速發(fā)展,同時向人們提出了海量時空數(shù)據(jù)的有效組織問題。解決這些問題的關(guān)鍵是研究海量時空數(shù)據(jù)的組織和分析方法,在Hadoop云平臺下利用地理格網(wǎng)模型這一數(shù)據(jù)組織方式,更加有助于我們分析和處理海量的海洋環(huán)境時空數(shù)據(jù)。本文概述了GIS領(lǐng)域現(xiàn)有的地理格網(wǎng)模型理論以及研究現(xiàn)狀,分析了海洋環(huán)境數(shù)據(jù)的組織與管理以及遇到的問題。為設(shè)計(jì)海洋漁業(yè)地理格網(wǎng)模型奠定了理論基礎(chǔ)。分析了Hadoop、Hive以及HBase等云計(jì)算相關(guān)技術(shù),為基于格網(wǎng)模型的海洋漁業(yè)環(huán)境數(shù)據(jù)的組織與存儲提供了技術(shù)支持。針對基于位置的海洋環(huán)境要素的管理與漁場預(yù)報(bào)和信息服務(wù)等應(yīng)用場景,本文設(shè)計(jì)了一種海洋漁業(yè)地理格網(wǎng)模型。包括格網(wǎng)的設(shè)計(jì)目標(biāo)與原則、格網(wǎng)空間基準(zhǔn)、格網(wǎng)劃分與編碼規(guī)則以及格網(wǎng)索引策略,并且基于Java語言實(shí)現(xiàn)了WGS-84坐標(biāo)與格網(wǎng)編碼的轉(zhuǎn)換算法;同時搭建了基于Hadoop平臺集成Hive與HBase云計(jì)算測試環(huán)境。并且使用大數(shù)據(jù)倉庫工具Hive分析處理數(shù)據(jù),根據(jù)HBase數(shù)據(jù)庫的優(yōu)點(diǎn)設(shè)計(jì)了一種基于格網(wǎng)模型的海洋漁業(yè)環(huán)境數(shù)據(jù)的空間查詢檢索策略。

【文章頁數(shù)】：66 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1HDF架構(gòu)示意圖

跨計(jì)算機(jī)集群分布式處理大數(shù)據(jù)集HadoopYarn、HDFS以及MapReduce。其中HadoopCommon中包括了其它Hadoop模塊中所需的Java庫和實(shí)用的程序；Yarn是用于作業(yè)調(diào)度和分別計(jì)算資源的框架；HDFS是一種分布式文件系統(tǒng)；MapReduc....

圖2-2YARN架構(gòu)圖

海洋漁業(yè)地理格網(wǎng)模型的研究與設(shè)計(jì)Base、Pig、Spark等應(yīng)用。括ResourceManager、NodeManager、ApplicationMaster、Seched個部分。ResourceManager主要負(fù)責(zé)整個Hadoop系統(tǒng)中的資源端的請求、啟動和監(jiān)控A....

圖2-3MapReduce工作原理

第二章相關(guān)技術(shù)與理論是鍵值對（Key-Value）的形式輸出計(jì)算結(jié)果，map的輸出結(jié)果作為reduce的輸入。Reduce過程中，當(dāng)map任務(wù)執(zhí)行完成后，reduce節(jié)點(diǎn)就會讀取所有的map處理的結(jié)果數(shù)據(jù)，開始對數(shù)據(jù)進(jìn)行處理，reduce進(jìn)程主要對數(shù)據(jù)進(jìn)行匯....

圖2-4Hive架構(gòu)

元數(shù)據(jù)：metastore是一般使用MySQL或者Derby數(shù)據(jù)庫對元數(shù)據(jù)進(jìn)行據(jù)默認(rèn)存儲在自帶的derby數(shù)據(jù)庫，但是通常情況下開發(fā)人員采用MyS。Hive中的驅(qū)動器主要包含解析器、編譯器、優(yōu)化器、執(zhí)行器。其中，將SQL字符串轉(zhuǎn)換成抽象語法樹AST，并對AST....

本文編號：3953330