海洋數(shù)據(jù)的極大豐富,不僅推動(dòng)了海洋科學(xué)以及海洋漁業(yè)生產(chǎn)的快速發(fā)展,同時(shí)向人們提出了海量時(shí)空數(shù)據(jù)的有效組織問(wèn)題。解決這些問(wèn)題的關(guān)鍵是研究海量時(shí)空數(shù)據(jù)的組織和分析方法,在Hadoop云平臺(tái)下利用地理格網(wǎng)模型這一數(shù)據(jù)組織方式,更加有助于我們分析和處理海量的海洋環(huán)境時(shí)空數(shù)據(jù)。本文概述了GIS領(lǐng)域現(xiàn)有的地理格網(wǎng)模型理論以及研究現(xiàn)狀,分析了海洋環(huán)境數(shù)據(jù)的組織與管理以及遇到的問(wèn)題。為設(shè)計(jì)海洋漁業(yè)地理格網(wǎng)模型奠定了理論基礎(chǔ)。分析了Hadoop、Hive以及HBase等云計(jì)算相關(guān)技術(shù),為基于格網(wǎng)模型的海洋漁業(yè)環(huán)境數(shù)據(jù)的組織與存儲(chǔ)提供了技術(shù)支持。針對(duì)基于位置的海洋環(huán)境要素的管理與漁場(chǎng)預(yù)報(bào)和信息服務(wù)等應(yīng)用場(chǎng)景,本文設(shè)計(jì)了一種海洋漁業(yè)地理格網(wǎng)模型。包括格網(wǎng)的設(shè)計(jì)目標(biāo)與原則、格網(wǎng)空間基準(zhǔn)、格網(wǎng)劃分與編碼規(guī)則以及格網(wǎng)索引策略,并且基于Java語(yǔ)言實(shí)現(xiàn)了WGS-84坐標(biāo)與格網(wǎng)編碼的轉(zhuǎn)換算法;同時(shí)搭建了基于Hadoop平臺(tái)集成Hive與HBase云計(jì)算測(cè)試環(huán)境。并且使用大數(shù)據(jù)倉(cāng)庫(kù)工具Hive分析處理數(shù)據(jù),根據(jù)HBase數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)設(shè)計(jì)了一種基于格網(wǎng)模型的海洋漁業(yè)環(huán)境數(shù)據(jù)的空間查詢(xún)檢索策略。

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1HDF架構(gòu)示意圖

跨計(jì)算機(jī)集群分布式處理大數(shù)據(jù)集HadoopYarn、HDFS以及MapReduce。其中HadoopCommon中包括了其它Hadoop模塊中所需的Java庫(kù)和實(shí)用的程序；Yarn是用于作業(yè)調(diào)度和分別計(jì)算資源的框架；HDFS是一種分布式文件系統(tǒng)；MapReduc....

圖2-2YARN架構(gòu)圖

海洋漁業(yè)地理格網(wǎng)模型的研究與設(shè)計(jì)Base、Pig、Spark等應(yīng)用。括ResourceManager、NodeManager、ApplicationMaster、Seched個(gè)部分。ResourceManager主要負(fù)責(zé)整個(gè)Hadoop系統(tǒng)中的資源端的請(qǐng)求、啟動(dòng)和監(jiān)控A....

圖2-3MapReduce工作原理

第二章相關(guān)技術(shù)與理論是鍵值對(duì)（Key-Value）的形式輸出計(jì)算結(jié)果，map的輸出結(jié)果作為reduce的輸入。Reduce過(guò)程中，當(dāng)map任務(wù)執(zhí)行完成后，reduce節(jié)點(diǎn)就會(huì)讀取所有的map處理的結(jié)果數(shù)據(jù)，開(kāi)始對(duì)數(shù)據(jù)進(jìn)行處理，reduce進(jìn)程主要對(duì)數(shù)據(jù)進(jìn)行匯....

圖2-4Hive架構(gòu)

元數(shù)據(jù)：metastore是一般使用MySQL或者Derby數(shù)據(jù)庫(kù)對(duì)元數(shù)據(jù)進(jìn)行據(jù)默認(rèn)存儲(chǔ)在自帶的derby數(shù)據(jù)庫(kù)，但是通常情況下開(kāi)發(fā)人員采用MyS。Hive中的驅(qū)動(dòng)器主要包含解析器、編譯器、優(yōu)化器、執(zhí)行器。其中，將SQL字符串轉(zhuǎn)換成抽象語(yǔ)法樹(shù)AST，并對(duì)AST....

本文編號(hào)：3953330