發(fā)布時間：2023-05-07 16:47

　　近年來,大數(shù)據(jù)、云計算等新興技術(shù)快速發(fā)展,在電子商務、教育、醫(yī)療、交通等領域已經(jīng)得到廣泛的應用。云計算能夠給用戶提供可靠的、自定義的、最大化資源利用的服務,具有安全的數(shù)據(jù)存儲、方便快捷的互聯(lián)網(wǎng)服務和強大的計算能力等特點。目前,我國正在大力發(fā)展海洋事業(yè),隨著海洋探測技術(shù)的不斷完善和優(yōu)化,海洋數(shù)據(jù)表現(xiàn)出了海量化、復雜性、多樣化等特征,給數(shù)據(jù)管理、利用和海洋知識挖掘等帶來巨大的挑戰(zhàn)。本論文研究了基于Hadoop和Spark的云計算技術(shù),設計了一種針對物理海洋數(shù)據(jù)的云存儲和處理方案,并將這一方案應用在數(shù)據(jù)的統(tǒng)計分析中。相比傳統(tǒng)的文件服務器處理模式在配置成本高、處理效率較低、編程模型復雜等方面的不足,基于Hadoop和Spark的云計算技術(shù)在分布式數(shù)據(jù)存儲和并行計算方面有明顯的優(yōu)勢。針對海洋大數(shù)據(jù)的分布式存儲,本論文采用HDFS作為底層存儲框架,并對HDFS的整體架構(gòu)以及數(shù)據(jù)如何寫入、分塊、備份和恢復進行了深入研究,并與本地文件系統(tǒng)做了對比;針對海洋大數(shù)據(jù)的分析處理,本論文采用Spark和Yarn相結(jié)合的方式進行并行框架設計,并基于RDD構(gòu)建NetCDF分布式數(shù)據(jù)集,通過重寫數(shù)據(jù)讀取接口對大范圍...

【文章頁數(shù)】：82 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 選題背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文的研究內(nèi)容
    1.4 論文的組織結(jié)構(gòu)
    1.5 本章小結(jié)
2 物理海洋數(shù)據(jù)處理需求分析
    2.1 海洋數(shù)據(jù)特點
    2.2 海洋數(shù)據(jù)存儲格式
    2.3 海洋數(shù)據(jù)的處理方法分析
    2.4 本章小結(jié)
3 基于Hadoop和Spark的云計算方案設計
    3.1 基于Hadoop和Spark的云計算架構(gòu)設計
    3.2 基于HDFS的物理海洋數(shù)據(jù)存儲設計
    3.3 基于Spark內(nèi)存云的物理海洋大數(shù)據(jù)處理框架設計
    3.4 面向物理海洋大數(shù)據(jù)處理的Spark性能調(diào)優(yōu)
    3.5 本章小結(jié)
4 實驗環(huán)境搭建與效率對比
    4.1 硬件環(huán)境
    4.2 軟件環(huán)境
    4.3 Hadoop和Spark集群環(huán)境搭建
    4.4 效率對比
    4.5 本章小結(jié)
5 波高-周期散布圖統(tǒng)計分析應用
    5.1 波高-周期散布圖統(tǒng)汁算法
    5.2 波高-周期聯(lián)合分布季節(jié)性變化分析
    5.3 波高-周期聯(lián)合分布地理特征分析
    5.4 有效波高重現(xiàn)期極值推算分析
    5.5 本章小結(jié)
6 總結(jié)和展望
    6.1 總結(jié)
    6.2 展望
參考文獻
致謝
攻讀碩士期間參與的科研項目



本文編號：3810948