【摘要】：海洋是人類生命的搖籃,世界商業(yè)的重要交通要道,更是人類的重要資源寶庫。隨著現(xiàn)代電子信息技術(shù)和通信技術(shù)的高速發(fā)展,推動了航天遙感器、自動浮標(biāo)、多波束回聲儀器、水下探測裝備等多樣化海洋監(jiān)測技術(shù)的廣泛應(yīng)用,導(dǎo)致了海洋大數(shù)據(jù)的數(shù)據(jù)量成爆炸式增長。面對多樣化的海洋大數(shù)據(jù),如何建立一個具有高效管理、分布式計算、彈性化存儲、快速分析和顯示制圖的海洋大數(shù)據(jù)云平臺已成智慧海洋建設(shè)和發(fā)展的重要課題。本文運用云計算技術(shù)在分布式計算、彈性存儲特性,以及現(xiàn)有大數(shù)據(jù)平臺在數(shù)據(jù)存儲管理和數(shù)據(jù)分析、挖掘等技術(shù)方面的優(yōu)勢開展集成研究,構(gòu)建高效海洋大數(shù)據(jù)綜合信息管理平臺,以服務(wù)海洋經(jīng)濟建設(shè)。重點開展對云計算平臺OpenStack虛擬化技術(shù)和分布式計算技術(shù)尤其是對分布式對象存儲組件Swift組件的彈性可伸縮、高可用性進行詳細(xì)研究,構(gòu)建具有高效計算和彈性存儲能力的海洋大數(shù)據(jù)基礎(chǔ)設(shè)施(IaaS)平臺。同時,對Hadoop大數(shù)據(jù)平臺在OpenStack上高效部署問題進行分析,給出了基于OpenStack和Hadoop集成應(yīng)用的海洋大數(shù)據(jù)管理與應(yīng)用解決方案,實現(xiàn)了海洋大數(shù)據(jù)的彈性存儲與高效計算問題。該平臺從基礎(chǔ)設(shè)施資源優(yōu)化和平臺框架構(gòu)建兩方面出發(fā)進行優(yōu)化設(shè)計。在基礎(chǔ)設(shè)施資源的優(yōu)化方面,主要依靠虛擬化技術(shù)將標(biāo)準(zhǔn)的存儲硬件先整合成一個大的資源池,實現(xiàn)資源按需分配;在海洋大數(shù)據(jù)平臺框架構(gòu)建方面,根據(jù)海洋數(shù)據(jù)的特殊性優(yōu)化Hadoop在OpenStack平臺上的高效部署,解決分布式計算和彈性存儲問題,同時,將Hadoop與WebGIS進行有機集成,以實現(xiàn)海洋大數(shù)據(jù)的分析和展示。
【圖文】：

海洋水文數(shù)據(jù)

圖 3-2 海洋溫度統(tǒng)計數(shù)據(jù)Fig. 3-2 ocean temperature statistics半結(jié)構(gòu)化數(shù)據(jù)，一般是可識別可解析的文本數(shù)據(jù)文件。例如海洋數(shù)據(jù)集中具有定義模式的 XML 數(shù)據(jù)文件。準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)多為網(wǎng)站地址字符串。這兩種結(jié)構(gòu)的數(shù)據(jù)在海洋大數(shù)據(jù)中所占的比例非常少，因此對于海洋數(shù)據(jù)的存儲管理只需著重考慮結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)是兩種完全不同的數(shù)據(jù)類型，但是在海洋數(shù)據(jù)實實際采集中，這些數(shù)據(jù)在采集之初，有時候會被混合在一起。人們通常非常熟悉了解結(jié)構(gòu)化數(shù)據(jù)的分析，對于非結(jié)構(gòu)化數(shù)據(jù)的分析管理比較陌生。結(jié)構(gòu)化數(shù)據(jù)的分析管理一般使用 MySQL 就可以很好地滿足用戶的所有需求，而非結(jié)構(gòu)化數(shù)據(jù)則不同。非結(jié)構(gòu)化數(shù)據(jù)又可以細(xì)分為圖片數(shù)據(jù)、視頻數(shù)據(jù)、流數(shù)據(jù)等等，用戶對于不同的非結(jié)構(gòu)化數(shù)據(jù)又有不同的需求，因此非結(jié)構(gòu)化數(shù)據(jù)要使用不同的技術(shù)進行分析管理。海洋遙感數(shù)據(jù)和海洋氣象資料，大多為 DECIMAL，NUMBER 和 String。數(shù)據(jù)格式為圖像數(shù)據(jù)（IMG 格式，TIF 格式，BMP 格式），，屬性數(shù)據(jù)（TXT 格式，CSV 格
【學(xué)位授予單位】：浙江海洋大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：P715.7

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 李健;王錚;史浩;臧琦;;海洋環(huán)境突發(fā)事件的大數(shù)據(jù)協(xié)同治理體系研究[J];海洋環(huán)境科學(xué);2015年06期

2 黃冬梅;隨宏運;賀琪;趙丹楓;杜艷玲;蘇誠;;云計算環(huán)境下基于數(shù)據(jù)關(guān)聯(lián)度的海洋監(jiān)測大數(shù)據(jù)布局策略[J];計算機工程與科學(xué);2015年11期

3 楊銳;;大數(shù)據(jù)時代海洋管理模式創(chuàng)新的思考[J];商;2015年39期

4 黃冬梅;季麗偉;袁小華;王振華;;基于時空一體化的海洋大數(shù)據(jù)快速展示平臺[J];海洋環(huán)境科學(xué);2015年05期

5 黃冬梅;孫樂;趙丹楓;;基于ADMD融合策略的海洋大數(shù)據(jù)索引技術(shù)研究[J];中國科學(xué)技術(shù)大學(xué)學(xué)報;2015年10期

6 李健;趙世卓;史浩;;考慮海洋環(huán)境突發(fā)事件的大數(shù)據(jù)海陸協(xié)同治理體系研究[J];科技管理研究;2015年17期

7 李小恕,李繼龍,賈靜,王立華,葛常水,黃其泉;數(shù)據(jù)庫技術(shù)在海洋生物資源與生物棲息環(huán)境數(shù)據(jù)管理中的應(yīng)用[J];上海水產(chǎn)大學(xué)學(xué)報;2002年04期

相關(guān)會議論文 前5條

1 韓中含;徐白山;陳敬東;楊成林;孫永進;楊旭;;基于Argo浮標(biāo)的海洋大數(shù)據(jù)平臺構(gòu)建[A];國家安全地球物理叢書（十四）——資源·環(huán)境與地球物理[C];2018年

2 張?zhí)A廉;陳淑琴;;大數(shù)據(jù)分析在海洋氣象風(fēng)浪關(guān)系研究中的應(yīng)用[A];第35屆中國氣象學(xué)會年會 S14 大數(shù)據(jù)、互聯(lián)網(wǎng)、融媒體時代氣象服務(wù)的創(chuàng)新與變革——第八屆氣象服務(wù)發(fā)展論壇[C];2018年

3 陳友淦;蔡岳儒;許肖梅;萬磊;;基于Python語言的水聲通信與大數(shù)據(jù)處理[A];中國聲學(xué)學(xué)會2017年全國聲學(xué)學(xué)術(shù)會議論文集[C];2017年

4 孟春霞;李桂娟;車樹偉;王東梅;白金;;SOM算法在海洋大數(shù)據(jù)挖掘中的應(yīng)用初探[A];2016年全國聲學(xué)學(xué)術(shù)會議論文集[C];2016年

5 袁道偉;高振會;卜志國;李忠強;曲亮;高曉慧;;VB數(shù)據(jù)庫訪問技術(shù)在海洋水文氣象觀測數(shù)據(jù)管理中的應(yīng)用[A];中國環(huán)境科學(xué)學(xué)會2009年學(xué)術(shù)年會論文集（第四卷）[C];2009年

相關(guān)重要報紙文章 前1條

1 楊潔;;大數(shù)據(jù)時代的海洋科技[N];中國海洋報;2016年

相關(guān)碩士學(xué)位論文 前10條

1 湯偉;海洋漁業(yè)地理格網(wǎng)模型研究與設(shè)計[D];浙江海洋大學(xué);2018年

2 楊凱云;基于大數(shù)據(jù)旅游需求預(yù)測的舟山海洋旅游業(yè)發(fā)展研究[D];浙江海洋大學(xué);2017年

3 隨宏運;強關(guān)聯(lián)海洋監(jiān)測數(shù)據(jù)存儲的布局研究[D];上海海洋大學(xué);2017年

4 費文e

本文編號：2623550