本文選題：海洋監(jiān)測數(shù)據(jù)　切入點：強關(guān)聯(lián)矩陣　出處：《上海海洋大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著全方位海洋立體監(jiān)測網(wǎng)的建立和“數(shù)字海洋”示范效應(yīng)的擴大,海洋監(jiān)測數(shù)據(jù)呈爆炸式增長。面對具有強數(shù)據(jù)關(guān)聯(lián)性、多學(xué)科交叉性、海洋數(shù)據(jù)獲取手段復(fù)雜化和種類多樣化等特性的海洋監(jiān)測大數(shù)據(jù),如何能夠快速、有效地找到所需的數(shù)據(jù)是海洋研究人員對于監(jiān)測數(shù)據(jù)管理的重要需求之一。為了能夠更好地組織和管理海洋監(jiān)測大數(shù)據(jù),對于數(shù)據(jù)的布局策略應(yīng)運而生,并逐步成為制約數(shù)據(jù)有效管理和應(yīng)用的關(guān)鍵問題之一。海洋監(jiān)測數(shù)據(jù)的海量性、強關(guān)聯(lián)性及實時更新等特征,給海洋應(yīng)用(如極地在線考察、怪潮災(zāi)害反演、海洋輔助決策)上的數(shù)據(jù)快速存儲和查詢造成了巨大的壁壘,帶來了如下問題:1)如何對關(guān)聯(lián)緊密的數(shù)據(jù)進行靜態(tài)布局,以適應(yīng)海洋應(yīng)用高性能計算、高頻度查詢等需求;2)如何對實時更新、快速增長的海洋數(shù)據(jù)進行動態(tài)布局,從而降低訓(xùn)練時間的開銷和用戶訪問數(shù)據(jù)的響應(yīng)時間;3)如何使用合理的副本布局策略,以保證數(shù)據(jù)的可靠性和安全性,并在一定程度上提高數(shù)據(jù)的響應(yīng)速度。為此,本文分別提出了靜態(tài)數(shù)據(jù)布局策略、動態(tài)數(shù)據(jù)布局策略和數(shù)據(jù)副本布局策略,提高了數(shù)據(jù)的利用率及海洋應(yīng)用的查詢效率。本文以具有強數(shù)據(jù)關(guān)聯(lián)性、地理區(qū)域性、監(jiān)測實時性等特點的海洋監(jiān)測大數(shù)據(jù)作為研究對象,以數(shù)據(jù)的高效布局作為目標(biāo)。研究面向海洋數(shù)據(jù)的布局管理方法,其主要內(nèi)容包括以下四方面:(1)總結(jié)了海洋數(shù)據(jù)管理的研究現(xiàn)狀及關(guān)鍵問題,并通過分析數(shù)據(jù)布局的結(jié)構(gòu)和功能機理,指出海洋監(jiān)測數(shù)據(jù)特性對于數(shù)據(jù)布局的影響,從而提出了海洋監(jiān)測數(shù)據(jù)的定義和符號化表示,為數(shù)據(jù)布局在海洋數(shù)據(jù)管理中的應(yīng)用打好基礎(chǔ)。(2)針對海洋監(jiān)測數(shù)據(jù)具有海量、異構(gòu)、強關(guān)聯(lián)的特點,提出了基于關(guān)聯(lián)度的靜態(tài)布局策略。首先通過分析數(shù)據(jù)的特性確定了適合海洋監(jiān)測大數(shù)據(jù)的云計算存儲模式;然后綜合考慮監(jiān)測任務(wù)、監(jiān)測點和監(jiān)測數(shù)據(jù)之間的關(guān)聯(lián),建立海洋監(jiān)測點間的關(guān)聯(lián)度、監(jiān)測數(shù)據(jù)間的關(guān)聯(lián)度和監(jiān)測數(shù)據(jù)全局關(guān)聯(lián)度;最后從三個角度對海洋監(jiān)測數(shù)據(jù)進行有效地布局。這不僅滿足了海洋監(jiān)測大數(shù)據(jù)的存儲管理要求,同時,將具有較高關(guān)聯(lián)度的數(shù)據(jù)存放至同一數(shù)據(jù)中心內(nèi),取得了較好的布局效果。(3)針對海洋監(jiān)測數(shù)據(jù)動態(tài)實時更新、變化大的問題,提出了基于增量學(xué)習(xí)的動態(tài)數(shù)據(jù)布局策略。根據(jù)對海洋監(jiān)測數(shù)據(jù)價值的形式化定義,將數(shù)據(jù)存儲區(qū)分為活躍區(qū)和非活躍區(qū)。同時,采用增量學(xué)習(xí)方法,根據(jù)已經(jīng)獲得的知識對數(shù)據(jù)的增量部分進行學(xué)習(xí),而不是對數(shù)據(jù)增量后的整體數(shù)據(jù)庫進行重新建模,有效地壓縮了樣本集的大小,并舍棄了無用樣本。實驗結(jié)果表明,數(shù)據(jù)的布局效果良好。(4)針對系統(tǒng)存儲空間利用率和存取的數(shù)據(jù)保護問題,提出了基于多屬性最優(yōu)化的數(shù)據(jù)副本布局策略。該策略在動態(tài)布局策略的基礎(chǔ)上,首先增加了對數(shù)據(jù)副本熱度的定義,然后根據(jù)數(shù)據(jù)的熱度值,建立了數(shù)據(jù)副本的更新方法。同時,分析了存儲節(jié)點的影響因素,采用多屬性最優(yōu)化方法對影響存儲節(jié)點的關(guān)鍵屬性進行決策分析,找到與各個屬性最優(yōu)的節(jié)點進行數(shù)據(jù)副本布局。實驗結(jié)果表明,該策略有效地對數(shù)據(jù)副本進行管理和布局。
[Abstract]:......
【學(xué)位授予單位】：上海海洋大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：P717;TP311.13

【參考文獻】

相關(guān)期刊論文 前10條

1 黃冬梅;隨宏運;賀琪;趙丹楓;杜艷玲;蘇誠;;強關(guān)聯(lián)海洋數(shù)據(jù)劃分研究[J];計算機工程;2016年05期

2 肖中正;陳寧江;賈炅昊;張文博;;一種基于文件支持度的動態(tài)副本管理機制[J];計算機研究與發(fā)展;2016年02期

3 XU Zhenhuan;LIU Ying;LI Yuguo;;Effects of Uncertainties in the Position and Orientation of Both the Transmitter and Receivers on Marine Controlled-Source Electromagnetic Data[J];Journal of Ocean University of China;2016年01期

4 黃冬梅;孫樂;石少華;蘇誠;趙丹楓;;面向Tabular庫的數(shù)據(jù)模型及其查詢問題[J];中國科學(xué)技術(shù)大學(xué)學(xué)報;2016年01期

5 林偉偉;吳文泰;;面向云計算環(huán)境的能耗測量和管理方法[J];軟件學(xué)報;2016年04期

6 孫耀;劉杰;葉丹;鐘華;;分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)的負(fù)載均衡框架[J];軟件學(xué)報;2016年12期

7 廖彬;張?zhí)?于炯;劉繼;鐘磊;劉炎;;適應(yīng)節(jié)能與異構(gòu)環(huán)境的MapReduce數(shù)據(jù)布局策略[J];中山大學(xué)學(xué)報(自然科學(xué)版);2015年06期

8 孫記紅;蘇國輝;楊辰;何書鋒;;面向業(yè)務(wù)的海洋地質(zhì)數(shù)據(jù)服務(wù)平臺構(gòu)建方法[J];國土資源遙感;2015年02期

9 邢玉軒;肖儂;劉芳;付印金;李芳;巫小泉;;一種基于歷史信息的一致性Hash集群重復(fù)數(shù)據(jù)刪除路由策略[J];計算機研究與發(fā)展;2014年S2期

10 楊洪章;張軍偉;劉振軍;張建剛;;Readdir++:一種并行網(wǎng)絡(luò)文件系統(tǒng)中海量小文件讀優(yōu)化技術(shù)[J];小型微型計算機系統(tǒng);2014年11期

相關(guān)碩士學(xué)位論文 前1條

1 張凱;基于GPU-hadoop的海洋環(huán)境信息可視化并行計算框架研究與實現(xiàn)[D];中國海洋大學(xué);2014年

，

本文編號：1607534