本文關鍵詞：混合云存儲環(huán)境下海洋大數(shù)據(jù)的布局及遷移算法研究

  更多相關文章： 混合云存儲 海洋 大數(shù)據(jù) 數(shù)據(jù)布局 遷移算法

【摘要】：隨著信息技術的不斷更新，各種高新的數(shù)據(jù)觀測、監(jiān)測設備廣泛應用于海洋數(shù)據(jù)的采集，包括：衛(wèi)星遙感、航空、氣象氣球，臺站，浮標，船舶，以及水下傳感器等。全方位、立體化的海洋監(jiān)測系統(tǒng)的形成，為我國全面實現(xiàn)海洋信息化奠定了堅實的基礎。由于海洋科學學科特征以及海洋數(shù)據(jù)獲取手段的多源性導致了海洋數(shù)據(jù)具有海量性、多樣性、實時性、空間性、敏感性、異構(gòu)性等特征，并且海洋數(shù)據(jù)量急劇增加，海洋數(shù)據(jù)無疑成為大數(shù)據(jù)的典范。海量、復雜的海洋大數(shù)據(jù)在給信息化發(fā)展帶來機遇的同時，也給數(shù)據(jù)的管理帶了新的挑戰(zhàn)。而海洋大數(shù)據(jù)的高效管理是實現(xiàn)海洋信息化的基石，是制約海洋信息化發(fā)展的瓶頸問題之一，因此，如何對復雜的、海量的海洋大數(shù)據(jù)進行高效的數(shù)據(jù)管理是目前亟需解決的問題。 伴隨著云計算的興起和發(fā)展，云存儲引起了業(yè)界的關注，其為大數(shù)據(jù)管理提供了新的理念和方法。云存儲分為公有云、私有云和混合云三種類型，其具有容量大、成本低、高擴展性以及高可靠性等優(yōu)勢，，為大數(shù)據(jù)的高效管理提供了有效的方法。云存儲環(huán)境由成千上萬個價格相對低廉的基礎設施組成，為大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)計算提供了足夠大的空間。海洋大數(shù)據(jù)具有區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著特征（如海量性、多樣性、實時性、空間性、敏感性、異構(gòu)性等），并且海洋數(shù)據(jù)的特征不僅影響海洋大數(shù)據(jù)的高效管理，同時也影響著海洋大數(shù)據(jù)的應用。故此，兼顧考慮海洋大數(shù)據(jù)的典型特征下，本文提出了適合于海洋大數(shù)據(jù)存儲的混合云存儲模式，其主要內(nèi)容如下： 1.文章針對研究的背景與意義首先做了綜述。其次綜述了國內(nèi)外云存儲、數(shù)據(jù)布局與數(shù)據(jù)遷移的研究現(xiàn)狀，并在此基礎之上，分析了在大數(shù)據(jù)的管理方面尚且存在的問題。由于海洋大數(shù)據(jù)顯著的特征，在混合云存儲環(huán)境下海洋大數(shù)據(jù)的管理亟待解決的問題主要有：1）如何在混合云存儲環(huán)境中對屬性特征顯著的海洋大數(shù)據(jù)進行合理的數(shù)據(jù)布局，減少后續(xù)數(shù)據(jù)應用過程中數(shù)據(jù)的傳遞與遷移；2）如何判斷何時（When），哪個數(shù)據(jù)中心（Where），哪一部分（Which）數(shù)據(jù)進行遷移；3）在保證數(shù)據(jù)安全和數(shù)據(jù)響應速度的前提下，如何盡可能的降低數(shù)據(jù)管理的成本。 2.對海洋大數(shù)據(jù)的顯著特征做了詳細闡述。根據(jù)海洋大數(shù)據(jù)的空間性特征以及海洋大數(shù)據(jù)應用特點，即在實際的應用過程中空間位置臨近的數(shù)據(jù)對象被同時調(diào)用的概率較高。本文利用空間相關性理論，對海洋大數(shù)據(jù)進行相關性分析，根據(jù)數(shù)據(jù)之間的相關程度對海洋大數(shù)據(jù)進行布局。將相關性程度高的數(shù)據(jù)存儲在同一或者臨近的數(shù)據(jù)中心上，避免或減少數(shù)據(jù)中心之間數(shù)據(jù)的傳遞，從而降低了資源和時間的消耗，提高數(shù)據(jù)存儲性能并降低了數(shù)據(jù)管理成本。 3.針對混合云存儲環(huán)境中的關鍵問題數(shù)據(jù)遷移，本文首先對該問題進行了形式化的描述，并對問題中所涉及的概念給出了較為準確的定義，進而提出了混合云存儲中海洋大數(shù)據(jù)的遷移算法。在遷移算法中，將海洋數(shù)據(jù)的敏感度、數(shù)據(jù)訪問頻率，數(shù)據(jù)大小，數(shù)據(jù)時間長度等因素作為遷移因子，對影響數(shù)據(jù)遷移的因素進行了充分的權(quán)衡。遷移算法兼顧考慮了數(shù)據(jù)存儲容量、海洋數(shù)據(jù)本身的屬性特征和數(shù)據(jù)訪問過程中的動態(tài)變化。 4.最后，本文通過實驗對所提出方法的正確性與有效性進行了驗證。利用某海域的某一時間段的數(shù)據(jù)，通過ArcGIS中空間統(tǒng)計模塊的分析，驗證了在混合云存儲環(huán)境中利用空間相關系數(shù)對數(shù)據(jù)進行布局的正確性。另外，本文通過模擬混合云存儲環(huán)境，利用某信息中心多年來的實際存儲數(shù)據(jù)狀況，對傳統(tǒng)的數(shù)據(jù)管理方法與本文提出的海洋大數(shù)據(jù)管理方法，在數(shù)據(jù)管理成本與數(shù)據(jù)響應速度兩方面進行對比分析。實驗驗證了在混合云存儲模式下大大降低了數(shù)據(jù)管理成本，同時，通過本文提出的遷移算法保證了數(shù)據(jù)的訪問速度。 本文的研究工作得到了國家自然科學基金項目（編號：61272098），科技部973項目（編號：2012CB316206）和上海市自然科學基金（13ZR1455800）的資助。
【關鍵詞】：混合云存儲 海洋 大數(shù)據(jù) 數(shù)據(jù)布局 遷移算法
【學位授予單位】：上海海洋大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-11
• 第一章 緒論11-22
• 1.1 研究背景和意義11-14
• 1.1.1 研究背景11-13
• 1.1.2 研究的目的和意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-20
• 1.2.1 云存儲的研究現(xiàn)狀14-15
• 1.2.2 數(shù)據(jù)布局的研究現(xiàn)狀15-17
• 1.2.3 數(shù)據(jù)遷移的研究現(xiàn)狀17-18
• 1.2.4 存在的問題18-20
• 1.3 本文主要研究內(nèi)容20-22
• 1.3.1 主要研究內(nèi)容20
• 1.3.2 章節(jié)安排20-22
• 第二章 利用空間相關系數(shù)的海洋大數(shù)據(jù)布局分析22-32
• 2.1 海洋大數(shù)據(jù)特征分析22-24
• 2.2 混合云存儲環(huán)境以及海洋大數(shù)據(jù)對象的描述與定義24-26
• 2.2.1 混合云存儲環(huán)境24-25
• 2.2.2 海洋大數(shù)據(jù)對象的形式化定義25-26
• 2.3 空間相關性理論26-27
• 2.4 海洋大數(shù)據(jù)的布局方法27-29
• 2.5 海洋大數(shù)據(jù)空間相關系數(shù)實例分析29-31
• 2.6 本章小結(jié)31-32
• 第三章 混合云存儲中海洋大數(shù)據(jù)的遷移算法32-36
• 3.1 數(shù)據(jù)遷移的相關概念定義32-33
• 3.1.1 混合云存儲環(huán)境中的數(shù)據(jù)遷移32
• 3.1.2 混合云存儲環(huán)境中數(shù)據(jù)遷移因子32-33
• 3.1.3 遷移函數(shù)33
• 3.2 遷移算法33-35
• 3.3 本章小結(jié)35-36
• 第四章 混合云存儲環(huán)境中遷移算法實驗分析36-44
• 4.1 實驗環(huán)境與實驗設計36
• 4.2 利用空間相關系數(shù)布局方法的驗證36-39
• 4.3 遷移算法的管理成本分析比較39-41
• 4.4 遷移算法響應速率分析比較41-43
• 4.5 本章小結(jié)43-44
• 第五章 結(jié)論與展望44-46
• 5.1 研究工作總結(jié)44
• 5.2 研究展望44-46
• 參考文獻46-51
• 附錄51-53
• 致謝53-54

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 周艷;朱慶;張葉廷;;基于Hilbert曲線層次分解的空間數(shù)據(jù)劃分方法[J];地理與地理信息科學;2007年04期

2 曹志冬;王勁峰;高一鴿;韓衛(wèi)國;馮曉磊;曾光;;廣州SARS流行的空間風險因子與空間相關性特征[J];地理學報;2008年09期

3 李四海;姜曉軼;張峰;;我國數(shù)字海洋建設進展與展望[J];海洋開發(fā)與管理;2010年06期

4 張峰;李四海;石綏祥;;數(shù)字海洋數(shù)據(jù)體系結(jié)構(gòu)研究(英文)[J];Marine Science Bulletin;2010年02期

5 黃冬梅;郭利銳;張嶺;;風暴潮應急預案模塊的設計及實現(xiàn)[J];計算機應用與軟件;2012年09期

6 李伏;朱青;;混合MapReduce環(huán)境下大數(shù)據(jù)劃分的查詢優(yōu)化[J];計算機科學與探索;2012年10期

7 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

8 張鵬;王桂玲;徐學輝;;云計算環(huán)境下適于工作流的數(shù)據(jù)布局方法[J];計算機研究與發(fā)展;2013年03期

9 夏軍,楊學軍;基于數(shù)據(jù)空間融合的全局計算與數(shù)據(jù)劃分方法[J];軟件學報;2004年09期

10 杜云艷,楊曉梅,王敬貴;中國海岸帶及近海多源數(shù)據(jù)空間組合和運行的基礎研究[J];海洋學報(中文版);2003年05期

中國博士學位論文全文數(shù)據(jù)庫 前4條

1 周剛;云計算環(huán)境中面向取證的現(xiàn)場遷移技術研究[D];華中科技大學;2011年

2 岳銀亮;存儲系統(tǒng)低能耗數(shù)據(jù)布局技術研究[D];華中科技大學;2010年

3 安寶宇;云存儲中數(shù)據(jù)完整性保護關鍵技術研究[D];北京郵電大學;2012年

4 孫建;中國區(qū)域技術創(chuàng)新績效計量研究[D];重慶大學;2012年

本文編號：635378