本文關鍵詞：基于Spark的乘潮水位任務控制模式研究，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著計算機技術和海洋環(huán)境信息觀測技術的進步與發(fā)展,海洋環(huán)境信息越來越呈現(xiàn)出數(shù)據(jù)量大、多尺度、類型復雜、形態(tài)多樣、時空特性強、動態(tài)更新頻繁的特點,為了更好的研究長時間序列下空間數(shù)據(jù)場的處理問題,結合目前我國數(shù)值計算服務模式的發(fā)展特點,將Spark框架應用于乘潮水位任務控制模式中,改變了傳統(tǒng)乘潮水位計算的業(yè)務模式。近年來,云計算技術迅速發(fā)展,成為經(jīng)濟社會發(fā)展的重要推動力,并行計算為處理海洋數(shù)據(jù)提供了一個新的技術路線。Spark并行計算框架作為一種內存式計算框架,在沿用傳統(tǒng)Hadoop云計算框架優(yōu)點的基礎上,設計了一個更加通用的編程抽象,它可以處理不同的計算任務,實現(xiàn)了一個MapReduce的擴展,被稱為彈性分砸式數(shù)據(jù)集(RDD)。RDD大大增加了Spark并行計算框架的通用性,增加了高效的數(shù)據(jù)共享,單個執(zhí)行模型可以有效地支持不同的分布式計算�；赟park框架的上述優(yōu)點,本文開展了基于Spark框架下的乘潮水位任務控制模式研究。本文根據(jù)國家海洋公益項目“海洋環(huán)境信息云計算與云服務體系框架應用研究”對海洋環(huán)境信息處理的要求,以實驗室開發(fā)的Spark框架下乘潮水位任務控制和web交互系統(tǒng)為基礎,研究了基于Spark下的乘潮水位任務控制模式框架體系,并對Spark調度算法進行研究,針對乘潮水位計算的具體特點,研究并實現(xiàn)了適合乘潮水位計算的調度算法,實驗結果表明,基于Spark框架下的乘潮水位任務控制模式,能夠改變乘潮水位傳統(tǒng)的業(yè)務計算模式,將云計算技術引入到乘潮水位的計算中，降低乘潮水位計算對高性能集群的依賴性,降低計算的硬件成本；靈活性方而,改變了一體式的計算模式,可以根據(jù)計算需要,提高局部乘潮水位計算區(qū)域的效率和精確度；在任務控制模式方面,改進后的任務控制算法,可以提高任務分配的合理性和科學性,從而提高乘潮水位計算的效率。實驗結果證明：基于Spark的乘潮水位任務控制模式能夠提高乘潮水位計算的效率,提高任務計算的速度。本文主要的研究內容和工作如下：1.研究目前云計算技術的發(fā)展和應用情況,以及云計算技術在海量海洋環(huán)境數(shù)據(jù)處理上的優(yōu)勢,結合海洋環(huán)境處理典型應用——乘潮水位計算的業(yè)務模式和計算特點,研究將Spark并行計算框架應用于乘潮水位任務控制的模式。2.針對傳統(tǒng)集群一體化計算的缺點,設計和實現(xiàn)了乘潮水位計算Web交互系統(tǒng),增加了乘潮水位計算的靈活性、伸縮性和交互性,并支持對乘潮水位計算結果可視化的交互瀏覽和無級縮放,達到使用云平臺進行海洋環(huán)境信息處理的目的,為直觀展示和分析海洋數(shù)據(jù),挖掘和研究海洋規(guī)律提供更高效更快速的手段。3.對乘潮水位計算過程進行監(jiān)控,了解各個計算任務的節(jié)點分配情況。4.在研究Spark原生調度算法之后,結合乘潮水位任務計算的特點,提出一套優(yōu)化調度算法,以Spark集群計算能力和乘潮水位計算區(qū)域的復雜度為調度算法的依據(jù),有效提高了Spark框架下乘潮水位計算任務分配的合理性,使Spark集群的計算效率提高。
【關鍵詞】：Spark 乘潮水位 任務控制模式 海洋環(huán)境信息處理
【學位授予單位】：中國海洋大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP338.6
【目錄】：

• 摘要5-7
• abstract7-12
• 1. 緒論12-18
• 1.1 課題研究的背景和意義12-13
• 1.2 Spark并行計算框架研究現(xiàn)狀13-15
• 1.3 乘潮水位研究內容與現(xiàn)狀15-16
• 1.4 本文主要研究工作及貢獻16
• 1.5 本文組織結構16-18
• 2. 關鍵技術18-28
• 2.1 海洋信息處理與云平臺18-19
• 2.2 乘潮水位計算模式19-20
• 2.3 Spark框架20-26
• 2.3.1 Spark核心思想21-22
• 2.3.2 Spark生態(tài)系統(tǒng)22-24
• 2.3.3 Spark分布式部署模式24-26
• 2.4 本章小結26-28
• 3. Spark框架下乘潮水位任務控制模式框架體系28-38
• 3.1 云平臺海洋環(huán)境信息處理框架體系28-29
• 3.2 乘潮水位Spark控制模式問題分析29-31
• 3.3 任務控制模式的運行過程31-37
• 3.4 本章小結37-38
• 4. Spark框架下乘潮水位任務控制模式研究與實現(xiàn)38-52
• 4.1 Spark的任務控制模式簡介38-40
• 4.2 Spark的任務調度算法40-43
• 4.3 Spark乘潮水位任務調度算法優(yōu)化43-51
• 4.3.1 優(yōu)化背景43-45
• 4.3.2 優(yōu)化算法45-48
• 4.3.3 具體技術實現(xiàn)方法48-51
• 4.4 本章小結51-52
• 5. 實驗結果對比分析52-58
• 5.1 實驗準備53-54
• 5.2 實驗結果54-56
• 5.2.1 算法測試54-55
• 5.2.2 Spark框架下乘潮水位任務控制模式測試55-56
• 5.3 結果分析與測試結論56-58
• 6. 總結與展望58-60
• 參考文獻60-64
• 附錄64-68
• 致謝68-70
• 個人簡歷70

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳虹君;;基于Hadoop平臺的Spark框架研究[J];電腦知識與技術;2014年35期

2 嵇智源;潘巍;;面向大數(shù)據(jù)的內存數(shù)據(jù)管理研究現(xiàn)狀與展望[J];計算機工程與設計;2014年10期

3 劉亞瓊;;星火燎原 2014中國Spark技術峰會精彩回顧[J];程序員;2014年05期

4 張凱;秦勃;劉其成;;基于GPU-Hadoop的并行計算框架研究與實現(xiàn)[J];計算機應用研究;2014年08期

5 楊萬康;尹寶樹;楊德周;徐振華;;基于FVCOM的南海北部海域潮汐潮流數(shù)值模擬[J];海洋科學;2013年09期

6 陳波昌;魏皓;;FVCOM模型在渤海灣潮流潮汐模擬中的應用[J];天津科技大學學報;2013年04期

7 尼建軍;王新怡;張鳳燁;王永剛;連展;;基于FVCOM的渤海潮波數(shù)值模擬[J];海洋科學;2013年02期

8 王加亮;秦勃;劉健健;劉妮;;基于MapReduce的交互可視化平臺[J];電信科學;2012年09期

9 胡松;陳長勝;高郭平;來志剛;葛建忠;林輝嬋;戚建華;;全球非結構網(wǎng)格有限體積法海洋模式東中國海潮汐計算初步分析[J];上海海洋大學學報;2012年04期

10 ;A FVCOM-Based Unstructured Grid Wave, Current,Sediment Transport Model,I.Model Description and Validation[J];Journal of Ocean University of China;2011年01期

  本文關鍵詞：基于Spark的乘潮水位任務控制模式研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：328000