本文關(guān)鍵詞：基于SPARK的流場可視化任務(wù)處理框架研究

  更多相關(guān)文章： Hadoop Spark YARN 流場可視化

【摘要】：隨著“海洋強國”的提出,中國海洋事業(yè)進入了高速發(fā)展時期,在這個蘊藏著巨大物產(chǎn)、能量的海洋地質(zhì)寶庫中,流場數(shù)據(jù)成為揭示海洋現(xiàn)象、預(yù)防自然災(zāi)害、研究海洋動力機制等海洋研究學(xué)科的重要理論依據(jù)。但相對其他領(lǐng)域環(huán)境觀測來說,海洋流場的直接觀察與測量較為困難,且所耗費用較高。計算海洋流場變化規(guī)律時,有成百上千個時間點,而每個時間點上又分布著成千上萬個數(shù)據(jù)網(wǎng)格,這些時時刻刻發(fā)生變化的流場數(shù)據(jù),恰是我們研究流場變化規(guī)律、在規(guī)律中尋找規(guī)避自然災(zāi)害、挖掘海洋應(yīng)用潛力的重要數(shù)據(jù)依據(jù)。因此,流場可視化的研究工作,是我國推進海洋經(jīng)濟轉(zhuǎn)型過程中急需的核心技術(shù)和關(guān)鍵性技術(shù)。在政府的大力支持下,國家海洋局擬采用最新的云計算技術(shù)針對海洋流場可視化進行技術(shù)革新,在原有基于Hadoop的流場可視化技術(shù)平臺基礎(chǔ)上進行技術(shù)創(chuàng)新,進一步提高流場可視化的計算效率。本文提出了基于Spark的海洋流場可視化任務(wù)處理框架,旨在利用Hadoop2.0的新增資源管理系統(tǒng)YARN,將Spark計算框架代替MapReduce計算框架,利用Spark中基于內(nèi)存的計算模式和彈性分布式數(shù)據(jù)集RDD,將中間數(shù)據(jù)保存于磁盤和內(nèi)存之中,從而降低了傳統(tǒng)Hadoop框架的IO開銷和調(diào)度時間成本,解決原有基于Hadoop MapReduce的海洋流場可視化任務(wù)處理框架下交互式計算方面的缺陷,縮短長時間空間序列場的計算時間,提高可伸縮性和增強許多不同應(yīng)用程序共享集群的能力,從而進一步提升流場可視化的計算速率,提升了圖形計算能力,增強用戶體驗。針對流場可視化的任務(wù)需求與特點,本文首先研究了Hadoop和Spark的內(nèi)部核心架構(gòu)和任務(wù)處理工作機制,通過測試相同數(shù)據(jù)量下Hadoop MapReduce和Spark的任務(wù)控制效率,對原有基于Hadoop MapReduce的流場可視化任務(wù)處理機制進行優(yōu)化、改造,提出了基于Spark的流場可視化任務(wù)處理模式,并進行了相關(guān)可行性研究,在此基礎(chǔ)上提出了詳細的技術(shù)實現(xiàn)方案。最后,根據(jù)上述所提供的技術(shù)方案,針對流場可視化的具體情況對確定的云平臺進行任務(wù)處理機制改進,形成基于Spark的流場可視化任務(wù)處理框架,提高了流場可視化任務(wù)處理的數(shù)據(jù)吞吐量,使流場可視化的處理速度得到大幅度的提升。本文的研究意義不僅在于提高流場可視化的計算效率,本研究還具有良好的可移植性和可擴展性,可以以此為范例,為接下來將該任務(wù)處理框架應(yīng)用于各類矢量場可視化實現(xiàn)奠定了理論基礎(chǔ)和實踐參考,對研究云計算技術(shù)在圖形學(xué)上的應(yīng)用具有十分重要的意義。
【學(xué)位授予單位】：中國海洋大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP391.41;TP311.13

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 王加亮;秦勃;劉健健;劉妮;;基于MapReduce的交互可視化平臺[J];電信科學(xué);2012年09期

2 秦勃;李兵;王慶江;;基于物理特征的平面流場拓撲簡化算法[J];中國海洋大學(xué)學(xué)報(自然科學(xué)版);2010年02期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 王俊娜;海洋標量場要素并行可視化研究[D];中國海洋大學(xué);2008年

，

本文編號：1139097