本文關(guān)鍵詞：基于SPARK的流場(chǎng)可視化任務(wù)處理框架研究

  更多相關(guān)文章： Hadoop Spark YARN 流場(chǎng)可視化

【摘要】：隨著“海洋強(qiáng)國(guó)”的提出,中國(guó)海洋事業(yè)進(jìn)入了高速發(fā)展時(shí)期,在這個(gè)蘊(yùn)藏著巨大物產(chǎn)、能量的海洋地質(zhì)寶庫(kù)中,流場(chǎng)數(shù)據(jù)成為揭示海洋現(xiàn)象、預(yù)防自然災(zāi)害、研究海洋動(dòng)力機(jī)制等海洋研究學(xué)科的重要理論依據(jù)。但相對(duì)其他領(lǐng)域環(huán)境觀測(cè)來(lái)說(shuō),海洋流場(chǎng)的直接觀察與測(cè)量較為困難,且所耗費(fèi)用較高。計(jì)算海洋流場(chǎng)變化規(guī)律時(shí),有成百上千個(gè)時(shí)間點(diǎn),而每個(gè)時(shí)間點(diǎn)上又分布著成千上萬(wàn)個(gè)數(shù)據(jù)網(wǎng)格,這些時(shí)時(shí)刻刻發(fā)生變化的流場(chǎng)數(shù)據(jù),恰是我們研究流場(chǎng)變化規(guī)律、在規(guī)律中尋找規(guī)避自然災(zāi)害、挖掘海洋應(yīng)用潛力的重要數(shù)據(jù)依據(jù)。因此,流場(chǎng)可視化的研究工作,是我國(guó)推進(jìn)海洋經(jīng)濟(jì)轉(zhuǎn)型過(guò)程中急需的核心技術(shù)和關(guān)鍵性技術(shù)。在政府的大力支持下,國(guó)家海洋局?jǐn)M采用最新的云計(jì)算技術(shù)針對(duì)海洋流場(chǎng)可視化進(jìn)行技術(shù)革新,在原有基于Hadoop的流場(chǎng)可視化技術(shù)平臺(tái)基礎(chǔ)上進(jìn)行技術(shù)創(chuàng)新,進(jìn)一步提高流場(chǎng)可視化的計(jì)算效率。本文提出了基于Spark的海洋流場(chǎng)可視化任務(wù)處理框架,旨在利用Hadoop2.0的新增資源管理系統(tǒng)YARN,將Spark計(jì)算框架代替MapReduce計(jì)算框架,利用Spark中基于內(nèi)存的計(jì)算模式和彈性分布式數(shù)據(jù)集RDD,將中間數(shù)據(jù)保存于磁盤和內(nèi)存之中,從而降低了傳統(tǒng)Hadoop框架的IO開(kāi)銷和調(diào)度時(shí)間成本,解決原有基于Hadoop MapReduce的海洋流場(chǎng)可視化任務(wù)處理框架下交互式計(jì)算方面的缺陷,縮短長(zhǎng)時(shí)間空間序列場(chǎng)的計(jì)算時(shí)間,提高可伸縮性和增強(qiáng)許多不同應(yīng)用程序共享集群的能力,從而進(jìn)一步提升流場(chǎng)可視化的計(jì)算速率,提升了圖形計(jì)算能力,增強(qiáng)用戶體驗(yàn)。針對(duì)流場(chǎng)可視化的任務(wù)需求與特點(diǎn),本文首先研究了Hadoop和Spark的內(nèi)部核心架構(gòu)和任務(wù)處理工作機(jī)制,通過(guò)測(cè)試相同數(shù)據(jù)量下Hadoop MapReduce和Spark的任務(wù)控制效率,對(duì)原有基于Hadoop MapReduce的流場(chǎng)可視化任務(wù)處理機(jī)制進(jìn)行優(yōu)化、改造,提出了基于Spark的流場(chǎng)可視化任務(wù)處理模式,并進(jìn)行了相關(guān)可行性研究,在此基礎(chǔ)上提出了詳細(xì)的技術(shù)實(shí)現(xiàn)方案。最后,根據(jù)上述所提供的技術(shù)方案,針對(duì)流場(chǎng)可視化的具體情況對(duì)確定的云平臺(tái)進(jìn)行任務(wù)處理機(jī)制改進(jìn),形成基于Spark的流場(chǎng)可視化任務(wù)處理框架,提高了流場(chǎng)可視化任務(wù)處理的數(shù)據(jù)吞吐量,使流場(chǎng)可視化的處理速度得到大幅度的提升。本文的研究意義不僅在于提高流場(chǎng)可視化的計(jì)算效率,本研究還具有良好的可移植性和可擴(kuò)展性,可以以此為范例,為接下來(lái)將該任務(wù)處理框架應(yīng)用于各類矢量場(chǎng)可視化實(shí)現(xiàn)奠定了理論基礎(chǔ)和實(shí)踐參考,對(duì)研究云計(jì)算技術(shù)在圖形學(xué)上的應(yīng)用具有十分重要的意義。
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.41;TP311.13

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 王加亮;秦勃;劉健健;劉妮;;基于MapReduce的交互可視化平臺(tái)[J];電信科學(xué);2012年09期

2 秦勃;李兵;王慶江;;基于物理特征的平面流場(chǎng)拓?fù)浜?jiǎn)化算法[J];中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年02期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 王俊娜;海洋標(biāo)量場(chǎng)要素并行可視化研究[D];中國(guó)海洋大學(xué);2008年

，

本文編號(hào)：1139097