發(fā)布時(shí)間：2018-01-02 23:07

  本文關(guān)鍵詞：基于Spark框架的乘潮水位計(jì)算與可視化平臺(tái)　出處：《計(jì)算機(jī)工程與科學(xué)》2015年12期 　論文類型：期刊論文

  更多相關(guān)文章： Spark 乘潮水位 任務(wù)調(diào)度算法 并行處理 海洋環(huán)境信息

【摘要】：乘潮水位計(jì)算是海洋環(huán)境信息處理的重要組成部分,具有計(jì)算量大、計(jì)算復(fù)雜度高、計(jì)算時(shí)間長(zhǎng)等特性。采用傳統(tǒng)集群計(jì)算模式實(shí)現(xiàn)乘潮水位計(jì)算業(yè)務(wù),存在計(jì)算成本高、計(jì)算伸縮性和交互性差的問題。針對(duì)以上問題,提出一種基于Spark框架的乘潮水位計(jì)算和可視化平臺(tái)。結(jié)合對(duì)Spark任務(wù)調(diào)度算法的研究,設(shè)計(jì)和實(shí)現(xiàn)了一種基于節(jié)點(diǎn)計(jì)算能力的任務(wù)調(diào)度算法,實(shí)現(xiàn)了長(zhǎng)時(shí)間序列的多任務(wù)乘潮水位數(shù)據(jù)的檢索、獲取、數(shù)值計(jì)算、特征可視化的并行處理,達(dá)到了海量海洋環(huán)境數(shù)據(jù)計(jì)算和可視化處理的目的。實(shí)驗(yàn)結(jié)果表明,提出的基于Spark的乘潮水位計(jì)算和可視化平臺(tái)可以有效地提高海量乘潮水位數(shù)據(jù)的分布式并行處理的效率,為更加快速和高效的乘潮水位計(jì)算提供了一種新的方法。
[Abstract]:Tidal water level meter is an important part of marine environmental information processing. It has the characteristics of large amount of calculation, high computational complexity and long calculation time. The traditional cluster computing mode is used to realize the operation of tidal level calculation. There are the problems of high computing cost, poor scalability and interactivity. This paper presents a platform for tidal level calculation and visualization based on Spark framework. Based on the research of Spark task scheduling algorithm, a task scheduling algorithm based on node computing ability is designed and implemented. The parallel processing of multi-task tidal level data retrieval, acquisition, numerical calculation and feature visualization of long time series is realized. The purpose of calculating and visualizing the massive marine environment data is achieved. The experimental results show that. The proposed platform for tidal level calculation and visualization based on Spark can effectively improve the efficiency of distributed parallel processing of mass tidal level data. A new method is provided for faster and more efficient calculation of tidal level.
【作者單位】： 中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院;國(guó)家海洋信息中心;
【基金】：海洋公益性行業(yè)科研專項(xiàng)經(jīng)費(fèi)資助項(xiàng)目(201105033)
【分類號(hào)】：P731.23;TP338.8
【正文快照】： 1引言隨著海洋經(jīng)濟(jì)和海洋開發(fā)在社會(huì)發(fā)展中的作用越來(lái)越大,海洋科學(xué)技術(shù)更加受到重視,數(shù)字海洋[1]項(xiàng)目的立項(xiàng)和實(shí)施,是我國(guó)海洋事業(yè)發(fā)展的一個(gè)重要體現(xiàn)。計(jì)算機(jī)技術(shù)的飛速發(fā)展在不斷改變著海洋環(huán)境信息業(yè)務(wù)化處理的方法,各種新技術(shù)和新方法被應(yīng)用到海洋信息的處理當(dāng)中來(lái)。在十

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張錦文;一種乘潮水位統(tǒng)計(jì)方法[J];海洋通報(bào);1984年04期

，

本文編號(hào)：1371310