發(fā)布時間：2018-01-02 23:07

  本文關(guān)鍵詞：基于Spark框架的乘潮水位計算與可視化平臺　出處：《計算機(jī)工程與科學(xué)》2015年12期 　論文類型：期刊論文

  更多相關(guān)文章： Spark 乘潮水位 任務(wù)調(diào)度算法 并行處理 海洋環(huán)境信息

【摘要】：乘潮水位計算是海洋環(huán)境信息處理的重要組成部分,具有計算量大、計算復(fù)雜度高、計算時間長等特性。采用傳統(tǒng)集群計算模式實(shí)現(xiàn)乘潮水位計算業(yè)務(wù),存在計算成本高、計算伸縮性和交互性差的問題。針對以上問題,提出一種基于Spark框架的乘潮水位計算和可視化平臺。結(jié)合對Spark任務(wù)調(diào)度算法的研究,設(shè)計和實(shí)現(xiàn)了一種基于節(jié)點(diǎn)計算能力的任務(wù)調(diào)度算法,實(shí)現(xiàn)了長時間序列的多任務(wù)乘潮水位數(shù)據(jù)的檢索、獲取、數(shù)值計算、特征可視化的并行處理,達(dá)到了海量海洋環(huán)境數(shù)據(jù)計算和可視化處理的目的。實(shí)驗結(jié)果表明,提出的基于Spark的乘潮水位計算和可視化平臺可以有效地提高海量乘潮水位數(shù)據(jù)的分布式并行處理的效率,為更加快速和高效的乘潮水位計算提供了一種新的方法。
[Abstract]:Tidal water level meter is an important part of marine environmental information processing. It has the characteristics of large amount of calculation, high computational complexity and long calculation time. The traditional cluster computing mode is used to realize the operation of tidal level calculation. There are the problems of high computing cost, poor scalability and interactivity. This paper presents a platform for tidal level calculation and visualization based on Spark framework. Based on the research of Spark task scheduling algorithm, a task scheduling algorithm based on node computing ability is designed and implemented. The parallel processing of multi-task tidal level data retrieval, acquisition, numerical calculation and feature visualization of long time series is realized. The purpose of calculating and visualizing the massive marine environment data is achieved. The experimental results show that. The proposed platform for tidal level calculation and visualization based on Spark can effectively improve the efficiency of distributed parallel processing of mass tidal level data. A new method is provided for faster and more efficient calculation of tidal level.
【作者單位】： 中國海洋大學(xué)信息科學(xué)與工程學(xué)院;國家海洋信息中心;
【基金】：海洋公益性行業(yè)科研專項經(jīng)費(fèi)資助項目(201105033)
【分類號】：P731.23;TP338.8
【正文快照】： 1引言隨著海洋經(jīng)濟(jì)和海洋開發(fā)在社會發(fā)展中的作用越來越大,海洋科學(xué)技術(shù)更加受到重視,數(shù)字海洋[1]項目的立項和實(shí)施,是我國海洋事業(yè)發(fā)展的一個重要體現(xiàn)。計算機(jī)技術(shù)的飛速發(fā)展在不斷改變著海洋環(huán)境信息業(yè)務(wù)化處理的方法,各種新技術(shù)和新方法被應(yīng)用到海洋信息的處理當(dāng)中來。在十

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張錦文;一種乘潮水位統(tǒng)計方法[J];海洋通報;1984年04期

，

本文編號：1371310