隨著氣象事業(yè)現(xiàn)代化水平的不斷提高,氣象部門積累了海量的氣象數(shù)據(jù),如何從海量的氣象數(shù)據(jù)中挖掘出有用的知識(shí),是提高氣象服務(wù)能力的關(guān)鍵所在。針對(duì)傳統(tǒng)聚類算法無法有效處理海量數(shù)據(jù)的問題,提出了一種基于Spark框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚類算法。該算法將Canopy算法與FCM算法相結(jié)合,避免了FCM算法對(duì)初始聚類中心敏感的問題,并結(jié)合Spark分布式框架內(nèi)存計(jì)算的優(yōu)勢,大大降低了海量氣象數(shù)據(jù)的處理時(shí)間。通過采用天津市208個(gè)區(qū)域自動(dòng)氣象站4～10月逐月降水觀測數(shù)據(jù),評(píng)估了天津市不同區(qū)域的降水情況。實(shí)驗(yàn)結(jié)果表明,提出的方法不僅可以快速有效地從氣象數(shù)據(jù)中挖掘出有用的信息,同時(shí)與基于Hadoop框架下的算法相比,有更高的運(yùn)行速率和加速比,也為相關(guān)部門有效地做出水旱災(zāi)害監(jiān)測預(yù)警與風(fēng)險(xiǎn)防范決策提供了一種全新的思路和方法。

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1Spark架構(gòu)

Spark在分布式環(huán)境下采用主從結(jié)構(gòu)模型,包括Driver和Worker節(jié)點(diǎn),程序運(yùn)行之前將數(shù)據(jù)存儲(chǔ)在HadoopDistributedFileSystem(HDFS)中,接著Driver會(huì)運(yùn)行應(yīng)用中的方法創(chuàng)建SparkContext以及RDD,DAGScheduler對(duì)象....

圖2基于Spark的Canopy-FCM算法流程

基于Spark的Canopy-FCM算法流程如圖2所示。(1)配置好Spark運(yùn)行環(huán)境并初始化各參數(shù)。通過hadoopfs-put命令將數(shù)據(jù)上傳到HDFS上,調(diào)用SparkContext的sc.textFile()方法將數(shù)據(jù)轉(zhuǎn)換為Spark-RDD,通過map操作轉(zhuǎn)換為向量緩....

圖3天津降水區(qū)劃圖

實(shí)驗(yàn)結(jié)果如圖3所示,由圖3可以看出天津208個(gè)區(qū)域自動(dòng)氣象站降水分布可分為4個(gè)區(qū)域,1區(qū)主要集中在中部和北部區(qū)域,共有96個(gè)站;2區(qū)集中在東部區(qū)域,共有29個(gè)站;3區(qū)集中在東南部,共有31個(gè)站;4區(qū)主要集中在西南部,共有52個(gè)站。圖4是實(shí)驗(yàn)得到的天津市4個(gè)分區(qū)降水量年平均分布圖,....

圖4天津市4個(gè)分區(qū)降水量年平均分布

圖4是實(shí)驗(yàn)得到的天津市4個(gè)分區(qū)降水量年平均分布圖,由圖4可以看出,4個(gè)分區(qū)的降水主要集中在6～9月,7月降水量最為顯著,其次是8月、6月、9月,這一趨勢與中國氣象局氣象數(shù)據(jù)中心發(fā)布的天津氣候類型圖(1981-2010)一致。4個(gè)分區(qū)的具體分析如下:1區(qū)主要位于天津中部和北部區(qū)域,....

本文編號(hào)：3949883