發(fā)布時間：2021-03-16 18:24

　　文中對Spark大數(shù)據(jù)處理框架進(jìn)行了深入剖析,采用Scala+Hadoop+Spark軟件,搭建了Spark大數(shù)據(jù)處理框架,Cassandra分布式數(shù)據(jù)庫集群,根據(jù)計算降水量的應(yīng)用需求,設(shè)計了數(shù)據(jù)庫的分區(qū)以及列存儲的對應(yīng)關(guān)系。使用Spark連接Cassandra獲取了長時間序列的降水量數(shù)據(jù)到RDD（彈性分布式數(shù)據(jù)集）,設(shè)計算法成功進(jìn)行了長時間序列小時降水量的統(tǒng)計。結(jié)果表明這種計算方法在計算海量數(shù)據(jù)時,較關(guān)系型數(shù)據(jù)庫和傳統(tǒng)計算方法顯著提高了計算效率和正確率,符合氣象大數(shù)據(jù)的計算要求,為氣象服務(wù)提供了大數(shù)據(jù)算力支撐。 

【文章來源】：信息技術(shù). 2020,44(07)

【文章頁數(shù)】：5 頁

【部分圖文】：

Spark框架的搭建流程

Spark集群運(yùn)行情況

Spark分布式計算流程圖

【參考文獻(xiàn)】：
期刊論文
[1]一種面向Hadoop中間數(shù)據(jù)存儲的混合存儲系統(tǒng)[J]. 趙南雨,陳莉君.  信息技術(shù). 2017(11)
[2]基于Spark的并行K-means氣象數(shù)據(jù)挖掘研究[J]. 李莉,王小剛.  信息技術(shù). 2017(09)
[3]基于Spark的大數(shù)據(jù)計算模型[J]. 王磊,時亞文.  電腦知識與技術(shù). 2016(20)
[4]基于Spark的大數(shù)據(jù)混合計算模型[J]. 胡俊,胡賢德,程家興.  計算機(jī)系統(tǒng)應(yīng)用. 2015(04)
[5]大數(shù)據(jù)處理模型Apache Spark研究[J]. 黎文陽.  現(xiàn)代計算機(jī)(專業(yè)版). 2015(08)
[6]支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 申德榮,于戈,王習(xí)特,聶鐵錚,寇月.  軟件學(xué)報. 2013(08)
[7]一種Hadoop小文件存儲和讀取的方法[J]. 張春明,芮建武,何婷婷.  計算機(jī)應(yīng)用與軟件. 2012(11)
[8]架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J]. 王珊,王會舉,覃雄派,周烜.  計算機(jī)學(xué)報. 2011(10)
[9]基于Cassandra的可擴(kuò)展分布式反向索引的構(gòu)建[J]. 唐李洋,倪志偉,李應(yīng).  計算機(jī)科學(xué). 2011(06)
[10]Cassandra數(shù)據(jù)庫安全性分析與改進(jìn)[J]. 劉欣.  電腦知識與技術(shù). 2010(35)



本文編號：3086406