文中對Spark大數(shù)據(jù)處理框架進(jìn)行了深入剖析,采用Scala+Hadoop+Spark軟件,搭建了Spark大數(shù)據(jù)處理框架,Cassandra分布式數(shù)據(jù)庫集群,根據(jù)計(jì)算降水量的應(yīng)用需求,設(shè)計(jì)了數(shù)據(jù)庫的分區(qū)以及列存儲的對應(yīng)關(guān)系。使用Spark連接Cassandra獲取了長時(shí)間序列的降水量數(shù)據(jù)到RDD（彈性分布式數(shù)據(jù)集）,設(shè)計(jì)算法成功進(jìn)行了長時(shí)間序列小時(shí)降水量的統(tǒng)計(jì)。結(jié)果表明這種計(jì)算方法在計(jì)算海量數(shù)據(jù)時(shí),較關(guān)系型數(shù)據(jù)庫和傳統(tǒng)計(jì)算方法顯著提高了計(jì)算效率和正確率,符合氣象大數(shù)據(jù)的計(jì)算要求,為氣象服務(wù)提供了大數(shù)據(jù)算力支撐。 

【文章來源】：信息技術(shù). 2020,44(07)

【文章頁數(shù)】：5 頁

【部分圖文】：

Spark框架的搭建流程

Spark集群運(yùn)行情況

Spark分布式計(jì)算流程圖

【參考文獻(xiàn)】：
期刊論文
[1]一種面向Hadoop中間數(shù)據(jù)存儲的混合存儲系統(tǒng)[J]. 趙南雨,陳莉君.  信息技術(shù). 2017(11)
[2]基于Spark的并行K-means氣象數(shù)據(jù)挖掘研究[J]. 李莉,王小剛.  信息技術(shù). 2017(09)
[3]基于Spark的大數(shù)據(jù)計(jì)算模型[J]. 王磊,時(shí)亞文.  電腦知識與技術(shù). 2016(20)
[4]基于Spark的大數(shù)據(jù)混合計(jì)算模型[J]. 胡俊,胡賢德,程家興.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2015(04)
[5]大數(shù)據(jù)處理模型Apache Spark研究[J]. 黎文陽.  現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2015(08)
[6]支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 申德榮,于戈,王習(xí)特,聶鐵錚,寇月.  軟件學(xué)報(bào). 2013(08)
[7]一種Hadoop小文件存儲和讀取的方法[J]. 張春明,芮建武,何婷婷.  計(jì)算機(jī)應(yīng)用與軟件. 2012(11)
[8]架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J]. 王珊,王會舉,覃雄派,周烜.  計(jì)算機(jī)學(xué)報(bào). 2011(10)
[9]基于Cassandra的可擴(kuò)展分布式反向索引的構(gòu)建[J]. 唐李洋,倪志偉,李應(yīng).  計(jì)算機(jī)科學(xué). 2011(06)
[10]Cassandra數(shù)據(jù)庫安全性分析與改進(jìn)[J]. 劉欣.  電腦知識與技術(shù). 2010(35)



本文編號：3086406