<正>Apriori算法是關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘領(lǐng)域最經(jīng)典的算法之一,但是隨著大數(shù)據(jù)時(shí)代的到來,Apriori算法已經(jīng)不能滿足海量數(shù)據(jù)挖掘的要求,本文采用優(yōu)化的Spark-Apriori算法對(duì)原始的Apriori算法進(jìn)行改進(jìn),充分利用了Spark的內(nèi)存計(jì)算,容錯(cuò)機(jī)制,RDD等優(yōu)勢(shì)。改進(jìn)后的算法在性能和運(yùn)行速度上較原始Apriori算法都有所提高。農(nóng)業(yè)災(zāi)害會(huì)對(duì)生態(tài)環(huán)境產(chǎn)生巨大破壞。基于此,通過spark-apriori算法和關(guān)聯(lián)規(guī)則算法對(duì)農(nóng)業(yè)災(zāi)害進(jìn)行預(yù)測(cè),為采取有效措施提供數(shù)據(jù)支持。農(nóng)業(yè)災(zāi)害的發(fā)生不僅僅對(duì)農(nóng)民生產(chǎn)和收益有直接的影響,還會(huì)帶來其他間接的社會(huì)經(jīng)濟(jì)效應(yīng),如影響農(nóng)業(yè)生產(chǎn)相關(guān)部門的發(fā)展,破壞資源與生態(tài)環(huán)境,甚至還會(huì)威脅到人類的生存與社會(huì)穩(wěn)定。所以通過分析已經(jīng)發(fā)生的災(zāi)害,來預(yù)測(cè)將要發(fā)生的災(zāi)害并對(duì)其進(jìn)行防

【文章頁數(shù)】：3 頁

【部分圖文】：

圖1 Hbase的三層結(jié)構(gòu)圖

1）三層尋址：Zookeeper文件記錄了＿ROOT＿表的位置，＿ROOT＿記錄了.META.的位置信息，.META.記錄了用戶數(shù)據(jù)表在Region服務(wù)器中的位置信息。尋找數(shù)據(jù)存儲(chǔ)的地址時(shí)，用戶直接訪問Zookeeper服務(wù)器獲取，如圖1所示。2)Region服務(wù)器的工作原理：(....

圖2 Region服務(wù)器工作原理圖

2)Region服務(wù)器的工作原理：(1)一個(gè)Region服務(wù)器集群中包含多個(gè)Region服務(wù)器，每個(gè)服務(wù)器中包含了一個(gè)HLog（預(yù)寫式日志）和多個(gè)Region分區(qū)，每個(gè)Region分區(qū)包含了一個(gè)MemStore（內(nèi)存中的緩存，保存最近更新的數(shù)據(jù)）和多個(gè)StoreFile（磁盤中的....

圖3 Hbase系統(tǒng)架構(gòu)圖

客戶端遠(yuǎn)程調(diào)用名稱節(jié)點(diǎn)，獲得文件開始部分?jǐn)?shù)據(jù)塊的位置，對(duì)于該數(shù)據(jù)塊，名稱節(jié)點(diǎn)返回保存該數(shù)據(jù)塊的所有數(shù)據(jù)節(jié)點(diǎn)的地址，并根據(jù)距離客戶端遠(yuǎn)近進(jìn)行排序�？蛻舳双@得輸入流FSDataInputStream以后，調(diào)用read()函數(shù)開始讀取數(shù)據(jù)，輸入流根據(jù)前面的排序結(jié)果，選擇距離客戶端最近的....

圖4 HDFS體系架構(gòu)圖

圖3Hbase系統(tǒng)架構(gòu)圖2農(nóng)業(yè)災(zāi)害預(yù)測(cè)分析

本文編號(hào)：4048024