物聯(lián)網(wǎng)在農(nóng)業(yè)信息化中的推廣,龐大的傳感器和RFID節(jié)點,能夠更好地對生產(chǎn)環(huán)境中的信息進行監(jiān)控,但是,它們采集的數(shù)據(jù)量規(guī)模會越來越大,數(shù)據(jù)會出現(xiàn)海量冗余,會對我們后續(xù)的業(yè)務處理任務造成了一些影響,不僅有性能瓶頸等問題,還會導致輸出結(jié)果不可信。如此巨大規(guī)模的數(shù)據(jù),是傳統(tǒng)的數(shù)據(jù)處理方法遇到的難題,而隨著大數(shù)據(jù)時代的步伐,出現(xiàn)了很多大數(shù)據(jù)計算框架,如Hadoop、Storm、Spark,很多企業(yè)選擇它們,并做出了成功的案例,它們也相繼被應用在農(nóng)業(yè)大數(shù)據(jù)領(lǐng)域。根據(jù)數(shù)據(jù)的特點和使用場景,選擇合適的處理工具,是進行數(shù)據(jù)處理必須要考慮的因素。對高度冗余的數(shù)據(jù)如何做預處理,對大數(shù)據(jù)做處理分析的系統(tǒng)如何做到健壯高效,都是不可忽視的細節(jié)。本文依據(jù)實踐經(jīng)驗,基于農(nóng)業(yè)系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)流向和數(shù)據(jù)特征,根據(jù)Spark處理分析數(shù)據(jù)時的機制,從減少數(shù)據(jù)冗余,并從做大表關(guān)聯(lián)優(yōu)化的問題入手,提出了基于BloomFilter的數(shù)據(jù)過中間件,提出了Spark大表關(guān)聯(lián)優(yōu)化方法。本文的主要研究工作如下:(1)基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)采集端,采集的數(shù)據(jù)往往海量冗余,給后面的分析處理帶來了一定問題,本文根據(jù)BloomFilter過濾數(shù)據(jù)的...

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【部分圖文】：

圖2-2BloomFilter的插入查詢過濾

任意一個元素a被添加到BloomFilter中需要做以下兩個步驟，首先，分別對通過這k個哈希函數(shù)進行K次求值分別得到k個取值范圍在V中的不同的值，將數(shù)組中分別對應的索引的值都設置為1。在需要判斷任意一個給定的元素y是否含與S時，我們還是需要先對元....

圖2-3MapReduce計算流程

圖2-3MapReduce計算流程MapReduce計算流程如圖2-3。需要指出，不同的Map任務之間不會進行通信，而且不同的Reduce任務之間也不會發(fā)生任何信息交換。對于用戶也不能顯式地從一臺機器向另一臺機器發(fā)送消息，全部的數(shù)據(jù)交換都必須是通過MapRed....

圖2-4HDFS體系結(jié)構(gòu)

2.3.2HDFS文件系統(tǒng)在物理結(jié)構(gòu)上，分布式文件系統(tǒng)是多個硬件節(jié)點構(gòu)成的，按照功能劃分為兩類[28]，一類叫“主節(jié)點”(MasterNode)，因為被用來維護系統(tǒng)的命名空間，也稱為“名稱結(jié)點”(NameNode)；另一類叫“從節(jié)點”（SlaveNode），被設計用來進行....

圖3-1采集端系統(tǒng)架構(gòu)圖

圖3-1采集端系統(tǒng)架構(gòu)圖3.2RFID數(shù)據(jù)流特征在RFID的應用場景中，通常有多個閱讀識別器，同樣的一個標簽靜止或狀態(tài)下在同一時間被多個閱讀時識別并被實時傳輸至上層應用。采集系統(tǒng)會一別的信息，從時間的角度上，我們可以把這一系列的識別信息看作是一個RFID我們用S{....

本文編號：3939969