物聯(lián)網(wǎng)在農(nóng)業(yè)信息化中的推廣,龐大的傳感器和RFID節(jié)點(diǎn),能夠更好地對(duì)生產(chǎn)環(huán)境中的信息進(jìn)行監(jiān)控,但是,它們采集的數(shù)據(jù)量規(guī)模會(huì)越來(lái)越大,數(shù)據(jù)會(huì)出現(xiàn)海量冗余,會(huì)對(duì)我們后續(xù)的業(yè)務(wù)處理任務(wù)造成了一些影響,不僅有性能瓶頸等問(wèn)題,還會(huì)導(dǎo)致輸出結(jié)果不可信。如此巨大規(guī)模的數(shù)據(jù),是傳統(tǒng)的數(shù)據(jù)處理方法遇到的難題,而隨著大數(shù)據(jù)時(shí)代的步伐,出現(xiàn)了很多大數(shù)據(jù)計(jì)算框架,如Hadoop、Storm、Spark,很多企業(yè)選擇它們,并做出了成功的案例,它們也相繼被應(yīng)用在農(nóng)業(yè)大數(shù)據(jù)領(lǐng)域。根據(jù)數(shù)據(jù)的特點(diǎn)和使用場(chǎng)景,選擇合適的處理工具,是進(jìn)行數(shù)據(jù)處理必須要考慮的因素。對(duì)高度冗余的數(shù)據(jù)如何做預(yù)處理,對(duì)大數(shù)據(jù)做處理分析的系統(tǒng)如何做到健壯高效,都是不可忽視的細(xì)節(jié)。本文依據(jù)實(shí)踐經(jīng)驗(yàn),基于農(nóng)業(yè)系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)流向和數(shù)據(jù)特征,根據(jù)Spark處理分析數(shù)據(jù)時(shí)的機(jī)制,從減少數(shù)據(jù)冗余,并從做大表關(guān)聯(lián)優(yōu)化的問(wèn)題入手,提出了基于BloomFilter的數(shù)據(jù)過(guò)中間件,提出了Spark大表關(guān)聯(lián)優(yōu)化方法。本文的主要研究工作如下:(1)基于物聯(lián)網(wǎng)的農(nóng)業(yè)數(shù)據(jù)采集端,采集的數(shù)據(jù)往往海量冗余,給后面的分析處理帶來(lái)了一定問(wèn)題,本文根據(jù)BloomFilter過(guò)濾數(shù)據(jù)的...

【文章頁(yè)數(shù)】：58 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-2BloomFilter的插入查詢過(guò)濾

任意一個(gè)元素a被添加到BloomFilter中需要做以下兩個(gè)步驟，首先，分別對(duì)通過(guò)這k個(gè)哈希函數(shù)進(jìn)行K次求值分別得到k個(gè)取值范圍在V中的不同的值，將數(shù)組中分別對(duì)應(yīng)的索引的值都設(shè)置為1。在需要判斷任意一個(gè)給定的元素y是否含與S時(shí)，我們還是需要先對(duì)元....

圖2-3MapReduce計(jì)算流程

圖2-3MapReduce計(jì)算流程MapReduce計(jì)算流程如圖2-3。需要指出，不同的Map任務(wù)之間不會(huì)進(jìn)行通信，而且不同的Reduce任務(wù)之間也不會(huì)發(fā)生任何信息交換。對(duì)于用戶也不能顯式地從一臺(tái)機(jī)器向另一臺(tái)機(jī)器發(fā)送消息，全部的數(shù)據(jù)交換都必須是通過(guò)MapRed....

圖2-4HDFS體系結(jié)構(gòu)

2.3.2HDFS文件系統(tǒng)在物理結(jié)構(gòu)上，分布式文件系統(tǒng)是多個(gè)硬件節(jié)點(diǎn)構(gòu)成的，按照功能劃分為兩類[28]，一類叫“主節(jié)點(diǎn)”(MasterNode)，因?yàn)楸挥脕?lái)維護(hù)系統(tǒng)的命名空間，也稱為“名稱結(jié)點(diǎn)”(NameNode)；另一類叫“從節(jié)點(diǎn)”（SlaveNode），被設(shè)計(jì)用來(lái)進(jìn)行....

圖3-1采集端系統(tǒng)架構(gòu)圖

圖3-1采集端系統(tǒng)架構(gòu)圖3.2RFID數(shù)據(jù)流特征在RFID的應(yīng)用場(chǎng)景中，通常有多個(gè)閱讀識(shí)別器，同樣的一個(gè)標(biāo)簽靜止或狀態(tài)下在同一時(shí)間被多個(gè)閱讀時(shí)識(shí)別并被實(shí)時(shí)傳輸至上層應(yīng)用。采集系統(tǒng)會(huì)一別的信息，從時(shí)間的角度上，我們可以把這一系列的識(shí)別信息看作是一個(gè)RFID我們用S{....

本文編號(hào)：3939969