【摘要】：隨著物聯(lián)網(wǎng)在農(nóng)業(yè)生產(chǎn)中的深入應(yīng)用,其系統(tǒng)的規(guī)模也逐漸增大,農(nóng)業(yè)數(shù)據(jù)越來越呈現(xiàn)出海量化、異構(gòu)化、非結(jié)構(gòu)化的趨勢,對數(shù)據(jù)存儲(chǔ)系統(tǒng)提出了更高的要求。由于傳統(tǒng)的基于RDBMS(Relational Database Management System)的存儲(chǔ)系統(tǒng)模式簡單、不易擴(kuò)展、在并發(fā)性及容錯(cuò)性上都很難滿足當(dāng)代農(nóng)業(yè)物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)的要求。分布式存儲(chǔ)與NoSQL(Not Only SQL)技術(shù)的發(fā)展為大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)提供了新的解決思路。鑒于商業(yè)存儲(chǔ)擴(kuò)容成本太高,如何在滿足海量存儲(chǔ)、高性能、高可靠性及高擴(kuò)展性的前提下構(gòu)建廉價(jià)高效的農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)系統(tǒng)是本文研究的重點(diǎn)。基于分布式存儲(chǔ)與NoSQL技術(shù),本文開展了如下工作:(1)對農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)采集的數(shù)據(jù)進(jìn)行分類,分析其數(shù)據(jù)特征。分析了傳統(tǒng)數(shù)據(jù)存儲(chǔ)系統(tǒng)的不足,并詳細(xì)介紹了數(shù)據(jù)存儲(chǔ)技術(shù)及Hadoop技術(shù)研究進(jìn)展。通過對比RDBMS與NoSQL的區(qū)別以及分析Hadoop在數(shù)據(jù)存儲(chǔ)中的不足,結(jié)合農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)特征設(shè)計(jì)了改進(jìn)方案。(2)根據(jù)農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)特征進(jìn)行數(shù)據(jù)存儲(chǔ)的需求分析,基于Hadoop平臺(tái)設(shè)計(jì)了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)模型的總體架構(gòu),對存儲(chǔ)模型中的關(guān)鍵模塊進(jìn)行了詳細(xì)設(shè)計(jì),并分別設(shè)計(jì)了物聯(lián)網(wǎng)系統(tǒng)中結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方案。存儲(chǔ)模型采用Master/Slava架構(gòu),實(shí)現(xiàn)了在廉價(jià)PC上存儲(chǔ)海量物聯(lián)網(wǎng)數(shù)據(jù)的高效性、高擴(kuò)展性與高容錯(cuò)性。(3)基于分布式面向列的HBase(Hadoop Database)數(shù)據(jù)庫,通過樂觀鎖機(jī)制設(shè)計(jì)了事務(wù)處理模塊,實(shí)現(xiàn)HBase對強(qiáng)事務(wù)性的支持;通過小文件“打包”策略對海量圖片進(jìn)行合并,并結(jié)合文件索引設(shè)計(jì)了元數(shù)據(jù)與物理存儲(chǔ)位置的映射規(guī)則,實(shí)現(xiàn)HBase對非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)的存儲(chǔ),有效降低了主節(jié)點(diǎn)NameNode的壓力;通過加權(quán)輪詢法負(fù)載均衡策略和Redis緩存系統(tǒng)進(jìn)一步提高了存儲(chǔ)系統(tǒng)的穩(wěn)定性與高效性。(4)通過搭建存儲(chǔ)模型測試集群,對結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案及主節(jié)點(diǎn)內(nèi)存消耗進(jìn)行了測試,并在存儲(chǔ)模型的基礎(chǔ)上設(shè)計(jì)與實(shí)現(xiàn)了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)原型,在應(yīng)用層面上驗(yàn)證了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)模型的實(shí)用性。本文基于hadoop平臺(tái)構(gòu)建了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)管理系統(tǒng),為海量農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)提供了解決方案,對大數(shù)據(jù)時(shí)代農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的高效可靠存儲(chǔ)提供參考價(jià)值。
【學(xué)位授予單位】：河南農(nóng)業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：S126;TP391.44;TN929.5
【圖文】：

10圖 3-1 研究思路3.2 相關(guān)技術(shù)和理論3.2.1 HadoopHadoop 最初來源于網(wǎng)絡(luò)搜索引擎 Nutch，現(xiàn)已成為 Apache 軟件基金會(huì)的一項(xiàng)頂級項(xiàng)目。作為一種大規(guī)模數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析的開源架構(gòu)，其核心思想是從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)機(jī)器來構(gòu)建大規(guī)模的分布式存儲(chǔ)與計(jì)算系統(tǒng)。Hadoop 中最重要的兩個(gè)基本組件分別是負(fù)責(zé)存儲(chǔ)的分布式文件系統(tǒng)（Hadoop Distributed File System,簡稱 HDFS）和負(fù)責(zé)數(shù)據(jù)分析的并行計(jì)算框架（MapReduce），其他組件為基本組件提供環(huán)境支持和功能擴(kuò)展服務(wù),Hadoop 基本體

圖 3-2 Hadoop 基本體系結(jié)構(gòu)其成本低，可擴(kuò)展，效率高，免費(fèi)開源和可靠性高等特點(diǎn)，Hadoop 在數(shù)被廣泛使用。近幾年，Apache 也對其進(jìn)行了不斷的改進(jìn)和完善。在 Hadoo制（HA）使主節(jié)點(diǎn) master 的單節(jié)點(diǎn)故障的問題得以解決。另外，YARN入，使得 1.X 版本中 JobTracker 的兩大功能相分離，運(yùn)行時(shí)環(huán)境變?yōu)?YA的管理，使得集群可以同時(shí)支持在線批處理和實(shí)時(shí)流處理的應(yīng)用場景。3.0 當(dāng)中，引入的 HDFS 糾刪碼（Erasure Coding）和 MapReduce 任務(wù)級evel native），使 Hadoop 框架對存儲(chǔ)空間的利用率和 MapReduce 中 shuffle有較大的提升。Hadoop1.0 與 2.0 區(qū)別如圖 3-3 所示。

Hadoop1.0與2.0區(qū)別

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張宇;張可輝;嚴(yán)小青;;農(nóng)業(yè)物聯(lián)網(wǎng)架構(gòu)、應(yīng)用及社會(huì)經(jīng)濟(jì)效益[J];農(nóng)機(jī)化研究;2014年10期

2 王彥明;;近年來Hadoop國內(nèi)研究進(jìn)展[J];現(xiàn)代情報(bào);2014年08期

3 張欣晨;楊庚;;Hadoop環(huán)境中基于屬性和定長密文的訪問控制方法[J];計(jì)算機(jī)工程與應(yīng)用;2015年23期

4 秦懷斌;李道亮;郭理;;農(nóng)業(yè)物聯(lián)網(wǎng)的發(fā)展及關(guān)鍵技術(shù)應(yīng)用進(jìn)展[J];農(nóng)機(jī)化研究;2014年04期

5 邵秀麗;耿梅潔;蔣鴻玲;;基于MapReduce檢測僵尸網(wǎng)絡(luò)的貝葉斯算法的實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2014年03期

6 趙靜宇;符嘯威;許景潤;;關(guān)系模型數(shù)據(jù)庫中實(shí)體間聯(lián)系的理論研究與應(yīng)用[J];電子技術(shù)與軟件工程;2014年02期

7 丁祥武;李清炳;樂嘉錦;;使用MapReduce構(gòu)建列存儲(chǔ)數(shù)據(jù)的索引[J];計(jì)算機(jī)應(yīng)用與軟件;2014年02期

8 劉淵;王瑞智;楊澤林;;農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用發(fā)展研究[J];廣東農(nóng)業(yè)科學(xué);2013年23期

9 唐珂;;國外農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)發(fā)展及對我國的啟示[J];中國科學(xué)院院刊;2013年06期

10 周世龍;陳興蜀;羅永剛;;Hadoop視角下的Nutch爬行性能優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2013年10期

相關(guān)會(huì)議論文 前1條

1 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

相關(guān)重要報(bào)紙文章 前1條

1 張冬;;淺談互聯(lián)網(wǎng)運(yùn)營商的特殊集群——NoSQL[N];網(wǎng)絡(luò)世界;2011年

相關(guān)博士學(xué)位論文 前2條

1 張杰;一種高速數(shù)據(jù)存儲(chǔ)方法的研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 康俊鋒;云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)與高效管理技術(shù)研究[D];浙江大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張碩;基于Hadoop的海量小文件存儲(chǔ)性能優(yōu)化研究[D];湖南大學(xué);2016年

2 唐皓;實(shí)時(shí)數(shù)據(jù)庫設(shè)計(jì)及實(shí)現(xiàn)和事務(wù)調(diào)度算法的研究[D];哈爾濱工業(yè)大學(xué);2013年

3 卓海藝;基于HBase的海量數(shù)據(jù)實(shí)時(shí)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

4 馬惠芳;非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)的研究和應(yīng)用[D];東華大學(xué);2013年

5 賀海苗;數(shù)據(jù)服務(wù)電子商務(wù)平臺(tái)建設(shè)研究[D];華中科技大學(xué);2012年

6 李林;基于hadoop的海量圖片存儲(chǔ)模型的分析和設(shè)計(jì)[D];杭州電子科技大學(xué);2011年

7 韓偉;基于Hadoop云計(jì)算平臺(tái)下DDoS攻擊防御研究[D];太原科技大學(xué);2011年

8 楊寅;社會(huì)網(wǎng)絡(luò)分析工具中的分布式最小生成樹算法[D];北京郵電大學(xué);2011年

9 李克然;基于云計(jì)算的電子商務(wù)數(shù)據(jù)管理模式研究[D];西安電子科技大學(xué);2011年

10 朱杰;云計(jì)算在基于貝葉斯分類的垃圾短信過濾中的研究與應(yīng)用[D];電子科技大學(xué);2010年

本文編號：2753303