【摘要】：隨著物聯(lián)網(wǎng)在農(nóng)業(yè)生產(chǎn)中的深入應(yīng)用,其系統(tǒng)的規(guī)模也逐漸增大,農(nóng)業(yè)數(shù)據(jù)越來越呈現(xiàn)出海量化、異構(gòu)化、非結(jié)構(gòu)化的趨勢,對數(shù)據(jù)存儲系統(tǒng)提出了更高的要求。由于傳統(tǒng)的基于RDBMS(Relational Database Management System)的存儲系統(tǒng)模式簡單、不易擴展、在并發(fā)性及容錯性上都很難滿足當代農(nóng)業(yè)物聯(lián)網(wǎng)海量數(shù)據(jù)存儲的要求。分布式存儲與NoSQL(Not Only SQL)技術(shù)的發(fā)展為大數(shù)據(jù)時代數(shù)據(jù)存儲提供了新的解決思路。鑒于商業(yè)存儲擴容成本太高,如何在滿足海量存儲、高性能、高可靠性及高擴展性的前提下構(gòu)建廉價高效的農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲系統(tǒng)是本文研究的重點�；诜植际酱鎯εcNoSQL技術(shù),本文開展了如下工作:(1)對農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)采集的數(shù)據(jù)進行分類,分析其數(shù)據(jù)特征。分析了傳統(tǒng)數(shù)據(jù)存儲系統(tǒng)的不足,并詳細介紹了數(shù)據(jù)存儲技術(shù)及Hadoop技術(shù)研究進展。通過對比RDBMS與NoSQL的區(qū)別以及分析Hadoop在數(shù)據(jù)存儲中的不足,結(jié)合農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)特征設(shè)計了改進方案。(2)根據(jù)農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)特征進行數(shù)據(jù)存儲的需求分析,基于Hadoop平臺設(shè)計了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲模型的總體架構(gòu),對存儲模型中的關(guān)鍵模塊進行了詳細設(shè)計,并分別設(shè)計了物聯(lián)網(wǎng)系統(tǒng)中結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲方案。存儲模型采用Master/Slava架構(gòu),實現(xiàn)了在廉價PC上存儲海量物聯(lián)網(wǎng)數(shù)據(jù)的高效性、高擴展性與高容錯性。(3)基于分布式面向列的HBase(Hadoop Database)數(shù)據(jù)庫,通過樂觀鎖機制設(shè)計了事務(wù)處理模塊,實現(xiàn)HBase對強事務(wù)性的支持;通過小文件“打包”策略對海量圖片進行合并,并結(jié)合文件索引設(shè)計了元數(shù)據(jù)與物理存儲位置的映射規(guī)則,實現(xiàn)HBase對非結(jié)構(gòu)化數(shù)據(jù)元數(shù)據(jù)的存儲,有效降低了主節(jié)點NameNode的壓力;通過加權(quán)輪詢法負載均衡策略和Redis緩存系統(tǒng)進一步提高了存儲系統(tǒng)的穩(wěn)定性與高效性。(4)通過搭建存儲模型測試集群,對結(jié)構(gòu)化數(shù)據(jù)存儲方案、非結(jié)構(gòu)化數(shù)據(jù)存儲方案及主節(jié)點內(nèi)存消耗進行了測試,并在存儲模型的基礎(chǔ)上設(shè)計與實現(xiàn)了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)原型,在應(yīng)用層面上驗證了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲模型的實用性。本文基于hadoop平臺構(gòu)建了農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲管理系統(tǒng),為海量農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)存儲提供了解決方案,對大數(shù)據(jù)時代農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的高效可靠存儲提供參考價值。
【學(xué)位授予單位】：河南農(nóng)業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：S126;TP391.44;TN929.5
【圖文】：

10圖 3-1 研究思路3.2 相關(guān)技術(shù)和理論3.2.1 HadoopHadoop 最初來源于網(wǎng)絡(luò)搜索引擎 Nutch，現(xiàn)已成為 Apache 軟件基金會的一項頂級項目。作為一種大規(guī)模數(shù)據(jù)存儲和數(shù)據(jù)分析的開源架構(gòu)，其核心思想是從單個服務(wù)器擴展到數(shù)千臺機器來構(gòu)建大規(guī)模的分布式存儲與計算系統(tǒng)。Hadoop 中最重要的兩個基本組件分別是負責(zé)存儲的分布式文件系統(tǒng)（Hadoop Distributed File System,簡稱 HDFS）和負責(zé)數(shù)據(jù)分析的并行計算框架（MapReduce），其他組件為基本組件提供環(huán)境支持和功能擴展服務(wù),Hadoop 基本體

圖 3-2 Hadoop 基本體系結(jié)構(gòu)其成本低，可擴展，效率高，免費開源和可靠性高等特點，Hadoop 在數(shù)被廣泛使用。近幾年，Apache 也對其進行了不斷的改進和完善。在 Hadoo制（HA）使主節(jié)點 master 的單節(jié)點故障的問題得以解決。另外，YARN入，使得 1.X 版本中 JobTracker 的兩大功能相分離，運行時環(huán)境變?yōu)?YA的管理，使得集群可以同時支持在線批處理和實時流處理的應(yīng)用場景。3.0 當中，引入的 HDFS 糾刪碼（Erasure Coding）和 MapReduce 任務(wù)級evel native），使 Hadoop 框架對存儲空間的利用率和 MapReduce 中 shuffle有較大的提升。Hadoop1.0 與 2.0 區(qū)別如圖 3-3 所示。

Hadoop1.0與2.0區(qū)別

【參考文獻】

相關(guān)期刊論文 前10條

1 張宇;張可輝;嚴小青;;農(nóng)業(yè)物聯(lián)網(wǎng)架構(gòu)、應(yīng)用及社會經(jīng)濟效益[J];農(nóng)機化研究;2014年10期

2 王彥明;;近年來Hadoop國內(nèi)研究進展[J];現(xiàn)代情報;2014年08期

3 張欣晨;楊庚;;Hadoop環(huán)境中基于屬性和定長密文的訪問控制方法[J];計算機工程與應(yīng)用;2015年23期

4 秦懷斌;李道亮;郭理;;農(nóng)業(yè)物聯(lián)網(wǎng)的發(fā)展及關(guān)鍵技術(shù)應(yīng)用進展[J];農(nóng)機化研究;2014年04期

5 邵秀麗;耿梅潔;蔣鴻玲;;基于MapReduce檢測僵尸網(wǎng)絡(luò)的貝葉斯算法的實現(xiàn)[J];計算機科學(xué);2014年03期

6 趙靜宇;符嘯威;許景潤;;關(guān)系模型數(shù)據(jù)庫中實體間聯(lián)系的理論研究與應(yīng)用[J];電子技術(shù)與軟件工程;2014年02期

7 丁祥武;李清炳;樂嘉錦;;使用MapReduce構(gòu)建列存儲數(shù)據(jù)的索引[J];計算機應(yīng)用與軟件;2014年02期

8 劉淵;王瑞智;楊澤林;;農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用發(fā)展研究[J];廣東農(nóng)業(yè)科學(xué);2013年23期

9 唐珂;;國外農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)發(fā)展及對我國的啟示[J];中國科學(xué)院院刊;2013年06期

10 周世龍;陳興蜀;羅永剛;;Hadoop視角下的Nutch爬行性能優(yōu)化[J];計算機應(yīng)用;2013年10期

相關(guān)會議論文 前1條

1 金松昌;方濱興;楊樹強;賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

相關(guān)重要報紙文章 前1條

1 張冬;;淺談互聯(lián)網(wǎng)運營商的特殊集群——NoSQL[N];網(wǎng)絡(luò)世界;2011年

相關(guān)博士學(xué)位論文 前2條

1 張杰;一種高速數(shù)據(jù)存儲方法的研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 康俊鋒;云計算環(huán)境下高分辨率遙感影像存儲與高效管理技術(shù)研究[D];浙江大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 張碩;基于Hadoop的海量小文件存儲性能優(yōu)化研究[D];湖南大學(xué);2016年

2 唐皓;實時數(shù)據(jù)庫設(shè)計及實現(xiàn)和事務(wù)調(diào)度算法的研究[D];哈爾濱工業(yè)大學(xué);2013年

3 卓海藝;基于HBase的海量數(shù)據(jù)實時查詢系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2013年

4 馬惠芳;非結(jié)構(gòu)化數(shù)據(jù)采集和檢索技術(shù)的研究和應(yīng)用[D];東華大學(xué);2013年

5 賀海苗;數(shù)據(jù)服務(wù)電子商務(wù)平臺建設(shè)研究[D];華中科技大學(xué);2012年

6 李林;基于hadoop的海量圖片存儲模型的分析和設(shè)計[D];杭州電子科技大學(xué);2011年

7 韓偉;基于Hadoop云計算平臺下DDoS攻擊防御研究[D];太原科技大學(xué);2011年

8 楊寅;社會網(wǎng)絡(luò)分析工具中的分布式最小生成樹算法[D];北京郵電大學(xué);2011年

9 李克然;基于云計算的電子商務(wù)數(shù)據(jù)管理模式研究[D];西安電子科技大學(xué);2011年

10 朱杰;云計算在基于貝葉斯分類的垃圾短信過濾中的研究與應(yīng)用[D];電子科技大學(xué);2010年

本文編號：2753303