隨著傳感器、通訊、物聯(lián)網(wǎng)及大數(shù)據(jù)等技術(shù)的飛速發(fā)展,人類已經(jīng)進入萬物互聯(lián)的5G時代。我國是農(nóng)業(yè)大國,亦是農(nóng)機制造與使用大國。農(nóng)業(yè)生產(chǎn)模式不一、田間環(huán)境差、生產(chǎn)環(huán)節(jié)繁雜、影響因素多樣,使得農(nóng)機田間作業(yè)產(chǎn)生的數(shù)據(jù)呈現(xiàn)存儲介質(zhì)多樣、結(jié)構(gòu)復雜、維度高、時效性強等特性,易產(chǎn)生云端運算負載大、響應(yīng)速度慢、數(shù)據(jù)異常等突出問題。為此,本文研究了負載均衡大規(guī)模集群數(shù)據(jù)清洗與數(shù)據(jù)處理方法,建立了農(nóng)機田間作業(yè)地塊時空數(shù)據(jù)庫及數(shù)據(jù)平臺,優(yōu)化了農(nóng)機田間作業(yè)數(shù)據(jù)的檢索技術(shù)。主要研究內(nèi)容包括:1.對農(nóng)機田間作業(yè)數(shù)據(jù)進行分類,建立了農(nóng)機田間作業(yè)地塊四維時空數(shù)據(jù)庫。該數(shù)據(jù)庫重點描述了不同時間及動態(tài)環(huán)境下地塊的位置信息、氣象信息、附著物信息及地塊作業(yè)信息,以面向?qū)ο蟮姆绞矫枋鲛r(nóng)機田間作業(yè)數(shù)據(jù)之間的拓撲關(guān)系,并結(jié)合WebGIS技術(shù)對相關(guān)數(shù)據(jù)進行可視化。2.對農(nóng)機田間作業(yè)數(shù)據(jù)在傳輸過程中出現(xiàn)的異常問題進行研究,提出了基于Flink的數(shù)據(jù)清洗算法。該算法通過方差約束的方式確定異常數(shù)據(jù),通過最小變動原則求解一元二次方程的方式對異常數(shù)據(jù)做原始估算,通過ARX模型迭代計算出最優(yōu)估算值,試驗結(jié)果表明:當數(shù)據(jù)量達到1×105時,算法的準確... 

【文章來源】：中國農(nóng)業(yè)機械化科學研究院北京市

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 國外研究現(xiàn)狀
        1.2.2 國內(nèi)研究現(xiàn)狀
    1.3 研究目標及研究內(nèi)容
        1.3.1 研究目標
        1.3.2 研究內(nèi)容
    1.4 技術(shù)路線
    1.5 論文組織結(jié)構(gòu)
    1.6 本章小結(jié)
第二章 農(nóng)機田間作業(yè)地塊時空數(shù)據(jù)庫構(gòu)建與實現(xiàn)
    2.1 農(nóng)機田間作業(yè)地塊數(shù)據(jù)庫的構(gòu)建
        2.1.1 采集對象的選取
        2.1.2 采集方法
    2.2 農(nóng)機田間作業(yè)地塊數(shù)據(jù)庫的實現(xiàn)
        2.2.1 數(shù)據(jù)獲取過程
        2.2.2 數(shù)據(jù)庫的實現(xiàn)
    2.3 本章小結(jié)
第三章 基于Flink的農(nóng)機田間作業(yè)數(shù)據(jù)清洗方法
    3.1 農(nóng)機田間作業(yè)異常數(shù)據(jù)識別與清洗
        3.1.1 異常數(shù)據(jù)的識別
        3.1.2 異常數(shù)據(jù)清洗方案
    3.2 流式計算框架Flink
        3.2.1 Flink簡介
        3.2.2 Flink窗口計算庫
        3.2.3 Flink容錯機制
    3.3 算法詳情
        3.3.1 符號定義
        3.3.2 確定異常數(shù)據(jù)
        3.3.3 生成候選數(shù)據(jù)
        3.3.4 數(shù)據(jù)迭代修正
    3.4 試驗
        3.4.1 試驗方案設(shè)計
        3.4.2 試驗驗證
    3.5 本章小結(jié)
第四章 基于Solr的農(nóng)機田間作業(yè)數(shù)據(jù)二級非主鍵索引方法
    4.1 數(shù)據(jù)存儲HBase
        4.1.1 數(shù)據(jù)庫的選取
        4.1.2 HBase簡介
    4.2 HBase數(shù)據(jù)庫的實現(xiàn)
        4.2.1 行鍵的設(shè)計
        4.2.2 列族的設(shè)計
    4.3 農(nóng)機田間作業(yè)數(shù)據(jù)檢索的優(yōu)化
        4.3.1 作業(yè)數(shù)據(jù)搜索引擎Solr
        4.3.2 基于Solr的二級非主鍵地塊數(shù)據(jù)索引算法的設(shè)計
        4.3.3 試驗與驗證
    4.4 本章小結(jié)
第五章 農(nóng)機田間作業(yè)數(shù)據(jù)平臺的構(gòu)建與實現(xiàn)
    5.1 系統(tǒng)總體架構(gòu)
    5.2 系統(tǒng)功能設(shè)計及實現(xiàn)
        5.2.1 數(shù)據(jù)處理模塊設(shè)計及實現(xiàn)
        5.2.2 基本功能設(shè)計及實現(xiàn)
    5.3 系統(tǒng)的部署與搭建
        5.3.1 硬件的部署
        5.3.2 軟件的部署
    5.4 系統(tǒng)的測試
        5.4.1 系統(tǒng)接口測試
        5.4.2 系統(tǒng)壓力測試
    5.5 本章小結(jié)
第六章 結(jié)論與展望
    6.1 結(jié)論
    6.2 展望
參考文獻
致謝
作者簡介


【參考文獻】：
期刊論文
[1]力推數(shù)字技術(shù)與農(nóng)業(yè)農(nóng)村的深度融合[J]. 汪懋華,李道亮.  中國農(nóng)業(yè)文摘-農(nóng)業(yè)工程. 2020(02)
[2]基于面向?qū)ο蠓诸惙ǖ霓r(nóng)田識別提取[J]. 張威,劉毅,邵景安.  灌溉排水學報. 2019(12)
[3]基于Solr的農(nóng)田數(shù)據(jù)索引方法與大數(shù)據(jù)平臺構(gòu)建[J]. 苑嚴偉,冀福華,趙博,姜含露,王猛,樊學謙.  農(nóng)業(yè)機械學報. 2019(11)
[4]基于改進CoSaMP的農(nóng)田信息異常事件檢測算法[J]. 肖利平,全臘珍,余波,霍覽宇.  農(nóng)業(yè)機械學報. 2019(10)
[5]農(nóng)田信息采集車設(shè)計與試驗[J]. 姚照勝,劉濤,劉升平,鄧國強,武威,孫成明.  農(nóng)業(yè)機械學報. 2019(10)
[6]基于云平臺的農(nóng)業(yè)綜合信息應(yīng)用系統(tǒng)的設(shè)計與開發(fā)[J]. 張學利,馬娜,朱瑜馨,趙永明,汪健平,劉國.  地理空間信息. 2019(02)
[7]智慧農(nóng)業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標研究[J]. 趙春江.  智慧農(nóng)業(yè). 2019(01)
[8]助力鄉(xiāng)村振興 推進“智慧農(nóng)業(yè)”創(chuàng)新發(fā)展[J]. 汪懋華.  智慧農(nóng)業(yè). 2019(01)
[9]基于GPS的農(nóng)田信息采集系統(tǒng)研究[J]. 陳宏,王維洲,廖志軍,鄭成賀,廖勤武.  國外電子測量技術(shù). 2018(03)
[10]農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)研究進展與發(fā)展趨勢分析[J]. 李道亮,楊昊.  農(nóng)業(yè)機械學報. 2018(01)

博士論文
[1]面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究[D]. 郭雷風.中國農(nóng)業(yè)科學院 2016

碩士論文
[1]多數(shù)據(jù)源隱私保護數(shù)據(jù)清洗與聯(lián)合學習研究[D]. 楊燁.西安電子科技大學 2019
[2]基于Spark的農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)的設(shè)計與實現(xiàn)[D]. 郭二秀.浙江大學 2018
[3]基于JMeter的性能自動化測試框架的設(shè)計與實現(xiàn)[D]. 侯星星.西安電子科技大學 2018
[4]農(nóng)業(yè)大數(shù)據(jù)平臺的實現(xiàn)與數(shù)據(jù)分析算法[D]. 徐勇.東北農(nóng)業(yè)大學 2017
[5]基于JMeter的Web Service自動化測試研究與應(yīng)用[D]. 趙東旭.湖南大學 2015
[6]基于GDAL的農(nóng)田信息系統(tǒng)研究[D]. 趙輝輝.東北農(nóng)業(yè)大學 2011



本文編號：3184442