面向柑橘病蟲害預(yù)警的Hadoop數(shù)據(jù)挖掘技術(shù)研究
發(fā)布時(shí)間:2021-01-29 16:26
柑橘種植產(chǎn)業(yè)在江西省種植業(yè)中處于重要的地位,是江西省果業(yè)工程計(jì)劃的一個(gè)重點(diǎn)。柑橘類農(nóng)作物由于其自身的生長(zhǎng)特點(diǎn),容易遭到病蟲害侵襲,而病蟲害一旦發(fā)生且在短時(shí)間內(nèi)沒(méi)有得到徹底清除,就會(huì)迅速繁衍,造成大規(guī)模性的柑橘類種植災(zāi)害,進(jìn)而導(dǎo)致柑橘的產(chǎn)量和品質(zhì)下降。柑橘病蟲害的發(fā)生與溫度、濕度、土壤等因素息息相關(guān),因此,通過(guò)分析柑橘種植過(guò)程中的這些相關(guān)數(shù)據(jù),改進(jìn)病蟲害診斷預(yù)警的數(shù)據(jù)挖掘方法,最終構(gòu)建出柑橘類農(nóng)作物病蟲害預(yù)警系統(tǒng)。研究成果對(duì)我國(guó)農(nóng)作物病蟲害診斷預(yù)警具有一定的理論意義和應(yīng)用價(jià)值。在對(duì)柑橘種植數(shù)據(jù)進(jìn)行分析和處理過(guò)程中,隨著歷史數(shù)據(jù)量的逐漸增多,單個(gè)算法模型已經(jīng)不能滿足現(xiàn)實(shí)中大數(shù)據(jù)量的分析和挖掘需求,算法的集成學(xué)習(xí)和并行化計(jì)算成為數(shù)據(jù)挖掘的主要研究方向,本文采用決策樹挖掘算法,研究重點(diǎn)為決策樹算法的集成學(xué)習(xí)及其在Hadoop中的并行化計(jì)算。首先,初步介紹基于Hadoop大數(shù)據(jù)分布式處理系統(tǒng),主要包括HDFS的系統(tǒng)架構(gòu)、運(yùn)行機(jī)制和容錯(cuò)機(jī)制,以及MapReduce編程模型,MapReduce并行化過(guò)程,然后介紹數(shù)據(jù)挖掘過(guò)程中數(shù)據(jù)處理流程和常用的數(shù)據(jù)挖掘算法,并詳細(xì)說(shuō)明本文中柑橘病蟲害相關(guān)數(shù)據(jù)的來(lái)源...
【文章來(lái)源】:華東交通大學(xué)江西省
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
主要符號(hào)說(shuō)明
第一章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 農(nóng)業(yè)病蟲害預(yù)警的研究現(xiàn)狀
1.2.2 數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)領(lǐng)域的研究現(xiàn)狀
1.3 本文的主要研究?jī)?nèi)容
1.4 本文的組織結(jié)構(gòu)及課題來(lái)源
第二章 Hadoop及數(shù)據(jù)挖掘相關(guān)技術(shù)概述
2.1 Hadoop及其相關(guān)模塊
2.1.1 HDFS架構(gòu)及原理
2.1.2 MapReduce編程模型
2.1.3 Mahout算法模塊
2.2 數(shù)據(jù)挖掘概述
2.2.1 數(shù)據(jù)挖掘流程
2.2.2 數(shù)據(jù)挖掘算法
2.3 本章小結(jié)
第三章 決策樹及集成學(xué)習(xí)挖掘算法研究
3.1 決策樹算法
3.1.1 決策樹模型
3.1.2 ID3算法
3.1.3 C4.5算法
3.1.4 CART算法
3.2 集成學(xué)習(xí)
3.2.1 Bagging集成學(xué)習(xí)
3.2.2 Booting集成學(xué)習(xí)
3.3 本章小結(jié)
第四章 基于Hadoop的決策樹算法研究與實(shí)現(xiàn)
4.1 基于Hadoop的隨機(jī)森林算法及其并行化實(shí)現(xiàn)
4.1.1 隨機(jī)森林算法
4.1.2 隨機(jī)森林算法并行化實(shí)現(xiàn)
4.2 基于Hadoop的迭代決策樹算法及其并行化實(shí)現(xiàn)
4.2.1 梯度提升決策樹
4.2.2 迭代決策樹算法并行化實(shí)現(xiàn)
4.3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
4.3.1 實(shí)驗(yàn)環(huán)境部署
4.3.2 柑橘病蟲害數(shù)據(jù)收集與處理
4.3.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析
4.4 本章小結(jié)
第五章 柑橘病蟲害預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
5.1 系統(tǒng)總體設(shè)計(jì)
5.2 數(shù)據(jù)引擎
5.2.1 數(shù)據(jù)管理模塊
5.2.2 大數(shù)據(jù)挖掘模塊
5.2.3 數(shù)據(jù)預(yù)測(cè)模塊
5.3 系統(tǒng)管理控制功能
5.4 系統(tǒng)主要功能模塊實(shí)現(xiàn)
5.4.1 開(kāi)發(fā)工具及環(huán)境
5.4.2 功能實(shí)現(xiàn)
5.4.3 系統(tǒng)驗(yàn)證
5.5 本章小結(jié)
第六章 總結(jié)與展望
參考文獻(xiàn)
個(gè)人簡(jiǎn)歷 在讀期間發(fā)表的學(xué)術(shù)論文
致謝
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop平臺(tái)的MapReduce模型任務(wù)調(diào)度算法的研究與改進(jìn)[J]. 李霞,柯琦. 數(shù)字技術(shù)與應(yīng)用. 2017(02)
[2]基于大數(shù)據(jù)的圖書館移動(dòng)信息服務(wù)創(chuàng)新研究[J]. 桂玉杰,杜濤,蔡靜,張秋淼,湯文亮. 軟件導(dǎo)刊. 2016(12)
[3]基于云計(jì)算的柑橘市場(chǎng)信息預(yù)測(cè)平臺(tái)構(gòu)建研究[J]. 王聰,黃曉英. 中國(guó)農(nóng)業(yè)信息. 2016(14)
[4]CMADS數(shù)據(jù)集及其在流域水文模型中的驅(qū)動(dòng)作用——以黑河流域?yàn)槔齕J]. 孟現(xiàn)勇,師春香,劉時(shí)銀,王浩,雷曉輝,劉志輝,吉曉楠,蔡思宇,趙求東. 人民珠江. 2016(07)
[5]基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法[J]. 王磊,張永堅(jiān),賈繼鵬,牛曉光,聶昌龍. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(03)
[6]基于K-means聚類算法的葉螨圖像分割與識(shí)別[J]. 劉國(guó)成,張楊,黃建華,湯文亮. 昆蟲學(xué)報(bào). 2015 (12)
[7]鄱陽(yáng)湖生態(tài)經(jīng)濟(jì)區(qū)農(nóng)業(yè)生態(tài)化探析[J]. 席鷺軍. 湖北經(jīng)濟(jì)學(xué)院學(xué)報(bào)(人文社會(huì)科學(xué)版). 2015(11)
[8]柑橘病蟲害綜合防控技術(shù)[J]. 來(lái)代芬. 農(nóng)技服務(wù). 2015(06)
[9]圓形分布統(tǒng)計(jì)的江西省柑橘病蟲害時(shí)間格局分析[J]. 張偉,戴小華,徐家生,王飛. 贛南師范學(xué)院學(xué)報(bào). 2014(06)
[10]基于MVC的長(zhǎng)春市玉米病蟲害與缺素診斷專家系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 司秀麗,李偉為. 貴州農(nóng)業(yè)科學(xué). 2014(06)
博士論文
[1]基于不確定理論和機(jī)器學(xué)習(xí)的知識(shí)發(fā)現(xiàn)研究[D]. 劉后勝.中國(guó)科學(xué)技術(shù)大學(xué) 2008
碩士論文
[1]決策樹和關(guān)聯(lián)規(guī)則技術(shù)在高職院校招生工作中的應(yīng)用研究[D]. 曲俊燕.鄭州大學(xué) 2016
[2]隨機(jī)森林算法處理不平衡數(shù)據(jù)的改進(jìn)及其并行化[D]. 鐘龍申.廣東工業(yè)大學(xué) 2016
[3]基于決策樹C4.5算法剪枝策略的改進(jìn)研究[D]. 邱磊.華中師范大學(xué) 2016
[4]基于Hadoop的決策樹算法改進(jìn)及林業(yè)數(shù)據(jù)分類預(yù)測(cè)研究[D]. 李海濤.東北林業(yè)大學(xué) 2016
[5]基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D]. 陳名輝.湖南師范大學(xué) 2016
[6]面向智慧農(nóng)業(yè)種植過(guò)程的數(shù)據(jù)采集平臺(tái)的研究[D]. 牛鴿.浙江理工大學(xué) 2016
[7]基于Hadoop大數(shù)據(jù)平臺(tái)資源及用戶行為檢測(cè)技術(shù)的研究[D]. 王驍.北京交通大學(xué) 2015
[8]基于Hadoop的MapReduce的性能分析與優(yōu)化[D]. 戴新華.南京郵電大學(xué) 2015
[9]數(shù)據(jù)挖掘的決策樹技術(shù)在高校畢業(yè)生管理中的應(yīng)用[D]. 瞿花斌.山東大學(xué) 2014
[10]自適應(yīng)屬性選擇的隱樸素貝葉斯算法研究及其應(yīng)用[D]. 瞿忠魁.湖南大學(xué) 2014
本文編號(hào):3007196
【文章來(lái)源】:華東交通大學(xué)江西省
【文章頁(yè)數(shù)】:78 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
主要符號(hào)說(shuō)明
第一章 緒論
1.1 研究背景及意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 農(nóng)業(yè)病蟲害預(yù)警的研究現(xiàn)狀
1.2.2 數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)領(lǐng)域的研究現(xiàn)狀
1.3 本文的主要研究?jī)?nèi)容
1.4 本文的組織結(jié)構(gòu)及課題來(lái)源
第二章 Hadoop及數(shù)據(jù)挖掘相關(guān)技術(shù)概述
2.1 Hadoop及其相關(guān)模塊
2.1.1 HDFS架構(gòu)及原理
2.1.2 MapReduce編程模型
2.1.3 Mahout算法模塊
2.2 數(shù)據(jù)挖掘概述
2.2.1 數(shù)據(jù)挖掘流程
2.2.2 數(shù)據(jù)挖掘算法
2.3 本章小結(jié)
第三章 決策樹及集成學(xué)習(xí)挖掘算法研究
3.1 決策樹算法
3.1.1 決策樹模型
3.1.2 ID3算法
3.1.3 C4.5算法
3.1.4 CART算法
3.2 集成學(xué)習(xí)
3.2.1 Bagging集成學(xué)習(xí)
3.2.2 Booting集成學(xué)習(xí)
3.3 本章小結(jié)
第四章 基于Hadoop的決策樹算法研究與實(shí)現(xiàn)
4.1 基于Hadoop的隨機(jī)森林算法及其并行化實(shí)現(xiàn)
4.1.1 隨機(jī)森林算法
4.1.2 隨機(jī)森林算法并行化實(shí)現(xiàn)
4.2 基于Hadoop的迭代決策樹算法及其并行化實(shí)現(xiàn)
4.2.1 梯度提升決策樹
4.2.2 迭代決策樹算法并行化實(shí)現(xiàn)
4.3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析
4.3.1 實(shí)驗(yàn)環(huán)境部署
4.3.2 柑橘病蟲害數(shù)據(jù)收集與處理
4.3.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析
4.4 本章小結(jié)
第五章 柑橘病蟲害預(yù)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
5.1 系統(tǒng)總體設(shè)計(jì)
5.2 數(shù)據(jù)引擎
5.2.1 數(shù)據(jù)管理模塊
5.2.2 大數(shù)據(jù)挖掘模塊
5.2.3 數(shù)據(jù)預(yù)測(cè)模塊
5.3 系統(tǒng)管理控制功能
5.4 系統(tǒng)主要功能模塊實(shí)現(xiàn)
5.4.1 開(kāi)發(fā)工具及環(huán)境
5.4.2 功能實(shí)現(xiàn)
5.4.3 系統(tǒng)驗(yàn)證
5.5 本章小結(jié)
第六章 總結(jié)與展望
參考文獻(xiàn)
個(gè)人簡(jiǎn)歷 在讀期間發(fā)表的學(xué)術(shù)論文
致謝
【參考文獻(xiàn)】:
期刊論文
[1]基于Hadoop平臺(tái)的MapReduce模型任務(wù)調(diào)度算法的研究與改進(jìn)[J]. 李霞,柯琦. 數(shù)字技術(shù)與應(yīng)用. 2017(02)
[2]基于大數(shù)據(jù)的圖書館移動(dòng)信息服務(wù)創(chuàng)新研究[J]. 桂玉杰,杜濤,蔡靜,張秋淼,湯文亮. 軟件導(dǎo)刊. 2016(12)
[3]基于云計(jì)算的柑橘市場(chǎng)信息預(yù)測(cè)平臺(tái)構(gòu)建研究[J]. 王聰,黃曉英. 中國(guó)農(nóng)業(yè)信息. 2016(14)
[4]CMADS數(shù)據(jù)集及其在流域水文模型中的驅(qū)動(dòng)作用——以黑河流域?yàn)槔齕J]. 孟現(xiàn)勇,師春香,劉時(shí)銀,王浩,雷曉輝,劉志輝,吉曉楠,蔡思宇,趙求東. 人民珠江. 2016(07)
[5]基于Hadoop的公共建筑能耗數(shù)據(jù)挖掘方法[J]. 王磊,張永堅(jiān),賈繼鵬,牛曉光,聶昌龍. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2016(03)
[6]基于K-means聚類算法的葉螨圖像分割與識(shí)別[J]. 劉國(guó)成,張楊,黃建華,湯文亮. 昆蟲學(xué)報(bào). 2015 (12)
[7]鄱陽(yáng)湖生態(tài)經(jīng)濟(jì)區(qū)農(nóng)業(yè)生態(tài)化探析[J]. 席鷺軍. 湖北經(jīng)濟(jì)學(xué)院學(xué)報(bào)(人文社會(huì)科學(xué)版). 2015(11)
[8]柑橘病蟲害綜合防控技術(shù)[J]. 來(lái)代芬. 農(nóng)技服務(wù). 2015(06)
[9]圓形分布統(tǒng)計(jì)的江西省柑橘病蟲害時(shí)間格局分析[J]. 張偉,戴小華,徐家生,王飛. 贛南師范學(xué)院學(xué)報(bào). 2014(06)
[10]基于MVC的長(zhǎng)春市玉米病蟲害與缺素診斷專家系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 司秀麗,李偉為. 貴州農(nóng)業(yè)科學(xué). 2014(06)
博士論文
[1]基于不確定理論和機(jī)器學(xué)習(xí)的知識(shí)發(fā)現(xiàn)研究[D]. 劉后勝.中國(guó)科學(xué)技術(shù)大學(xué) 2008
碩士論文
[1]決策樹和關(guān)聯(lián)規(guī)則技術(shù)在高職院校招生工作中的應(yīng)用研究[D]. 曲俊燕.鄭州大學(xué) 2016
[2]隨機(jī)森林算法處理不平衡數(shù)據(jù)的改進(jìn)及其并行化[D]. 鐘龍申.廣東工業(yè)大學(xué) 2016
[3]基于決策樹C4.5算法剪枝策略的改進(jìn)研究[D]. 邱磊.華中師范大學(xué) 2016
[4]基于Hadoop的決策樹算法改進(jìn)及林業(yè)數(shù)據(jù)分類預(yù)測(cè)研究[D]. 李海濤.東北林業(yè)大學(xué) 2016
[5]基于YARN和Spark框架的數(shù)據(jù)挖掘算法并行研究[D]. 陳名輝.湖南師范大學(xué) 2016
[6]面向智慧農(nóng)業(yè)種植過(guò)程的數(shù)據(jù)采集平臺(tái)的研究[D]. 牛鴿.浙江理工大學(xué) 2016
[7]基于Hadoop大數(shù)據(jù)平臺(tái)資源及用戶行為檢測(cè)技術(shù)的研究[D]. 王驍.北京交通大學(xué) 2015
[8]基于Hadoop的MapReduce的性能分析與優(yōu)化[D]. 戴新華.南京郵電大學(xué) 2015
[9]數(shù)據(jù)挖掘的決策樹技術(shù)在高校畢業(yè)生管理中的應(yīng)用[D]. 瞿花斌.山東大學(xué) 2014
[10]自適應(yīng)屬性選擇的隱樸素貝葉斯算法研究及其應(yīng)用[D]. 瞿忠魁.湖南大學(xué) 2014
本文編號(hào):3007196
本文鏈接:http://sikaile.net/nykjlw/dzwbhlw/3007196.html
最近更新
教材專著