隨著氣候環(huán)境對農(nóng)業(yè)生產(chǎn)的影響日益密切,如何高效處理海量增長的氣象數(shù)據(jù),提高農(nóng)業(yè)氣象災(zāi)害預(yù)警的科學(xué)性成為農(nóng)業(yè)氣象災(zāi)害研究的熱門。由于氣象數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、冗余度高、價值密度低等特點,所以傳統(tǒng)的數(shù)據(jù)分析方法往往達(dá)不到很高的處理效率。本文的主要工作就是針對氣象大數(shù)據(jù)的特點,結(jié)合數(shù)據(jù)分析的研究成果,進一步研究了更加高效的大數(shù)據(jù)處理技術(shù)并應(yīng)用于農(nóng)業(yè)氣象災(zāi)害預(yù)警。本文介紹了氣象大數(shù)據(jù)的處理架構(gòu),概述了大數(shù)據(jù)處理技術(shù),分析了現(xiàn)有大數(shù)據(jù)預(yù)處理技術(shù)、分類技術(shù)及各自性能。概述了自適應(yīng)增強技術(shù)和分布式處理架構(gòu),分析了組合分類器和并行化技術(shù)在大數(shù)據(jù)處理中的作用,為進一步研究農(nóng)業(yè)氣象災(zāi)害預(yù)警提供準(zhǔn)備工作。針對氣象數(shù)據(jù)類型復(fù)雜、屬性繁多的特點,結(jié)合粗糙集理論和并行化處理技術(shù),本文首先提出一種基于信息熵的并行化屬性約簡算法。通過信息熵屬性約簡算法消除重復(fù)、冗余的氣象數(shù)據(jù),實現(xiàn)對知識的壓縮和再提煉,并利用MapReduce架構(gòu)將任務(wù)進行劃分,實現(xiàn)算法的分布式處理。仿真結(jié)果表明,該并行化算法能夠有效的運用于氣象大數(shù)據(jù)約簡,且具有更快的處理速度。針對農(nóng)業(yè)氣象災(zāi)害分類預(yù)測效率低下的問題,本文提出了基于MapRed... 

【文章頁數(shù)】：76 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 大數(shù)據(jù)處理技術(shù)研究現(xiàn)狀
        1.2.2 農(nóng)業(yè)氣象災(zāi)害研究現(xiàn)狀
    1.3 研究內(nèi)容
    1.4 論文結(jié)構(gòu)
第二章 氣象大數(shù)據(jù)處理相關(guān)技術(shù)概述
    2.1 氣象大數(shù)據(jù)概述
        2.1.1 氣象大數(shù)據(jù)處理架構(gòu)
        2.1.2 氣象大數(shù)據(jù)特點
    2.2 氣象大數(shù)據(jù)預(yù)處理技術(shù)概述
        2.2.1 氣象大數(shù)據(jù)預(yù)處理的研究內(nèi)容
        2.2.2 粗糙集理論模型
        2.2.3 氣象大數(shù)據(jù)知識約簡
    2.3 氣象大數(shù)據(jù)挖掘相關(guān)技術(shù)概述
        2.3.1 氣象大數(shù)據(jù)挖掘過程
        2.3.2 K最近鄰分類算法
        2.3.3 自適應(yīng)增強技術(shù)
    2.4 MapReduce技術(shù)概述
        2.4.1 MapReduce執(zhí)行過程
        2.4.2 MapReduce作業(yè)處理機制
    2.5 本章小結(jié)
第三章 基于信息熵的并行化屬性約簡算法
    3.1 問題描述
    3.2 基于信息熵的并行化屬性約簡算法
        3.2.1 信息熵約簡
        3.2.2 信息熵約簡的并行化
    3.3 仿真實驗與結(jié)果分析
        3.3.1 約簡過程分析
        3.3.2 算法性能分析
    3.4 本章小結(jié)
第四章 基于MapReduce的K最近鄰組合分類器研究
    4.1 問題描述
    4.2 基于MapReduce的KNN組合分類器
        4.2.1 KNN組合分類器
        4.2.2 KNN算法的并行化
    4.3 仿真實驗與結(jié)果分析
    4.4 本章小結(jié)
第五章 大數(shù)據(jù)處理技術(shù)在農(nóng)業(yè)氣象災(zāi)害評估中的應(yīng)用
    5.1 問題描述
    5.2 農(nóng)業(yè)氣象災(zāi)害風(fēng)險評估
        5.2.1 氣象災(zāi)害等級指標(biāo)
        5.2.2 農(nóng)業(yè)氣象災(zāi)害風(fēng)險指數(shù)
        5.2.3 農(nóng)業(yè)氣象災(zāi)害評估結(jié)果
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來展望
致謝
參考文獻
作者簡介


【參考文獻】：
期刊論文
[1]推進農(nóng)業(yè)供給側(cè)結(jié)構(gòu)性改革的思考[J]. 吳海峰.  中州學(xué)刊. 2016(05)
[2]云計算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用[J]. 張潔,薛勝軍.  安徽農(nóng)業(yè)科學(xué). 2016(05)
[3]再析氣象大數(shù)據(jù)及其應(yīng)用[J]. 沈文海.  中國信息化. 2016(01)
[4]基于數(shù)據(jù)挖掘的氣象數(shù)據(jù)優(yōu)化研究[J]. 張民.  自動化與儀器儀表. 2015(09)
[5]決策粗糙集理論研究現(xiàn)狀與展望[J]. 于洪,王國胤,姚一豫.  計算機學(xué)報. 2015(08)
[6]基于Hadoop/Hive的氣象數(shù)據(jù)分布式處理研究[J]. 陳效杰,張金泉.  軟件導(dǎo)刊. 2015(08)
[7]異構(gòu)環(huán)境下MapRuduce任務(wù)調(diào)度算法優(yōu)化[J]. 魏巍,劉釗遠(yuǎn).  微型電腦應(yīng)用. 2015(06)
[8]基于差異關(guān)系的變精度粗糙集知識約簡算法研究[J]. 焦娜.  計算機科學(xué). 2015(05)
[9]基于GIS的海量氣象數(shù)據(jù)預(yù)處理技術(shù)研究[J]. 桂翔,梁棟棟.  電腦知識與技術(shù). 2015(07)
[10]數(shù)據(jù)挖掘技術(shù)在氣象預(yù)報研究中的應(yīng)用[J]. 彭昱忠,王謙,元昌安,林開平.  干旱氣象. 2015(01)

博士論文
[1]基于粗糙集理論的森林病蟲害預(yù)測模型與算法的研究[D]. 張艷榮.東北林業(yè)大學(xué) 2012

碩士論文
[1]Adaboost算法的并行化及其在目標(biāo)分類中的應(yīng)用[D]. 袁浩杰.華南理工大學(xué) 2015
[2]公交動態(tài)調(diào)度系統(tǒng)中的數(shù)據(jù)預(yù)測方法[D]. 劉亞彬.東北大學(xué) 2014
[3]基于MapReduce的KNN分類算法的研究與實現(xiàn)[D]. 喬鴻欣.北京交通大學(xué) 2012



本文編號：3721508