發(fā)布時(shí)間：2022-12-18 06:12

　　隨著氣候環(huán)境對(duì)農(nóng)業(yè)生產(chǎn)的影響日益密切,如何高效處理海量增長(zhǎng)的氣象數(shù)據(jù),提高農(nóng)業(yè)氣象災(zāi)害預(yù)警的科學(xué)性成為農(nóng)業(yè)氣象災(zāi)害研究的熱門。由于氣象數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、冗余度高、價(jià)值密度低等特點(diǎn),所以傳統(tǒng)的數(shù)據(jù)分析方法往往達(dá)不到很高的處理效率。本文的主要工作就是針對(duì)氣象大數(shù)據(jù)的特點(diǎn),結(jié)合數(shù)據(jù)分析的研究成果,進(jìn)一步研究了更加高效的大數(shù)據(jù)處理技術(shù)并應(yīng)用于農(nóng)業(yè)氣象災(zāi)害預(yù)警。本文介紹了氣象大數(shù)據(jù)的處理架構(gòu),概述了大數(shù)據(jù)處理技術(shù),分析了現(xiàn)有大數(shù)據(jù)預(yù)處理技術(shù)、分類技術(shù)及各自性能。概述了自適應(yīng)增強(qiáng)技術(shù)和分布式處理架構(gòu),分析了組合分類器和并行化技術(shù)在大數(shù)據(jù)處理中的作用,為進(jìn)一步研究農(nóng)業(yè)氣象災(zāi)害預(yù)警提供準(zhǔn)備工作。針對(duì)氣象數(shù)據(jù)類型復(fù)雜、屬性繁多的特點(diǎn),結(jié)合粗糙集理論和并行化處理技術(shù),本文首先提出一種基于信息熵的并行化屬性約簡(jiǎn)算法。通過信息熵屬性約簡(jiǎn)算法消除重復(fù)、冗余的氣象數(shù)據(jù),實(shí)現(xiàn)對(duì)知識(shí)的壓縮和再提煉,并利用MapReduce架構(gòu)將任務(wù)進(jìn)行劃分,實(shí)現(xiàn)算法的分布式處理。仿真結(jié)果表明,該并行化算法能夠有效的運(yùn)用于氣象大數(shù)據(jù)約簡(jiǎn),且具有更快的處理速度。針對(duì)農(nóng)業(yè)氣象災(zāi)害分類預(yù)測(cè)效率低下的問題,本文提出了基于MapRed... 

【文章頁數(shù)】：76 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 大數(shù)據(jù)處理技術(shù)研究現(xiàn)狀
        1.2.2 農(nóng)業(yè)氣象災(zāi)害研究現(xiàn)狀
    1.3 研究?jī)?nèi)容
    1.4 論文結(jié)構(gòu)
第二章 氣象大數(shù)據(jù)處理相關(guān)技術(shù)概述
    2.1 氣象大數(shù)據(jù)概述
        2.1.1 氣象大數(shù)據(jù)處理架構(gòu)
        2.1.2 氣象大數(shù)據(jù)特點(diǎn)
    2.2 氣象大數(shù)據(jù)預(yù)處理技術(shù)概述
        2.2.1 氣象大數(shù)據(jù)預(yù)處理的研究?jī)?nèi)容
        2.2.2 粗糙集理論模型
        2.2.3 氣象大數(shù)據(jù)知識(shí)約簡(jiǎn)
    2.3 氣象大數(shù)據(jù)挖掘相關(guān)技術(shù)概述
        2.3.1 氣象大數(shù)據(jù)挖掘過程
        2.3.2 K最近鄰分類算法
        2.3.3 自適應(yīng)增強(qiáng)技術(shù)
    2.4 MapReduce技術(shù)概述
        2.4.1 MapReduce執(zhí)行過程
        2.4.2 MapReduce作業(yè)處理機(jī)制
    2.5 本章小結(jié)
第三章 基于信息熵的并行化屬性約簡(jiǎn)算法
    3.1 問題描述
    3.2 基于信息熵的并行化屬性約簡(jiǎn)算法
        3.2.1 信息熵約簡(jiǎn)
        3.2.2 信息熵約簡(jiǎn)的并行化
    3.3 仿真實(shí)驗(yàn)與結(jié)果分析
        3.3.1 約簡(jiǎn)過程分析
        3.3.2 算法性能分析
    3.4 本章小結(jié)
第四章 基于MapReduce的K最近鄰組合分類器研究
    4.1 問題描述
    4.2 基于MapReduce的KNN組合分類器
        4.2.1 KNN組合分類器
        4.2.2 KNN算法的并行化
    4.3 仿真實(shí)驗(yàn)與結(jié)果分析
    4.4 本章小結(jié)
第五章 大數(shù)據(jù)處理技術(shù)在農(nóng)業(yè)氣象災(zāi)害評(píng)估中的應(yīng)用
    5.1 問題描述
    5.2 農(nóng)業(yè)氣象災(zāi)害風(fēng)險(xiǎn)評(píng)估
        5.2.1 氣象災(zāi)害等級(jí)指標(biāo)
        5.2.2 農(nóng)業(yè)氣象災(zāi)害風(fēng)險(xiǎn)指數(shù)
        5.2.3 農(nóng)業(yè)氣象災(zāi)害評(píng)估結(jié)果
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 工作總結(jié)
    6.2 未來展望
致謝
參考文獻(xiàn)
作者簡(jiǎn)介


【參考文獻(xiàn)】：
期刊論文
[1]推進(jìn)農(nóng)業(yè)供給側(cè)結(jié)構(gòu)性改革的思考[J]. 吳海峰.  中州學(xué)刊. 2016(05)
[2]云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用[J]. 張潔,薛勝軍.  安徽農(nóng)業(yè)科學(xué). 2016(05)
[3]再析氣象大數(shù)據(jù)及其應(yīng)用[J]. 沈文海.  中國信息化. 2016(01)
[4]基于數(shù)據(jù)挖掘的氣象數(shù)據(jù)優(yōu)化研究[J]. 張民.  自動(dòng)化與儀器儀表. 2015(09)
[5]決策粗糙集理論研究現(xiàn)狀與展望[J]. 于洪,王國胤,姚一豫.  計(jì)算機(jī)學(xué)報(bào). 2015(08)
[6]基于Hadoop/Hive的氣象數(shù)據(jù)分布式處理研究[J]. 陳效杰,張金泉.  軟件導(dǎo)刊. 2015(08)
[7]異構(gòu)環(huán)境下MapRuduce任務(wù)調(diào)度算法優(yōu)化[J]. 魏巍,劉釗遠(yuǎn).  微型電腦應(yīng)用. 2015(06)
[8]基于差異關(guān)系的變精度粗糙集知識(shí)約簡(jiǎn)算法研究[J]. 焦娜.  計(jì)算機(jī)科學(xué). 2015(05)
[9]基于GIS的海量氣象數(shù)據(jù)預(yù)處理技術(shù)研究[J]. 桂翔,梁棟棟.  電腦知識(shí)與技術(shù). 2015(07)
[10]數(shù)據(jù)挖掘技術(shù)在氣象預(yù)報(bào)研究中的應(yīng)用[J]. 彭昱忠,王謙,元昌安,林開平.  干旱氣象. 2015(01)

博士論文
[1]基于粗糙集理論的森林病蟲害預(yù)測(cè)模型與算法的研究[D]. 張艷榮.東北林業(yè)大學(xué) 2012

碩士論文
[1]Adaboost算法的并行化及其在目標(biāo)分類中的應(yīng)用[D]. 袁浩杰.華南理工大學(xué) 2015
[2]公交動(dòng)態(tài)調(diào)度系統(tǒng)中的數(shù)據(jù)預(yù)測(cè)方法[D]. 劉亞彬.東北大學(xué) 2014
[3]基于MapReduce的KNN分類算法的研究與實(shí)現(xiàn)[D]. 喬鴻欣.北京交通大學(xué) 2012



本文編號(hào)：3721508