【摘要】：隨著互聯(lián)網(wǎng)、計(jì)算和存儲(chǔ)技術(shù)的快速發(fā)展,氣象部門存儲(chǔ)的氣象數(shù)據(jù)量日益劇增,我國(guó)每年新增的氣象資料達(dá)到PB量級(jí),同時(shí)氣象數(shù)據(jù)類型相對(duì)復(fù)雜,這使得傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理技術(shù)不能很好解決目前用戶的需求。當(dāng)前國(guó)內(nèi)外許多研究團(tuán)隊(duì)都致力于歸納分析這些海量數(shù)據(jù),并從中挖掘出具有現(xiàn)實(shí)意義的氣象規(guī)律或模式。近幾年,云計(jì)算技術(shù)作為互聯(lián)網(wǎng)領(lǐng)域的新產(chǎn)物,它為海量數(shù)據(jù)存儲(chǔ)和處理提供了新的契機(jī),它在海量數(shù)據(jù)挖掘技術(shù)領(lǐng)域中具有顯著的優(yōu)勢(shì),且已經(jīng)得到了廣泛的應(yīng)用。云計(jì)算的總體思路是利用網(wǎng)絡(luò)互聯(lián)技術(shù)將若干臺(tái)計(jì)算機(jī)連接在一起,實(shí)現(xiàn)對(duì)資源集中管理和統(tǒng)一調(diào)度,相當(dāng)于形成一個(gè)資源池,以此按用戶需求為其提供服務(wù)。Hadoop技術(shù)作為云計(jì)算軟件平臺(tái)中處理數(shù)據(jù)的一種解決方案,它具有高容錯(cuò)、高吞吐量、低成本等特點(diǎn),將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)移植到Hadoop云平臺(tái)上,實(shí)現(xiàn)了低成本高效率的數(shù)據(jù)挖掘過(guò)程,這也已經(jīng)成為氣象數(shù)據(jù)挖掘研究方向的一個(gè)趨勢(shì)。本文深入研究了基于Hadoop平臺(tái)的數(shù)據(jù)挖掘方法以及氣象資料的特性,針對(duì)現(xiàn)有的貝葉斯分類數(shù)據(jù)挖掘方法存在的一些不足,結(jié)合Hadoop云平臺(tái)處理海量數(shù)據(jù)的優(yōu)勢(shì),提出了基于MapReduce的貝葉斯網(wǎng)絡(luò)分類改進(jìn)算法,為此,本文主要做了如下研究:(1)針對(duì)氣象數(shù)據(jù)的大規(guī)模特性,本文采用了 Hadoop平臺(tái)對(duì)氣象原始數(shù)據(jù)集進(jìn)行預(yù)處理和計(jì)算任意兩個(gè)特征屬性之間的相關(guān)系數(shù),利用相關(guān)分析技術(shù)選取預(yù)測(cè)屬性,在一定程度上減少模型訓(xùn)練的復(fù)雜度。(2)分析典型氣象數(shù)據(jù)挖掘分類算法的優(yōu)劣性,針對(duì)氣象數(shù)據(jù)的關(guān)聯(lián)特性,本文采用了貝葉斯網(wǎng)絡(luò)分類算法,它的提出就是為了解決事物的不確定性和關(guān)聯(lián)性,較其他分類算法更適合氣象數(shù)據(jù)分析。(3)在貝葉斯分類模型訓(xùn)練過(guò)程中,采用了精度評(píng)估,對(duì)不滿足精度要求的模型采用迭代訓(xùn)練,并不斷修改模型參數(shù),以便獲得較優(yōu)的分類模型,并對(duì)測(cè)試集進(jìn)行分類實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法較現(xiàn)有的算法在計(jì)算效率和性能上均有一定的提高。
[Abstract]:With the rapid development of Internet, computing and storage technology, the meteorological data stored by meteorological departments is increasing day by day. The new meteorological data in China reach the order of PB every year, and the types of meteorological data are relatively complex. This makes the traditional data storage and processing technology can not solve the needs of current users. At present, many research teams at home and abroad are committed to summing up and analyzing these massive data, and mining out the meteorological laws or patterns of practical significance. In recent years, cloud computing technology, as a new product in the field of Internet, provides a new opportunity for mass data storage and processing. Cloud computing technology has significant advantages in the field of massive data mining technology, and has been widely used. The overall idea of cloud computing is to use network interconnection technology to connect several computers together to achieve centralized management and unified scheduling of resources, which is equivalent to the formation of a resource pool. Hadoop technology, as a solution to deal with data in cloud computing software platform, has the characteristics of high fault tolerance, high throughput, low cost and so on. Hadoop technology transports traditional data mining technology to Hadoop cloud platform. The process of low cost and high efficiency data mining has been realized, which has become a trend in the research direction of meteorological data mining. In this paper, the data mining method based on Hadoop platform and the characteristics of meteorological data are deeply studied. In view of some shortcomings of the existing Hadoop classification data mining methods, combined with the advantages of Hadoop cloud platform in dealing with massive data, An improved classification algorithm based on MapReduce is proposed. For this reason, this paper mainly does the following research: (1) aiming at the large-scale characteristics of meteorological data, In this paper, Hadoop platform is used to preprocess the meteorological original data set and calculate the correlation coefficient between any two feature attributes, and the prediction attributes are selected by using correlation analysis technology. To a certain extent, the complexity of model training is reduced. (2) the advantages and disadvantages of typical meteorological data mining classification algorithms are analyzed. According to the association characteristics of meteorological data, this paper adopts the Bayesian network classification algorithm. In order to solve the uncertainty and relevance of things, it is more suitable for meteorological data analysis than other classification algorithms. (3) in the training process of Bayesian classification model, the accuracy evaluation is adopted. Iterative training is used for the model that does not meet the accuracy requirements, and the model parameters are constantly modified in order to obtain a better classification model, and the classification experiment of the test set is carried out. The experimental results show that the improved algorithm has a certain improvement in computational efficiency and performance compared with the existing algorithms.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃源,張福炎;數(shù)據(jù)挖掘及其技術(shù)實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2001年12期

2 香麗蕓;淺談數(shù)據(jù)挖掘及其應(yīng)用[J];昌吉師專學(xué)報(bào);2001年02期

3 鄭雪燕,張杰明,岳洋;數(shù)據(jù)挖掘語(yǔ)言[J];計(jì)算機(jī)時(shí)代;2001年11期

4 劉明晶;數(shù)據(jù)挖掘[J];華南金融電腦;2001年04期

5 張偉;劉勇國(guó);彭軍;廖曉峰;吳中福;;數(shù)據(jù)挖掘發(fā)展研究[J];計(jì)算機(jī)科學(xué);2001年07期

6 鐘曉;馬少平;張鈸;俞瑞釗;;數(shù)據(jù)挖掘綜述[J];模式識(shí)別與人工智能;2001年01期

7 朱建平,張潤(rùn)楚;數(shù)據(jù)挖掘的發(fā)展及其特點(diǎn)[J];統(tǒng)計(jì)與決策;2002年07期

8 傅嵐;在數(shù)據(jù)海洋中打撈信息數(shù)據(jù)挖掘[J];科技廣場(chǎng);2002年11期

9 李峻;數(shù)據(jù)挖掘,企業(yè)洞察先機(jī)的“慧眼”[J];中國(guó)計(jì)算機(jī)用戶;2002年48期

10 羅可,蔡碧野,卜勝賢,謝中科;數(shù)據(jù)挖掘及其發(fā)展研究[J];計(jì)算機(jī)工程與應(yīng)用;2002年14期

相關(guān)會(huì)議論文 前10條

1 史東輝;蔡慶生;張春陽(yáng);;一種新的數(shù)據(jù)挖掘多策略方法研究[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

2 張弦;;數(shù)據(jù)挖掘在農(nóng)業(yè)中的應(yīng)用[A];紀(jì)念中國(guó)農(nóng)業(yè)工程學(xué)會(huì)成立30周年暨中國(guó)農(nóng)業(yè)工程學(xué)會(huì)2009年學(xué)術(shù)年會(huì)（CSAE 2009）論文集[C];2009年

3 魏順平;;教育數(shù)據(jù)挖掘:現(xiàn)狀與趨勢(shì)[A];信息化、工業(yè)化融合與服務(wù)創(chuàng)新——第十三屆計(jì)算機(jī)模擬與信息技術(shù)學(xué)術(shù)會(huì)議論文集[C];2011年

4 關(guān)清平;沉培輝;;概率網(wǎng)絡(luò)在數(shù)據(jù)挖掘上的應(yīng)用[A];科技、工程與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展——中國(guó)科協(xié)第五屆青年學(xué)術(shù)年會(huì)論文集[C];2004年

5 丁瑾;;基于Web數(shù)據(jù)挖掘的綜述[A];山西省科學(xué)技術(shù)情報(bào)學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2004年

6 聶茹;田森平;;Web數(shù)據(jù)挖掘及其在電子商務(wù)中的應(yīng)用[A];中南六�。▍^(qū)）自動(dòng)化學(xué)會(huì)第24屆學(xué)術(shù)年會(huì)會(huì)議論文集[C];2006年

7 李菊;王軍;;數(shù)據(jù)挖掘在客戶關(guān)系管理的應(yīng)用[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

8 肖陽(yáng);李啟賢;;數(shù)據(jù)挖掘在中國(guó)鋼鐵行業(yè)中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2012年會(huì)暨能源計(jì)量與節(jié)能降耗經(jīng)驗(yàn)交流會(huì)論文集[C];2012年

9 楊磊;王貴成;汪勇;張占勝;;SQL Server 2005在數(shù)據(jù)挖掘中的應(yīng)用[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第二分冊(cè)）[C];2009年

10 謝中;邱玉輝;;面向商務(wù)網(wǎng)站有效性的數(shù)據(jù)挖掘方法[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者褚寧;數(shù)據(jù)挖掘如“挖金”[N];解放日?qǐng)?bào);2002年

2 周蓉蓉;數(shù)據(jù)挖掘需要點(diǎn)想像力[N];計(jì)算機(jī)世界;2004年

3 □中國(guó)電信股份有限公司北京研究院 張舒博 □北京郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 牛琨;走出數(shù)據(jù)挖掘的誤區(qū)[N];人民郵電;2006年

4 《網(wǎng)絡(luò)世界》記者 王瑩;數(shù)據(jù)挖掘保險(xiǎn)業(yè)的新藍(lán)海[N];網(wǎng)絡(luò)世界;2012年

5 劉俊麗;基于地理化的網(wǎng)絡(luò)數(shù)據(jù)挖掘與分析提升投資有效性[N];人民郵電;2014年

6 本報(bào)記者 連曉東;數(shù)據(jù)挖掘：金融信息化新熱點(diǎn)[N];中國(guó)電子報(bào);2002年

7 本報(bào)記者 鳳小華 朱仁康;“數(shù)字挖掘軟件”引領(lǐng)中國(guó)信息化新浪潮[N];中國(guó)電子報(bào);2003年

8 本報(bào)記者　史延廷;“成功企業(yè)數(shù)據(jù)挖掘暨數(shù)量化管理論壇”在京舉辦[N];中國(guó)旅游報(bào);2002年

9 朱小寧;數(shù)據(jù)挖掘：信息化戰(zhàn)爭(zhēng)的基礎(chǔ)工程[N];解放軍報(bào);2005年

10 本報(bào)記者 王小平;從“大集中”走向數(shù)據(jù)挖掘[N];金融時(shí)報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 于自強(qiáng);海量流數(shù)據(jù)挖掘相關(guān)問(wèn)題研究[D];山東大學(xué);2015年

2 張馨;全基因組SNP芯片應(yīng)用于CNV和L0H分析的軟件比對(duì)與數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

3 彭計(jì)紅;基于數(shù)據(jù)挖掘的癡呆中醫(yī)證的研究[D];南京中醫(yī)藥大學(xué);2015年

4 李秋虹;基于MapReduce的大規(guī)模數(shù)據(jù)挖掘技術(shù)研究[D];復(fù)旦大學(xué);2013年

5 鄔文帥;基于多目標(biāo)決策的數(shù)據(jù)挖掘方法評(píng)估與應(yīng)用[D];電子科技大學(xué);2015年

6 謝邦彥;整合數(shù)據(jù)挖掘與TRIZ理論的質(zhì)量管理方法研究[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2010年

7 何偉全;云南高校學(xué)生意外傷害因素關(guān)聯(lián)規(guī)則挖掘及風(fēng)險(xiǎn)管控體系研究[D];昆明理工大學(xué);2015年

8 段功豪;基于多結(jié)構(gòu)數(shù)據(jù)挖掘的滑坡災(zāi)害預(yù)測(cè)模型研究[D];中國(guó)地質(zhì)大學(xué);2016年

9 白曉明;基于數(shù)據(jù)挖掘的復(fù)合材料宏—細(xì)觀力學(xué)模型研究[D];哈爾濱工業(yè)大學(xué);2016年

10 藍(lán)永豪（LAM Wing Ho）;基于數(shù)據(jù)挖掘技術(shù)分析當(dāng)代中醫(yī)名家痤瘡驗(yàn)方經(jīng)驗(yàn)研究[D];南京中醫(yī)藥大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 孫靖;基于Hadoop平臺(tái)的氣象數(shù)據(jù)挖掘研究[D];北京郵電大學(xué);2016年

2 祖曉暉;基于數(shù)據(jù)挖掘的智慧健康服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];南京郵電大學(xué);2017年

3 林仁紅;基于數(shù)據(jù)挖掘的機(jī)遇識(shí)別與評(píng)價(jià)研究[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2007年

4 張彥俊;游戲運(yùn)營(yíng)中的數(shù)據(jù)挖掘[D];復(fù)旦大學(xué);2011年

5 焦亞召;基于多核函數(shù)FCM算法在數(shù)據(jù)挖掘聚類中的應(yīng)用研究[D];昆明理工大學(xué);2015年

6 王杰鋒;物聯(lián)網(wǎng)能耗數(shù)據(jù)智能分析及其應(yīng)用平臺(tái)設(shè)計(jì)[D];江南大學(xué);2015年

7 劉學(xué)建;數(shù)據(jù)挖掘在電子商務(wù)推薦系統(tǒng)中的應(yīng)用研究[D];昆明理工大學(xué);2015年

8 戴陽(yáng)陽(yáng);基于數(shù)據(jù)挖掘的金融時(shí)間序列預(yù)測(cè)研究與應(yīng)用[D];江南大學(xué);2015年

9 石思優(yōu);基于主題模型的醫(yī)療數(shù)據(jù)挖掘研究[D];廣東技術(shù)師范學(xué)院;2015年

10 陳丹;移動(dòng)互聯(lián)網(wǎng)信令挖掘?qū)崿F(xiàn)智慧營(yíng)銷的設(shè)計(jì)與實(shí)現(xiàn)應(yīng)用研究[D];華南理工大學(xué);2015年

，

本文編號(hào)：2480254