本文關(guān)鍵詞：基于改進(jìn)貝葉斯網(wǎng)絡(luò)的氣象數(shù)據(jù)預(yù)測算法研究

  更多相關(guān)文章： 天氣預(yù)測 氣象數(shù)據(jù) 貝葉斯網(wǎng)絡(luò) Hadoop MapReduce

【摘要】：隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展,人們的生產(chǎn)生活變得越來越便捷,隨之積累的數(shù)據(jù)量也越來越大。這些海量的數(shù)據(jù)背后蘊(yùn)含著豐富的知識和規(guī)律,如果能把這些有用的信息挖掘出來,那將對我們未來的生活帶來很大的幫助,尤其是在氣象領(lǐng)域,這種幫助將更加明顯。長期以來,氣象預(yù)測在人們的生產(chǎn)和生活中都占據(jù)著非常重要的位置,大到飛機(jī)起飛、火箭發(fā)射,小到種植計劃、穿衣出行,氣象預(yù)測深刻影響著我國的科研領(lǐng)域、經(jīng)濟(jì)建設(shè)和人民生活。近年來,氣象事業(yè)的現(xiàn)代化水平和現(xiàn)代氣象業(yè)務(wù)體系在不斷提高和完善,隨之也產(chǎn)生了地面、衛(wèi)星觀測和數(shù)值預(yù)報等各種類型的大量觀測數(shù)據(jù),數(shù)據(jù)量已經(jīng)達(dá)到了PB級。遺憾的是,盡管數(shù)據(jù)的增長十分迅速,但我們處理數(shù)據(jù)的技術(shù)卻發(fā)展的相對滯后,傳統(tǒng)的數(shù)據(jù)挖掘方法在面對這些海量數(shù)據(jù)時,處理和計算都遇到了很大的障礙。在這樣的背景下,Hadoop平臺的出現(xiàn)為高效地實現(xiàn)海量氣象數(shù)據(jù)的挖掘提供了可能,Hadoop平臺利用網(wǎng)絡(luò)互聯(lián)技術(shù)將若干臺計算機(jī)連接在一起,實現(xiàn)對資源的集中管理和統(tǒng)一調(diào)度�；贖adoop的海量氣象數(shù)據(jù)預(yù)測的基本思想是將傳統(tǒng)的氣象數(shù)據(jù)預(yù)測算法和Hadoop平臺相結(jié)合,利用Hadoop超強(qiáng)的計算能力,使海量數(shù)據(jù)得到充分利用,最終取得更好的氣象預(yù)測效果。Hadoop技術(shù)作為處理海量數(shù)據(jù)的一種解決方案,具有低成本、高吞吐量、高容錯等特點,得到了社會各界廣泛的應(yīng)用。論文深入研究了Hadoop平臺和氣象數(shù)據(jù)預(yù)測算法,針對樸素貝葉斯分類算法和貝葉斯網(wǎng)絡(luò)算法在氣象預(yù)測領(lǐng)域中的一些不足,結(jié)合Hadoop平臺分布式處理數(shù)據(jù)的優(yōu)勢和氣象數(shù)據(jù)自身的特性,提出在MapReduce框架基礎(chǔ)上運(yùn)行的貝葉斯網(wǎng)絡(luò)分類算法,論文主要做了如下研究:(1)考慮到氣象數(shù)據(jù)的海量性,論文采用Hadoop平臺對數(shù)據(jù)進(jìn)行預(yù)處理,并計算任意屬性和決策屬性之間的相關(guān)系數(shù),利用相關(guān)系數(shù)篩選預(yù)測屬性,降低了算法的復(fù)雜度,提高了模型訓(xùn)練的效率。(2)結(jié)合氣象數(shù)據(jù)的特性,對比常用的氣象數(shù)據(jù)預(yù)測算法,論文選擇了貝葉斯網(wǎng)絡(luò)分類算法,并利用互信息有關(guān)知識對貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行學(xué)習(xí)。算法在Hadoop平臺上運(yùn)行良好,對氣象數(shù)據(jù)的不確定性和關(guān)聯(lián)性具有較強(qiáng)的適應(yīng)能力。(3)在算法中加入迭代模型,用測試集對訓(xùn)練得到的貝葉斯網(wǎng)絡(luò)進(jìn)行精度評估,如果網(wǎng)絡(luò)模型不滿足系統(tǒng)預(yù)設(shè)的精度要求,則要修改模型參數(shù),重新對貝葉斯網(wǎng)絡(luò)進(jìn)行訓(xùn)練,以獲得較優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。通過和現(xiàn)有氣象預(yù)測算法進(jìn)行實驗對比,證明了論文改進(jìn)算法在精度和效率上都有一定的提高。
【關(guān)鍵詞】：天氣預(yù)測 氣象數(shù)據(jù) 貝葉斯網(wǎng)絡(luò) Hadoop MapReduce
【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：P409;TP18
【目錄】：

• 摘要3-5
• ABSTRACT5-11
• 第一章 緒論11-17
• 1.1 研究背景和意義11-12
• 1.2 國內(nèi)外研究動態(tài)12-14
• 1.2.1 氣象數(shù)據(jù)預(yù)測的研究現(xiàn)狀12-13
• 1.2.2 Hadoop技術(shù)研究發(fā)展現(xiàn)狀13-14
• 1.3 論文主要工作14
• 1.4 論文組織結(jié)構(gòu)14-17
• 第二章 Hadoop相關(guān)技術(shù)概述17-29
• 2.1 Hadoop概述17-18
• 2.2 HDFS介紹18-20
• 2.2.1 HDFS的體系結(jié)構(gòu)18-19
• 2.2.2 HDFS的工作原理19-20
• 2.3 MapReduce概述20-23
• 2.3.1 MapReduce實現(xiàn)機(jī)制20-21
• 2.3.2 MapReduce執(zhí)行流程21-23
• 2.3.3 MapReduce運(yùn)行速度23
• 2.4 基于Hadoop的氣象數(shù)據(jù)存儲方案23-27
• 2.4.1 海量氣象數(shù)據(jù)管理面臨的主要問題24
• 2.4.2 數(shù)據(jù)中心層次結(jié)構(gòu)24-27
• 2.5 本章小結(jié)27-29
• 第三章 氣象數(shù)據(jù)預(yù)測29-39
• 3.1 數(shù)據(jù)挖掘簡介29-31
• 3.1.1 數(shù)據(jù)挖掘定義29-30
• 3.1.2 數(shù)據(jù)挖掘過程30-31
• 3.2 典型氣象數(shù)據(jù)預(yù)測方法介紹31-33
• 3.2.1 氣象數(shù)據(jù)的特點31
• 3.2.2 常用的氣象數(shù)據(jù)預(yù)測方法31-33
• 3.3 貝葉斯分類算法33-37
• 3.3.1 貝葉斯分類理論33-34
• 3.3.2 樸素貝葉斯分類器34-36
• 3.3.3 貝葉斯網(wǎng)絡(luò)分類器36-37
• 3.4 本章小結(jié)37-39
• 第四章 基于Hadoop的貝葉斯網(wǎng)絡(luò)分類器的實現(xiàn)39-59
• 4.1 貝葉斯網(wǎng)絡(luò)學(xué)習(xí)研究39-43
• 4.1.1 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)39-42
• 4.1.2 貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)42-43
• 4.2 基于最大信息系數(shù)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)改進(jìn)算法43-47
• 4.2.1 最大信息系數(shù)43-44
• 4.2.2 確定初始無向圖44
• 4.2.3 保證無向圖的連通性44-45
• 4.2.4 消除無向圖中錯誤的三角環(huán)45-46
• 4.2.5 確定貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)46-47
• 4.3 改進(jìn)的貝葉斯網(wǎng)絡(luò)分類器47-49
• 4.3.1 現(xiàn)有貝葉斯分類器的不足47-48
• 4.3.2 離散貝葉斯網(wǎng)絡(luò)分類器的算法改進(jìn)思路48-49
• 4.4 改進(jìn)算法的具體實施49-58
• 4.4.1 預(yù)處理MapReduce過程49-53
• 4.4.2 訓(xùn)練貝葉斯網(wǎng)絡(luò)分類模型的MapReduce實現(xiàn)53-56
• 4.4.3 精度評估的MapReduce實現(xiàn)56-58
• 4.5 本章小結(jié)58-59
• 第五章 實驗與結(jié)果分析59-67
• 5.1 實驗環(huán)境和數(shù)據(jù)59-61
• 5.1.1 實驗環(huán)境59-60
• 5.1.2 實驗數(shù)據(jù)60-61
• 5.2 實驗結(jié)果與分析61-64
• 5.2.1 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)61-63
• 5.2.2 預(yù)測精度分析63-64
• 5.3 本章總結(jié)64-67
• 第六章 總結(jié)與展望67-69
• 6.1 論文總結(jié)67
• 6.2 工作展望67-69
• 參考文獻(xiàn)69-73
• 附錄73-77
• 致謝77-79
• 攻讀研究生期間發(fā)表過的論文79

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉樂平;高磊;盧志義;;貝葉斯身世之謎——寫在貝葉斯定理發(fā)表250周年之際[J];統(tǒng)計研究;2013年12期

2 云連英;汪榮偉;;保費調(diào)整的貝葉斯方法[J];統(tǒng)計與決策;2006年05期

3 游頂云;李康;;貝葉斯網(wǎng)絡(luò)方法在基因調(diào)控研究中的應(yīng)用[J];中國衛(wèi)生統(tǒng)計;2009年01期

4 閔素芹;李群;;分層線性模型中的經(jīng)驗貝葉斯與完全貝葉斯方法及其比較[J];統(tǒng)計與決策;2010年11期

5 胡春玲;;貝葉斯網(wǎng)絡(luò)研究綜述[J];合肥學(xué)院學(xué)報(自然科學(xué)版);2013年01期

6 丁以華;;貝葉斯方法的發(fā)展及其存在問題[J];質(zhì)量與可靠性;1986年01期

7 吳伯賢;;貝葉斯方法在洪水頻率分析中的應(yīng)用[J];成都科技大學(xué)學(xué)報;1990年01期

8 陶波;蘇德清;王玲玲;費鶴良;;關(guān)于元件失效率等級鑒定試驗的一種貝葉斯方法[J];應(yīng)用概率統(tǒng)計;1990年03期

9 張堯庭;應(yīng)積極開展對貝葉斯學(xué)派的介紹和研究[J];統(tǒng)計研究;1992年04期

10 鄭駿;隨機(jī)方法與貝葉斯方法在高新技術(shù)中的應(yīng)用[J];軟科學(xué);1995年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 David Z.D'Argenio;;貝葉斯方法在實驗室研究向臨床的轉(zhuǎn)化以及辨識隱含亞群體中的應(yīng)用(英文)[A];中國藥理學(xué)會臨床藥理學(xué)專業(yè)委員會會議暨第十次全國臨床藥理學(xué)學(xué)術(shù)會議論文集[C];2007年

2 姜峰;高文;姚鴻勛;;貝葉斯網(wǎng)絡(luò)的推理和學(xué)習(xí)[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會'2005論文集（下冊）[C];2005年

3 丁東洋;劉希陽;;風(fēng)險分析中的穩(wěn)健貝葉斯方法[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

4 周桃庚;沙定國;;貝葉斯可靠性序貫驗證試驗方法[A];中國儀器儀表學(xué)會第三屆青年學(xué)術(shù)會議論文集（下）[C];2001年

5 陳曉懷;程真英;劉春山;;動態(tài)測量誤差的貝葉斯建模預(yù)報[A];第二屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2004年

6 杜鵬英;羅小平;何志明;;貝葉斯網(wǎng)絡(luò)的發(fā)展及理論應(yīng)用[A];第三屆全國虛擬儀器大會論文集[C];2008年

7 楊麗;武海濱;李康;;無金標(biāo)準(zhǔn)診斷試驗評價的貝葉斯方法及應(yīng)用[A];2011年中國衛(wèi)生統(tǒng)計學(xué)年會會議論文集[C];2011年

8 寧鵬達(dá);;貝葉斯方法在風(fēng)險投資項目決策中的應(yīng)用[A];第四屆中國科學(xué)學(xué)與科技政策研究會學(xué)術(shù)年會論文集（Ⅰ）[C];2008年

9 朱永生;;貝葉斯方法確定泊松變量的置信上限[A];中國物理學(xué)會高能物理分會第七屆學(xué)術(shù)年會實驗分會場論文集[C];2006年

10 王增忠;柳玉杰;施建剛;;建筑工程項目全壽命安全管理決策的貝葉斯方法[A];中國優(yōu)選法統(tǒng)籌法與經(jīng)濟(jì)數(shù)學(xué)研究會第七屆全國會員代表大會暨第七屆中國管理科學(xué)學(xué)術(shù)年會論文集[C];2005年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 賈海洋;貝葉斯網(wǎng)學(xué)習(xí)若干問題研究[D];吉林大學(xué);2008年

2 黃友平;貝葉斯網(wǎng)絡(luò)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

3 朱允剛;貝葉斯網(wǎng)學(xué)習(xí)中若干問題研究及其在信息融合中的應(yīng)用[D];吉林大學(xué);2012年

4 董立巖;貝葉斯網(wǎng)絡(luò)應(yīng)用基礎(chǔ)研究[D];吉林大學(xué);2007年

5 李小琳;面向智能數(shù)據(jù)處理的貝葉斯網(wǎng)絡(luò)研究與應(yīng)用[D];吉林大學(xué);2005年

6 江敏;貝葉斯優(yōu)化算法的若干問題研究及應(yīng)用[D];上海大學(xué);2012年

7 胡笑旋;貝葉斯網(wǎng)建模技術(shù)及其在決策中的應(yīng)用[D];合肥工業(yè)大學(xué);2006年

8 何巖;統(tǒng)計稀疏學(xué)習(xí)中的貝葉斯非參數(shù)建模方法及應(yīng)用研究[D];浙江大學(xué);2012年

9 范敏;基于貝葉斯網(wǎng)絡(luò)的學(xué)習(xí)與決策方法研究及應(yīng)用[D];重慶大學(xué);2008年

10 張什永;貝葉斯網(wǎng)不確定性推理研究[D];中國科學(xué)技術(shù)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張路路;貝葉斯網(wǎng)絡(luò)系統(tǒng)可靠性分析及故障診斷方法研究[D];山東建筑大學(xué);2015年

2 袁遠(yuǎn);基于貝葉斯鏈梯模型的風(fēng)險邊際計算方法[D];天津財經(jīng)大學(xué);2015年

3 馬雪婧;面向交通事件持續(xù)時間預(yù)測的貝葉斯網(wǎng)絡(luò)建模研究[D];北京交通大學(xué);2016年

4 趙月南;基于貝葉斯網(wǎng)絡(luò)的電機(jī)故障診斷研究[D];浙江大學(xué);2016年

5 周潔超;基于貝葉斯網(wǎng)絡(luò)的時間序列預(yù)測[D];大連海事大學(xué);2016年

6 王昊;基于改進(jìn)貝葉斯網(wǎng)絡(luò)的氣象數(shù)據(jù)預(yù)測算法研究[D];太原理工大學(xué);2016年

7 羅會亮;基于粗糙集的貝葉斯網(wǎng)絡(luò)模式識別模型與方法研究[D];重慶大學(xué);2008年

8 郝佳;貝葉斯網(wǎng)絡(luò)開發(fā)平臺的研究與實現(xiàn)[D];沈陽工業(yè)大學(xué);2010年

9 葛燕;人機(jī)結(jié)合的貝葉斯網(wǎng)建模方法研究[D];西安理工大學(xué);2009年

10 郭艷軍;貝葉斯網(wǎng)學(xué)習(xí)方法及應(yīng)用研究[D];華中科技大學(xué);2009年

，

本文編號：979602