本文關(guān)鍵詞：Hadoop下基于DAG-SVM算法的降水量預(yù)測(cè)研究

  更多相關(guān)文章： Hadoop云平臺(tái) 降水量預(yù)測(cè) PDAG-SVM 負(fù)載均衡 公平調(diào)度

【摘要】：隨著科學(xué)技術(shù)的快速發(fā)展,氣象行業(yè)也朝著信息化的方向飛速發(fā)展。尤其是近些年來,云計(jì)算的大力推廣,不僅為氣象行業(yè)處理海量氣象數(shù)據(jù)提供了更為高效的解決方法,還為氣象部門對(duì)災(zāi)害的提前預(yù)警提供了更為有效的預(yù)測(cè)方案。但是,目前我們使用的降水量預(yù)測(cè)方法存在一定的缺陷,要求氣象數(shù)據(jù)屬性之間獨(dú)立,但是很多氣象要素之間并不獨(dú)立,這就導(dǎo)致了預(yù)測(cè)準(zhǔn)確性的降低。云計(jì)算的出現(xiàn)和快速發(fā)展為海量氣象數(shù)據(jù)的存儲(chǔ)和分析提供了更為高效、可靠的技術(shù)支撐。本文根據(jù)氣象預(yù)報(bào)或者災(zāi)害預(yù)警對(duì)降水量預(yù)測(cè)的具體要求,主要做了如下工作：針對(duì)降水量預(yù)測(cè)的精度要求,對(duì)傳統(tǒng)有向無環(huán)圖支持向量機(jī)(DAG-SVM)算法做出了改進(jìn)。傳統(tǒng)的DAG-SVM多分類算法結(jié)構(gòu)固定、單個(gè)節(jié)點(diǎn)位置隨意,容易引起”誤差累積”。本文通過預(yù)先計(jì)算每個(gè)二分類器的分類精度,形成分類精度隊(duì)列。將分類精度最高的二分類器作為有向無環(huán)圖的根節(jié)點(diǎn),并選取分類精度次高的二分類器作為下層節(jié)點(diǎn),依次排列,最終形成的有向無環(huán)圖可以有效的避免上層節(jié)點(diǎn)分類錯(cuò)誤引起的”誤差累積”。針對(duì)降水量預(yù)測(cè)的效率要求,引入Hadoop作為預(yù)測(cè)平臺(tái),并對(duì)Hadoop平臺(tái)的作業(yè)調(diào)度機(jī)制提出了改進(jìn)方法。由于歷年累計(jì)的降水量數(shù)據(jù)非常龐大,單機(jī)處理數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)的能力已經(jīng)不能滿足降水量預(yù)測(cè)的效率需求。Hadoop云平臺(tái)可以并行處理數(shù)據(jù),系統(tǒng)磁盤空間可通過增加節(jié)點(diǎn)數(shù)量進(jìn)行有效的擴(kuò)展,能夠很好的勝任預(yù)測(cè)任務(wù)。但是由于Hadoop平臺(tái)自有的公平作業(yè)調(diào)度器在分配任務(wù)時(shí),簡(jiǎn)單的在各個(gè)計(jì)算節(jié)點(diǎn)之間平分計(jì)算任務(wù),沒有考慮到各個(gè)節(jié)點(diǎn)上的負(fù)載情況,常常造成由于某單個(gè)節(jié)點(diǎn)上單個(gè)任務(wù)完成時(shí)間過長(zhǎng),導(dǎo)致整個(gè)大任務(wù)完成時(shí)間大大加長(zhǎng)的現(xiàn)象。本文通過在公平作業(yè)調(diào)度機(jī)制中引入負(fù)載均衡算法,合理分配計(jì)算資源,有效的克服了這一缺陷。實(shí)驗(yàn)結(jié)果表明該方法可以有效的提高大任務(wù)的執(zhí)行效率。最后在改進(jìn)后的Hadoop平臺(tái)上,運(yùn)用預(yù)處理有向無環(huán)圖支持向量機(jī)(PDAG-SVM)算法,對(duì)降水量做出預(yù)測(cè)。本文提出以南京站1951-2006年8月的氣象數(shù)據(jù)為研究數(shù)據(jù),將這些氣象數(shù)據(jù)分成訓(xùn)練集和預(yù)測(cè)集。1951-2005年的氣象數(shù)據(jù)作為訓(xùn)練集；2006年1-8月的氣象數(shù)據(jù)作為預(yù)測(cè)集。根據(jù)氣象數(shù)據(jù)中的降水量進(jìn)行分類,對(duì)氣象數(shù)據(jù)進(jìn)行預(yù)處理。實(shí)驗(yàn)結(jié)果表明,本文采用的方法在預(yù)測(cè)精度和預(yù)測(cè)效率上都取得了令人滿意的結(jié)果。
【關(guān)鍵詞】：Hadoop云平臺(tái) 降水量預(yù)測(cè) PDAG-SVM 負(fù)載均衡 公平調(diào)度
【學(xué)位授予單位】：南京信息工程大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：P457.6;TP18
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 第一章 緒論9-17
• 1.1 研究背景及意義9-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-15
• 1.2.1 國(guó)內(nèi)現(xiàn)狀研究11-13
• 1.2.2 國(guó)外現(xiàn)狀研究13-14
• 1.2.3 存在問題14-15
• 1.3 論文組織結(jié)構(gòu)15-16
• 1.4 本章小結(jié)16-17
• 第二章 相關(guān)理論及方法17-29
• 2.1 支持向量機(jī)算法基本思想17-20
• 2.2 有向無環(huán)圖支持向量機(jī)算法概述20-21
• 2.3 Hadoop平臺(tái)介紹21-28
• 2.3.1 Hadoop平臺(tái)基礎(chǔ)知識(shí)及其組件介紹21-27
• 2.3.2 Hadoop平臺(tái)作業(yè)調(diào)度機(jī)制介紹27-28
• 2.4 本章小結(jié)28-29
• 第三章 PDAG-SVM算法的分類效果分析29-39
• 3.1 預(yù)處理有向無環(huán)圖支持向量機(jī)(PDAG-SVM)算法29-32
• 3.2 實(shí)驗(yàn)過程32-37
• 3.2.1 算法評(píng)價(jià)指標(biāo)33
• 3.2.2 實(shí)驗(yàn)結(jié)果33-37
• 3.3 實(shí)驗(yàn)結(jié)果分析37-38
• 3.4 本章小結(jié)38-39
• 第四章 Hadoop平臺(tái)下基于公平份額的負(fù)載均衡調(diào)度算法39-53
• 4.1 改進(jìn)Hadoop平臺(tái)下公平份額調(diào)度算法的必要性39
• 4.2 基于公平份額的負(fù)載均衡調(diào)度算法概述39-48
• 4.2.1 算法數(shù)學(xué)模型40-44
• 4.2.2 算法流程圖44-45
• 4.2.3 算法偽代碼45-48
• 4.3 實(shí)驗(yàn)結(jié)果與分析48-51
• 4.4 本章小結(jié)51-53
• 第五章 Hadoop下基于PDAG-SVM算法的降水量預(yù)測(cè)53-62
• 5.1 實(shí)驗(yàn)?zāi)康?/span>53
• 5.2 實(shí)驗(yàn)設(shè)計(jì)思路53
• 5.3 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備53-57
• 5.3.1 數(shù)據(jù)預(yù)處理54
• 5.3.2 HDFS存儲(chǔ)氣象數(shù)據(jù)過程54-56
• 5.3.3 MapReduce數(shù)據(jù)預(yù)處理56-57
• 5.4 實(shí)驗(yàn)平臺(tái)搭建57-60
• 5.4.1 相關(guān)工具57-58
• 5.4.2 實(shí)驗(yàn)環(huán)境58-60
• 5.5 實(shí)驗(yàn)結(jié)果60-61
• 5.6 本章小結(jié)61-62
• 第六章 總結(jié)與展望62-64
• 6.1 全文總結(jié)62-63
• 6.2 展望63-64
• 參考文獻(xiàn)64-67
• 作者簡(jiǎn)介67-68
• 致謝68

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前6條

1 任遠(yuǎn)鵬;;基于Hadoop的移動(dòng)學(xué)習(xí)模型設(shè)計(jì)與實(shí)現(xiàn)[J];渤海大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期

2 郭雙宙;;基于Hadoop和Mahout的分布式推薦引擎的設(shè)計(jì)[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2014年07期

3 柳香;李俊紅;段勝業(yè);;基于混沌PSO算法的Hadoop配置優(yōu)化[J];計(jì)算機(jī)工程;2012年11期

4 王志力;;云計(jì)算下Hadoop平臺(tái)的搭建與實(shí)踐[J];中國(guó)科技信息;2014年09期

5 譚潔清;毛錫軍;;Hadoop云計(jì)算基礎(chǔ)架構(gòu)的搭建和hbase和hive的整合應(yīng)用[J];貴州科學(xué);2013年05期

6 ;[J];;年期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 本報(bào)記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計(jì)算機(jī)世界;2012年

4 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;讓更多人能夠使用Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 宋亞奇;云平臺(tái)下電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理技術(shù)研究[D];華北電力大學(xué)(北京);2016年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價(jià)值旅客發(fā)現(xiàn)方法研究[D];中國(guó)民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達(dá);基于Hadoop分布式計(jì)算框架的垃圾短信群發(fā)檢測(cè)系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

，

本文編號(hào)：1007824