本文關鍵詞：Hadoop下基于DAG-SVM算法的降水量預測研究

  更多相關文章： Hadoop云平臺 降水量預測 PDAG-SVM 負載均衡 公平調度

【摘要】：隨著科學技術的快速發(fā)展,氣象行業(yè)也朝著信息化的方向飛速發(fā)展。尤其是近些年來,云計算的大力推廣,不僅為氣象行業(yè)處理海量氣象數(shù)據(jù)提供了更為高效的解決方法,還為氣象部門對災害的提前預警提供了更為有效的預測方案。但是,目前我們使用的降水量預測方法存在一定的缺陷,要求氣象數(shù)據(jù)屬性之間獨立,但是很多氣象要素之間并不獨立,這就導致了預測準確性的降低。云計算的出現(xiàn)和快速發(fā)展為海量氣象數(shù)據(jù)的存儲和分析提供了更為高效、可靠的技術支撐。本文根據(jù)氣象預報或者災害預警對降水量預測的具體要求,主要做了如下工作：針對降水量預測的精度要求,對傳統(tǒng)有向無環(huán)圖支持向量機(DAG-SVM)算法做出了改進。傳統(tǒng)的DAG-SVM多分類算法結構固定、單個節(jié)點位置隨意,容易引起”誤差累積”。本文通過預先計算每個二分類器的分類精度,形成分類精度隊列。將分類精度最高的二分類器作為有向無環(huán)圖的根節(jié)點,并選取分類精度次高的二分類器作為下層節(jié)點,依次排列,最終形成的有向無環(huán)圖可以有效的避免上層節(jié)點分類錯誤引起的”誤差累積”。針對降水量預測的效率要求,引入Hadoop作為預測平臺,并對Hadoop平臺的作業(yè)調度機制提出了改進方法。由于歷年累計的降水量數(shù)據(jù)非常龐大,單機處理數(shù)據(jù)、存儲數(shù)據(jù)的能力已經不能滿足降水量預測的效率需求。Hadoop云平臺可以并行處理數(shù)據(jù),系統(tǒng)磁盤空間可通過增加節(jié)點數(shù)量進行有效的擴展,能夠很好的勝任預測任務。但是由于Hadoop平臺自有的公平作業(yè)調度器在分配任務時,簡單的在各個計算節(jié)點之間平分計算任務,沒有考慮到各個節(jié)點上的負載情況,常常造成由于某單個節(jié)點上單個任務完成時間過長,導致整個大任務完成時間大大加長的現(xiàn)象。本文通過在公平作業(yè)調度機制中引入負載均衡算法,合理分配計算資源,有效的克服了這一缺陷。實驗結果表明該方法可以有效的提高大任務的執(zhí)行效率。最后在改進后的Hadoop平臺上,運用預處理有向無環(huán)圖支持向量機(PDAG-SVM)算法,對降水量做出預測。本文提出以南京站1951-2006年8月的氣象數(shù)據(jù)為研究數(shù)據(jù),將這些氣象數(shù)據(jù)分成訓練集和預測集。1951-2005年的氣象數(shù)據(jù)作為訓練集；2006年1-8月的氣象數(shù)據(jù)作為預測集。根據(jù)氣象數(shù)據(jù)中的降水量進行分類,對氣象數(shù)據(jù)進行預處理。實驗結果表明,本文采用的方法在預測精度和預測效率上都取得了令人滿意的結果。
【關鍵詞】：Hadoop云平臺 降水量預測 PDAG-SVM 負載均衡 公平調度
【學位授予單位】：南京信息工程大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：P457.6;TP18
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 第一章 緒論9-17
• 1.1 研究背景及意義9-11
• 1.2 國內外研究現(xiàn)狀11-15
• 1.2.1 國內現(xiàn)狀研究11-13
• 1.2.2 國外現(xiàn)狀研究13-14
• 1.2.3 存在問題14-15
• 1.3 論文組織結構15-16
• 1.4 本章小結16-17
• 第二章 相關理論及方法17-29
• 2.1 支持向量機算法基本思想17-20
• 2.2 有向無環(huán)圖支持向量機算法概述20-21
• 2.3 Hadoop平臺介紹21-28
• 2.3.1 Hadoop平臺基礎知識及其組件介紹21-27
• 2.3.2 Hadoop平臺作業(yè)調度機制介紹27-28
• 2.4 本章小結28-29
• 第三章 PDAG-SVM算法的分類效果分析29-39
• 3.1 預處理有向無環(huán)圖支持向量機(PDAG-SVM)算法29-32
• 3.2 實驗過程32-37
• 3.2.1 算法評價指標33
• 3.2.2 實驗結果33-37
• 3.3 實驗結果分析37-38
• 3.4 本章小結38-39
• 第四章 Hadoop平臺下基于公平份額的負載均衡調度算法39-53
• 4.1 改進Hadoop平臺下公平份額調度算法的必要性39
• 4.2 基于公平份額的負載均衡調度算法概述39-48
• 4.2.1 算法數(shù)學模型40-44
• 4.2.2 算法流程圖44-45
• 4.2.3 算法偽代碼45-48
• 4.3 實驗結果與分析48-51
• 4.4 本章小結51-53
• 第五章 Hadoop下基于PDAG-SVM算法的降水量預測53-62
• 5.1 實驗目的53
• 5.2 實驗設計思路53
• 5.3 實驗數(shù)據(jù)準備53-57
• 5.3.1 數(shù)據(jù)預處理54
• 5.3.2 HDFS存儲氣象數(shù)據(jù)過程54-56
• 5.3.3 MapReduce數(shù)據(jù)預處理56-57
• 5.4 實驗平臺搭建57-60
• 5.4.1 相關工具57-58
• 5.4.2 實驗環(huán)境58-60
• 5.5 實驗結果60-61
• 5.6 本章小結61-62
• 第六章 總結與展望62-64
• 6.1 全文總結62-63
• 6.2 展望63-64
• 參考文獻64-67
• 作者簡介67-68
• 致謝68

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前6條

1 任遠鵬;;基于Hadoop的移動學習模型設計與實現(xiàn)[J];渤海大學學報(自然科學版);2013年04期

2 郭雙宙;;基于Hadoop和Mahout的分布式推薦引擎的設計[J];科技情報開發(fā)與經濟;2014年07期

3 柳香;李俊紅;段勝業(yè);;基于混沌PSO算法的Hadoop配置優(yōu)化[J];計算機工程;2012年11期

4 王志力;;云計算下Hadoop平臺的搭建與實踐[J];中國科技信息;2014年09期

5 譚潔清;毛錫軍;;Hadoop云計算基礎架構的搭建和hbase和hive的整合應用[J];貴州科學;2013年05期

6 ;[J];;年期

中國重要報紙全文數(shù)據(jù)庫 前8條

1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 宋亞奇;云平臺下電力設備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術研究[D];華北電力大學(北京);2016年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 劉君;基于Hadoop技術的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學;2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡分析與建模[D];浙江大學;2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學;2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學;2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設計與實現(xiàn)[D];大連海事大學;2015年

6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學;2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預警系統(tǒng)應用研究[D];江蘇科技大學;2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復旦大學;2013年

9 陸藝達;基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復旦大學;2013年

10 沈德利;基于Hadoop的密文檢索關鍵技術研究[D];西安電子科技大學;2014年

，

本文編號：1007824