發(fā)布時間：2020-11-19 22:24

　　 隨著信息化的發(fā)展,大數(shù)據(jù)時代的來臨,全球信息數(shù)據(jù)量的迅猛增長成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的基礎(chǔ)。市場調(diào)研機構(gòu)IDC預(yù)計,未來全球數(shù)據(jù)總量將會一直維持在一個較高的水平,而我國作為信息化產(chǎn)業(yè)大國,數(shù)據(jù)信息來自于各行各業(yè)。其中氣象部門每天都會收到大量的數(shù)據(jù)資料。如何從海量數(shù)據(jù)中提取有用的信息,并為我們創(chuàng)造價值,已經(jīng)成為一個關(guān)鍵的問題。因此,如何利用氣象數(shù)據(jù)通過數(shù)據(jù)挖掘技術(shù)建立高效的沙塵暴預(yù)測模型已成為各國學(xué)者們的研究重點。本文研究課題是分類算法在內(nèi)蒙古氣象數(shù)據(jù)挖掘中的應(yīng)用研究,在近50年的中國地面氣候資料日值數(shù)據(jù)集與中國強沙塵暴序列及其支撐數(shù)據(jù)集中篩選出內(nèi)蒙古地區(qū)的氣象數(shù)據(jù)。以此為研究對象。首先,為了解決海量數(shù)據(jù)的存儲與批處理問題,搭建了Hadoop分布式平臺與數(shù)據(jù)倉庫平臺hive。以HDFS為底層存儲,通過編寫HQL語句操作海量數(shù)據(jù),從而在Hadoop平臺完成數(shù)據(jù)預(yù)處理工作。然后根據(jù)屬性值的缺失率與屬性間的相關(guān)性,對預(yù)處理后的數(shù)據(jù)集進行降維并得到實驗數(shù)據(jù)集。通過分析沙塵暴發(fā)生的頻率,結(jié)合過采樣與下采樣方法對實驗數(shù)據(jù)集做了一定的調(diào)整,也便于進行下一步分類模型的建立。本文針對沙塵暴數(shù)據(jù)集采用了目前被廣泛使用的BP神經(jīng)網(wǎng)絡(luò)算法、SVM支持向量機算法、樸素貝葉斯算法建立分類預(yù)測模型。并對各個算法的預(yù)測準確率與可伸縮性進行分析和比較。最后,針對更適用于大規(guī)模數(shù)據(jù)集的樸素貝葉斯分類算法,結(jié)合屬性重要度與Adaboost算法框架,從屬性的獨立性條件與分類決策兩方面優(yōu)化傳統(tǒng)的樸素貝葉斯算法。提出了加權(quán)Adaboost-NBC分類方法。實驗證明,改進后的算法相比于傳統(tǒng)的單一分類器在性能上有一定的提高。
【學(xué)位單位】：內(nèi)蒙古工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP181;P425.55
【部分圖文】：

BP 神經(jīng)網(wǎng)絡(luò)模型的拓撲結(jié)構(gòu)通常包含輸入層（input）、隱藏層(hide layer)和輸出層(output layer)。以三層 BP 神經(jīng)網(wǎng)絡(luò)模型為例，其結(jié)構(gòu)如下：圖2-1 三層網(wǎng)絡(luò)結(jié)構(gòu)Figure 2-1 Three layer network structureBP 網(wǎng)絡(luò)結(jié)構(gòu)中相鄰兩層之間的節(jié)點兩兩連接，同層節(jié)點之間并無連接，每層節(jié)點的輸出值會影響下一層節(jié)點的輸出。BP 神經(jīng)網(wǎng)絡(luò)算法的主要思想是：輸入學(xué)習(xí)樣本，通過逆向反饋調(diào)整網(wǎng)絡(luò)的權(quán)值和偏置值，從而達到輸出向量值與期望值盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差或者達到最大訓(xùn)練次數(shù)時模型訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏置值。訓(xùn)練結(jié)束。此時將測試樣本信息輸入經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即可根據(jù)網(wǎng)絡(luò)的權(quán)值和偏置值進行處理并輸出誤差最小且經(jīng)過非線形變換的預(yù)測信息。一個 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，實際上就是通過外界輸入樣本的不斷刺激來調(diào)整網(wǎng)絡(luò)的權(quán)重和偏置值，使得網(wǎng)絡(luò)的預(yù)測輸出值不斷靠近期望輸出值，BP 神經(jīng)網(wǎng)絡(luò)的具體訓(xùn)練過程分為兩部分：前向傳輸與逆向反饋。前向傳輸：BP 網(wǎng)絡(luò)訓(xùn)練開始之前，首先需要初始化網(wǎng)絡(luò)的權(quán)值和偏置值，權(quán)值取[-1,1]之間的隨機數(shù)

圖 2-2 Sigmod 函數(shù)圖像Figure 2-2 Sigmod function diagram絡(luò)訓(xùn)練過程神經(jīng)網(wǎng)絡(luò)，應(yīng)預(yù)先確定神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)（的個數(shù)和層與層之間的激活函數(shù)），然后要兩層神經(jīng)網(wǎng)絡(luò)來描述 BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練層的權(quán)值 w 和閾值 b 的初始值，與網(wǎng)絡(luò)訓(xùn)um,innum);%初始化網(wǎng)絡(luò)權(quán)值um,1);%初始化閾值最大訓(xùn)練次數(shù)率（默認為 0.1）輸出：假設(shè)隱含層中的神經(jīng)元采用 tansig含層輸出與輸出層輸出分別為 A1，A2,誤p，b1)

第二章 相關(guān)理論和技術(shù)概念2'+alfa*(b2_1-b2_2);差 e 是否小于訓(xùn)練目標 goal 或者訓(xùn)練結(jié)束；否則繼續(xù)。機算法型原理中常見的應(yīng)用，而支持向量機是一種類問題。但實際應(yīng)用中大多屬于多分分類問題。在支持向量機中，每個數(shù)據(jù)個 p-1 維的超平面將這樣的數(shù)據(jù)點進是最好的超平面是不僅可以將數(shù)據(jù)其基本思想可以用如下的圖 2-3 進行
【參考文獻】

相關(guān)期刊論文 前10條

1 曹瑩;苗啟廣;劉家辰;高琳;;AdaBoost算法研究進展與展望[J];自動化學(xué)報;2013年06期

2 殷勇華;張雨濃;;切比雪夫神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定及其分類應(yīng)用[J];軟件;2012年11期

3 郭鴻;黃桂敏;周婭;;基于Kademlia的下關(guān)聯(lián)規(guī)則挖掘算法研究[J];計算機工程與設(shè)計;2011年01期

4 張珍珍;董才林;陳增照;何秀玲;;改進的結(jié)合密度聚類的SVM快速分類方法[J];計算機工程與應(yīng)用;2011年02期

5 丁春榮;李龍澍;楊寶華;;基于粗糙集的決策樹構(gòu)造算法[J];計算機工程;2010年11期

6 郭亞琴;王正群;;一種改進的支持向量機BS-SVM[J];微電子學(xué)與計算機;2010年06期

7 康玲;孫鑫;侯婷;沈建國;郭瑞清;;內(nèi)蒙古地區(qū)沙塵暴的分布特征[J];中國沙漠;2010年02期

8 王勇;張偉;;一種基于分類的關(guān)聯(lián)規(guī)則研究[J];計算機科學(xué);2008年07期

9 石揚;張燕平;趙姝;張玲;田福生;汪小寒;;基于商空間的氣象時間序列數(shù)據(jù)挖掘研究[J];計算機工程與應(yīng)用;2007年01期

10 李集明;沈文海;王國復(fù);;氣象信息共享平臺及其關(guān)鍵技術(shù)研究[J];應(yīng)用氣象學(xué)報;2006年05期

相關(guān)碩士學(xué)位論文 前4條

1 周樂安;氣象數(shù)據(jù)分析系統(tǒng)的設(shè)計與預(yù)報應(yīng)用[D];杭州電子科技大學(xué);2016年

2 王猛;大數(shù)據(jù)分析倉庫Hive存儲結(jié)構(gòu)擴展的設(shè)計和實現(xiàn)[D];上海交通大學(xué);2015年

3 郎宇寧;基于支持向量機的多分類方法研究及應(yīng)用[D];西南交通大學(xué);2010年

4 張智順;基于粗糙集理論在數(shù)據(jù)挖掘中的研究與應(yīng)用[D];貴州大學(xué);2009年

本文編號：2890524