基于Hadoop的雷災(zāi)文本聚類(lèi)與雷暴預(yù)測(cè)模型的研究
發(fā)布時(shí)間:2021-11-03 12:55
氣象行業(yè)擁有著海量的氣象數(shù)據(jù),當(dāng)需要進(jìn)行氣象預(yù)報(bào)或氣候預(yù)測(cè)這類(lèi)業(yè)務(wù)時(shí),就需要對(duì)這些海量氣象數(shù)據(jù)進(jìn)行大量繁復(fù)的運(yùn)算,同時(shí)伴隨著各種新型雷達(dá)的投入使用以及各種觀測(cè)站的建立,使氣象資料的收集方式變得更加多元化,氣象資料的種類(lèi)和形式也越來(lái)越多樣化。氣象行業(yè)內(nèi),氣象資料的管理和共享也存在著諸多弊端,傳統(tǒng)的數(shù)據(jù)挖據(jù)技術(shù)與方法已經(jīng)越來(lái)越難以滿足氣象資料的存儲(chǔ)與處理。云計(jì)算的出現(xiàn),為氣象資料的處理提供了一個(gè)新的思路。雷暴是一種災(zāi)害性天氣現(xiàn)象,給人們的日常生活帶來(lái)嚴(yán)重的威脅。因此,提高雷暴預(yù)測(cè)的精度以及采取必要的防雷措施就具有重要的現(xiàn)實(shí)意義。本文在分析云平臺(tái)相關(guān)理論模型的基礎(chǔ)上,選取了NCEP歷史再分析資料,江蘇省閃電定位資料以及雷災(zāi)文本信息作為研究對(duì)象,主要進(jìn)行了如下工作:(1)在基于Hadoop集群的ThunderCloud平臺(tái)上,提出了MRKM(MapReduce K-means)算法對(duì)雷災(zāi)文本進(jìn)行聚類(lèi)。MRKM將傳統(tǒng)的K-means算法轉(zhuǎn)化成兩個(gè)map函數(shù),一個(gè)combiner函數(shù)以及一個(gè)reduce函數(shù)來(lái)實(shí)現(xiàn)。通過(guò)該算法對(duì)雷災(zāi)文件進(jìn)行聚類(lèi)操作,并對(duì)聚類(lèi)后的文檔中的高權(quán)值詞匯進(jìn)行分析,得到雷災(zāi)分...
【文章來(lái)源】:南京信息工程大學(xué)江蘇省
【文章頁(yè)數(shù)】:74 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
ICTCLAS分詞效果
CSl(critical success indexy5G]臨界成功指數(shù)是常用的一種預(yù)報(bào)評(píng)分方法,aldson發(fā)現(xiàn)并為之命名的。CSI評(píng)分方法常用于評(píng)定小概率事件,例如災(zāi)害性天定。其中,Na表不為正確預(yù)報(bào)的概率,即預(yù)報(bào)有雷暴,實(shí)況有雷暴。Ng表TK為即預(yù)報(bào)無(wú)雷暴,實(shí)況有雷暴。Ne表示為空?qǐng)?bào)次數(shù),即預(yù)報(bào)有雷暴,實(shí)況無(wú)雷暴。報(bào)無(wú)雷暴,實(shí)況無(wú)雷暴。三種算法的實(shí)驗(yàn)結(jié)果如下表所示:表5.9 MRNB和Fisher算法結(jié)果參數(shù) MRNB Fisher45 38Ng 9 16Nc 11 1257 56CSI 0.7 0.576R 83.60% 77.50%FAR 9.17% 9.84%為了直觀的表示出各個(gè)算法的實(shí)驗(yàn)結(jié)果,以直方圖的形式展現(xiàn)出來(lái):
本文編號(hào):3473724
【文章來(lái)源】:南京信息工程大學(xué)江蘇省
【文章頁(yè)數(shù)】:74 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
ICTCLAS分詞效果
CSl(critical success indexy5G]臨界成功指數(shù)是常用的一種預(yù)報(bào)評(píng)分方法,aldson發(fā)現(xiàn)并為之命名的。CSI評(píng)分方法常用于評(píng)定小概率事件,例如災(zāi)害性天定。其中,Na表不為正確預(yù)報(bào)的概率,即預(yù)報(bào)有雷暴,實(shí)況有雷暴。Ng表TK為即預(yù)報(bào)無(wú)雷暴,實(shí)況有雷暴。Ne表示為空?qǐng)?bào)次數(shù),即預(yù)報(bào)有雷暴,實(shí)況無(wú)雷暴。報(bào)無(wú)雷暴,實(shí)況無(wú)雷暴。三種算法的實(shí)驗(yàn)結(jié)果如下表所示:表5.9 MRNB和Fisher算法結(jié)果參數(shù) MRNB Fisher45 38Ng 9 16Nc 11 1257 56CSI 0.7 0.576R 83.60% 77.50%FAR 9.17% 9.84%為了直觀的表示出各個(gè)算法的實(shí)驗(yàn)結(jié)果,以直方圖的形式展現(xiàn)出來(lái):
本文編號(hào):3473724
本文鏈接:http://sikaile.net/projectlw/qxxlw/3473724.html
最近更新
教材專(zhuān)著