基于數(shù)據(jù)挖掘的氣象觀測(cè)數(shù)據(jù)質(zhì)量控制算法研究
發(fā)布時(shí)間:2020-06-17 05:48
【摘要】:近年來,隨著氣象自動(dòng)觀測(cè)站在全國(guó)范圍廣泛建立,氣象觀測(cè)數(shù)據(jù)的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)。氣象觀測(cè)數(shù)據(jù)質(zhì)量的好壞直接影響到天氣預(yù)報(bào)以及氣候預(yù)測(cè)的準(zhǔn)確性。傳統(tǒng)質(zhì)控算法利用歷史資料的氣候?qū)W界限值及要素允許值進(jìn)行檢查,對(duì)要素異常變化缺乏靈敏性,已不能滿足質(zhì)量控制工作的需要。數(shù)據(jù)挖掘方法是近年來出現(xiàn)的比較火熱的大數(shù)據(jù)分析方法,在氣象中的應(yīng)用逐漸豐富,比如應(yīng)用于天氣預(yù)報(bào)以及氣候預(yù)測(cè),但是在氣象觀測(cè)數(shù)據(jù)質(zhì)量控制方面卻少有相關(guān)研究。本文詳細(xì)介紹了一種基于數(shù)據(jù)挖掘的氣象數(shù)據(jù)質(zhì)量控制方案。從同一觀測(cè)要素在不同時(shí)間觀測(cè)值之間的相關(guān)性(時(shí)間相關(guān)),以及同一觀測(cè)時(shí)間內(nèi)不同觀測(cè)要素之間的相關(guān)性(要素相關(guān))兩方面出發(fā),結(jié)合數(shù)據(jù)挖掘中的相關(guān)算法,提出了兩種不同的氣象觀測(cè)數(shù)據(jù)質(zhì)量控制方法,并結(jié)合兩種方法之間的互補(bǔ)性和關(guān)聯(lián)性,建立一套綜合質(zhì)控方案。本文的核心內(nèi)容包括三點(diǎn)。(1)根據(jù)各氣象觀測(cè)要素隨時(shí)間變化具有混沌性(潛在趨勢(shì)性和規(guī)律性)的特點(diǎn),提出了一種時(shí)間相關(guān)的氣象觀測(cè)數(shù)據(jù)質(zhì)量控制方法。首先分析各要素的觀測(cè)序列在每小時(shí)級(jí)觀測(cè)尺度下的混沌特性,接著根據(jù)相空間重構(gòu)理論對(duì)氣象要素觀測(cè)序列進(jìn)行相空間重構(gòu)。由于重構(gòu)后的氣象要素?cái)?shù)據(jù)序列具有高維非線性的特點(diǎn),結(jié)合SVM算法的優(yōu)點(diǎn),利用內(nèi)積核函數(shù)將復(fù)雜的非線性問題映射到高維空間變成線性問題,建立一種基于支持向量機(jī)的混沌氣象要素時(shí)間序列預(yù)估模型。針對(duì)模型中核函數(shù)的選取,使用混合核函數(shù),并采取改進(jìn)的粒子群算法對(duì)模型中的參數(shù)進(jìn)行自適應(yīng)的學(xué)習(xí)和確定,提高模型對(duì)氣象要素的預(yù)估精度。根據(jù)實(shí)際觀測(cè)值與估計(jì)值的差異,評(píng)估實(shí)際觀測(cè)值中的異常數(shù)據(jù)。實(shí)驗(yàn)證明本文提出的方法對(duì)異常氣象觀測(cè)數(shù)據(jù)的質(zhì)控靈敏度較高,適用于檢測(cè)出氣象觀測(cè)數(shù)據(jù)的異常值。(2)由大氣物理的變化機(jī)理和專業(yè)的氣象知識(shí),可以確認(rèn)某些氣象要素之間存在相關(guān)性,根據(jù)不同要素之間彼此相關(guān)的特點(diǎn),提出了一種要素相關(guān)的氣象觀測(cè)數(shù)據(jù)質(zhì)量控制方法。該方法利用BP神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性映射功能,以某一要素相關(guān)的其他要素作為輸入,該要素作為輸出,建立起基于多要素的BP神經(jīng)網(wǎng)絡(luò)氣象觀測(cè)數(shù)據(jù)預(yù)估模型。采用灰色關(guān)聯(lián)分析法對(duì)輸入要素進(jìn)行篩選,去除輸入要素中具有強(qiáng)耦合性的要素,剩余要素再與輸出要素進(jìn)行關(guān)聯(lián)度分析,除去關(guān)聯(lián)度較小的要素,通過合理的篩選輸入要素,從而提高模型的預(yù)估精度。根據(jù)實(shí)際觀測(cè)值與估計(jì)值的差異,評(píng)估實(shí)際觀測(cè)值中的異常數(shù)據(jù)。實(shí)驗(yàn)證明本文提出的方法對(duì)異常數(shù)據(jù)的質(zhì)控靈敏度相對(duì)較高。(3)根據(jù)兩種方法之間的互補(bǔ)性和關(guān)聯(lián)性,建立綜合質(zhì)控方案,實(shí)現(xiàn)最終的綜合判定。選取華東地區(qū)某站點(diǎn)從2009年到2013年的每小時(shí)數(shù)據(jù)集作為質(zhì)控對(duì)象,實(shí)驗(yàn)結(jié)果表明本文提出的方案能夠有效地對(duì)氣象觀測(cè)數(shù)據(jù)進(jìn)行缺測(cè)值擬合及異常值檢測(cè)。本文提出了基于數(shù)據(jù)挖掘的氣象觀測(cè)數(shù)據(jù)質(zhì)控方案,將數(shù)據(jù)挖掘算法引入氣象觀測(cè)數(shù)據(jù)質(zhì)控中,豐富了氣象質(zhì)控手段。其檢出的異常數(shù)據(jù)可以為相關(guān)專家進(jìn)行人工評(píng)判提供依據(jù)和支持。傳統(tǒng)質(zhì)控方法的質(zhì)控范圍較寬,已不能滿足現(xiàn)階段的質(zhì)控需要,本文研究的氣象數(shù)據(jù)質(zhì)控方案為尋找氣象數(shù)據(jù)質(zhì)控新方法提供了一些思路和有益的嘗試。
【學(xué)位授予單位】:南京信息工程大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2015
【分類號(hào)】:P413;TP311.13
【圖文】:
圖3-1邋SVM搜索最大邊緣超平面逡逑形式化方式具體描述如下:假定給定訓(xùn)練樣本集片1,義),(NB2,72),...(而,>0,其中逡逑義1,1。,...1。是《個(gè)訓(xùn)練樣本知托,..一。是樣本的類標(biāo)號(hào)。定義一個(gè)分類平面方程知逡逑豕.x邋+邋6邋=邋0。對(duì)于線性可分的訓(xùn)練集,可能存在多個(gè)分類平面將兩類數(shù)據(jù)正確分逡逑
樣本量逡逑圖5-5基于時(shí)間相關(guān)的質(zhì)控結(jié)果圖逡逑從圖5-5中可W看出,估計(jì)值曲線基本與未植入誤差的實(shí)際值曲線基本擬合,逡逑植入誤差10‘C,W規(guī)則|;TsAgs-rtevt|>7.5‘C,可レッ將所有錯(cuò)誤數(shù)據(jù)全部檢測(cè)出來,逡逑質(zhì)控精度較高,基于時(shí)間相關(guān)的質(zhì)控規(guī)則和基于要素相關(guān)的質(zhì)控規(guī)則推導(dǎo)方式相同,逡逑在此不重復(fù)闡述。逡逑在500條氣n葜興婊粞。保埃疤跏莘直鶚侄踩胛蟛釙桑叮荊矗場(chǎng),瞰蜎_義現(xiàn)士胤椒ê捅疚奶岢齙幕諞叵喙睪突謔奔湎喙氐鬧士廝惴ń寫砦笫菁戾義喜狻F渲惺奔湟恢灤約觳檠∪〉氖牽斃∈筆北浼觳,检诧傖果瓤z鹵硭荊礤義險(xiǎn)氛頁(yè)齙拇砦笫菡頁(yè)隼吹母鍪,J`嵒代表误将正确数据巧为错误数臼~母鍪e義希叮插義
本文編號(hào):2717167
【學(xué)位授予單位】:南京信息工程大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2015
【分類號(hào)】:P413;TP311.13
【圖文】:
圖3-1邋SVM搜索最大邊緣超平面逡逑形式化方式具體描述如下:假定給定訓(xùn)練樣本集片1,義),(NB2,72),...(而,>0,其中逡逑義1,1。,...1。是《個(gè)訓(xùn)練樣本知托,..一。是樣本的類標(biāo)號(hào)。定義一個(gè)分類平面方程知逡逑豕.x邋+邋6邋=邋0。對(duì)于線性可分的訓(xùn)練集,可能存在多個(gè)分類平面將兩類數(shù)據(jù)正確分逡逑
樣本量逡逑圖5-5基于時(shí)間相關(guān)的質(zhì)控結(jié)果圖逡逑從圖5-5中可W看出,估計(jì)值曲線基本與未植入誤差的實(shí)際值曲線基本擬合,逡逑植入誤差10‘C,W規(guī)則|;TsAgs-rtevt|>7.5‘C,可レッ將所有錯(cuò)誤數(shù)據(jù)全部檢測(cè)出來,逡逑質(zhì)控精度較高,基于時(shí)間相關(guān)的質(zhì)控規(guī)則和基于要素相關(guān)的質(zhì)控規(guī)則推導(dǎo)方式相同,逡逑在此不重復(fù)闡述。逡逑在500條氣n葜興婊粞。保埃疤跏莘直鶚侄踩胛蟛釙桑叮荊矗場(chǎng),瞰蜎_義現(xiàn)士胤椒ê捅疚奶岢齙幕諞叵喙睪突謔奔湎喙氐鬧士廝惴ń寫砦笫菁戾義喜狻F渲惺奔湟恢灤約觳檠∪〉氖牽斃∈筆北浼觳,检诧傖果瓤z鹵硭荊礤義險(xiǎn)氛頁(yè)齙拇砦笫菡頁(yè)隼吹母鍪,J`嵒代表误将正确数据巧为错误数臼~母鍪e義希叮插義
本文編號(hào):2717167
本文鏈接:http://sikaile.net/projectlw/qxxlw/2717167.html
最近更新
教材專著