【摘要】：數(shù)據(jù)在人類生活中占據(jù)著十分重要的地位,而水務(wù)數(shù)據(jù)由于多變量、數(shù)據(jù)種類繁雜、相關(guān)性強(qiáng)等問題在采集出現(xiàn)臟數(shù)據(jù)時變得難以處理,給水務(wù)行業(yè)進(jìn)行決策性分析帶來了嚴(yán)峻的挑戰(zhàn),因此對水務(wù)行業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗勢在必行。利用數(shù)據(jù)挖掘技術(shù)來進(jìn)行數(shù)據(jù)清洗屬于數(shù)據(jù)挖掘領(lǐng)域的前沿問題,近年來,隨著機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)習(xí)學(xué)術(shù)方向上的進(jìn)步,在各領(lǐng)域中應(yīng)用數(shù)據(jù)清洗技術(shù)得到了較大進(jìn)展,但這些方法在水務(wù)數(shù)據(jù)空間、時間、數(shù)值特征上的清洗方法依然有待提高和突破。本文在水務(wù)數(shù)據(jù)空間、時間特征屬性的基礎(chǔ)上,以空間、時間異常值檢測算法為切入點,進(jìn)而研究基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗算法。主要工作如下:(1)基于空間特性的異常值算法研究針對水務(wù)數(shù)據(jù)空間特征的業(yè)務(wù)屬性和對象屬性以及多變量特點,本文提出了利用KNN求出各點的臨近函數(shù)點,再利用流域作為權(quán)值調(diào)整下的比較函數(shù)和適合多變量的馬氏距離作為閾值函數(shù),對水務(wù)數(shù)據(jù)中空間特征屬性進(jìn)行異常值檢測。實驗結(jié)果驗證了本算法在水務(wù)數(shù)據(jù)異常值檢測中良好的準(zhǔn)確性和有效性,為進(jìn)一步研究基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗模型奠定了基礎(chǔ)。(2)基于時間特性的異常值算法研究針對水務(wù)數(shù)據(jù)時間序列特征和多變量特點,本文提出了利用FCM聚類方法和兩種模糊積分方法對時間序列進(jìn)行降維,將三種方法進(jìn)行橫向?qū)Ρ?找出泛化能力較好的針對水務(wù)數(shù)據(jù)的降維模型,通過改進(jìn)的隱馬爾科夫模型將時間序列數(shù)據(jù)設(shè)置為可見的狀態(tài)序列,應(yīng)用維特比算法來預(yù)測最可能的隱藏狀態(tài)序列(正�；虍惓�)進(jìn)行異常值檢測,能有效的提升異常值檢測的準(zhǔn)確性,為進(jìn)一步研究基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗模型奠定了基礎(chǔ)。(3)基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗算法研究在水務(wù)數(shù)據(jù)空間與時間特性異常值檢測研究的基礎(chǔ)上,加上應(yīng)用改進(jìn)的TwoStep聚類算法的通用數(shù)值屬性異常值檢測方法與利用改進(jìn)的多層感知器的人工神經(jīng)網(wǎng)絡(luò)空缺值填補(bǔ)方法,提出了一種基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗模型。首先,對需要清洗的水務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,接著根據(jù)數(shù)據(jù)中的屬性特征分別利用通用異常值檢測算法、空間異常值檢測算法和時間異常值檢測算法進(jìn)行異常值檢測,然后對異常值檢測完數(shù)據(jù)中的空缺值進(jìn)行填補(bǔ),進(jìn)而得到干凈的水務(wù)數(shù)據(jù)。該模型根據(jù)水務(wù)數(shù)據(jù)特點、水務(wù)臟數(shù)據(jù)特征和數(shù)據(jù)清洗流程設(shè)計,能夠有效的對水務(wù)領(lǐng)域中出現(xiàn)的臟數(shù)據(jù)進(jìn)行清洗。實驗結(jié)果顯示,基于立體感知的智慧水務(wù)大數(shù)據(jù)清洗模型異常值檢測具有良好的準(zhǔn)確性和有效性,空缺值填補(bǔ)效果也具有良好的準(zhǔn)確性和泛化能力,說明本文方法在數(shù)據(jù)清洗中的可行性和有效性。
【學(xué)位授予單位】：北京工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP311.13;TV21-39
【圖文】：

圖 2-1 數(shù)據(jù)清洗模型Figure 2-1 Data cleaning model據(jù)清洗的基本模型如圖 2-1 所示，由于數(shù)據(jù)中出現(xiàn)了數(shù)值的錯誤例如入出錯、傳感器失靈等產(chǎn)生了不合法值、空值等問題的臟數(shù)據(jù)，采用略/規(guī)則如數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘等方法對臟數(shù)據(jù)進(jìn)行異常檢驗和空缺據(jù)達(dá)到滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)，為后面進(jìn)行數(shù)據(jù)挖掘和決策性分的數(shù)據(jù)。常情況下，數(shù)據(jù)清洗的流程包含以下五個步驟：1） 數(shù)據(jù)分析：數(shù)據(jù)分析是數(shù)據(jù)清洗的條件和基礎(chǔ)，經(jīng)過分析，可以到數(shù)據(jù)集中存在的錯誤問題種類。2） 定義數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則：依據(jù)所分析的數(shù)據(jù)結(jié)果，根據(jù)“臟數(shù)據(jù)產(chǎn)生和特點，制定清洗“臟數(shù)據(jù)”的清洗算法規(guī)則。3） 驗證：驗證數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則的正確性，當(dāng)情況不符合數(shù)據(jù)清洗量要求時，要改進(jìn)清洗規(guī)則或調(diào)整模型參數(shù)，直到得到滿足數(shù)據(jù)任務(wù)要求的數(shù)據(jù)清洗規(guī)則和模型。

圖 2-2 數(shù)據(jù)清洗一般流程Figure 2-2 Data cleaning general process與分析行數(shù)據(jù)清洗，需要對水務(wù)系統(tǒng)數(shù)據(jù)特點等進(jìn)行全面的分析、整理、了案。北京市水務(wù)數(shù)據(jù)業(yè)務(wù)分類如下排水、節(jié)水、水文、郊區(qū)水務(wù)、水，例如供水和郊區(qū)水務(wù)和水資源之包括了所有業(yè)務(wù)類型的水務(wù)數(shù)據(jù)。

圖 2-3 水務(wù)數(shù)據(jù)業(yè)務(wù)分類Figure 2-3 Water data classification業(yè)務(wù)數(shù)據(jù)中可以分為三大數(shù)據(jù)：監(jiān)測類數(shù)據(jù)，基礎(chǔ)類數(shù)據(jù)、管理類數(shù)據(jù)。監(jiān)測類數(shù)據(jù)主要包括水質(zhì)監(jiān)測數(shù)據(jù)、供排節(jié)水量、水位監(jiān)測數(shù)據(jù)等等，基礎(chǔ)類例如污水處理廠的基礎(chǔ)工藝，基礎(chǔ)設(shè)施、傳感器參數(shù)等等，管理類數(shù)據(jù)主要為河流流域之間各數(shù)據(jù)情況信息數(shù)據(jù)。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李W氈

本文編號：2769138