【摘要】：近年來,隨著礦產(chǎn)企業(yè)信息化技術(shù)的建設(shè),在企業(yè)信息系統(tǒng)中收集了大量的基礎(chǔ)數(shù)據(jù),而不論是利用這些數(shù)據(jù)進行數(shù)據(jù)挖掘還是決策分析,都具有極其重要的價值。由于數(shù)據(jù)的不準確性,會產(chǎn)生異常或缺失數(shù)據(jù),嚴重影響數(shù)據(jù)質(zhì)量。因此,使用數(shù)據(jù)清洗技術(shù)來提高數(shù)據(jù)質(zhì)量,優(yōu)化數(shù)據(jù)源是不可或缺的步驟。而尾礦庫監(jiān)測系統(tǒng)首先利用傳感器設(shè)備來采集數(shù)據(jù),然后對數(shù)據(jù)進行分析研究,達到對尾礦庫的安全監(jiān)測。由于尾礦庫受外部環(huán)境的影響,其設(shè)備采集的數(shù)據(jù)會產(chǎn)生異常和缺失,對此首先應(yīng)該檢測出其中的異常數(shù)據(jù),然后根據(jù)可觀測數(shù)據(jù)前后的變化趨勢,來修正并填補缺失數(shù)據(jù),從而提高數(shù)據(jù)質(zhì)量。本文的主要研究工作如下:(1)從感知數(shù)據(jù)的時空相關(guān)性出發(fā),通過對尾礦庫系統(tǒng)中各個設(shè)備已采集的數(shù)據(jù)進行研究,根據(jù)數(shù)據(jù)的前后變化趨勢,從模式上將尾礦庫中的異常缺失數(shù)據(jù)進行分類,分為“單獨異常點”和“異常序列”與“單個缺失點”和“缺失序列”兩大類。(2)通過對歷年尾礦庫系統(tǒng)中的異常數(shù)據(jù)的相似特征和表現(xiàn)形式的研究,本文提出了一種近鄰差值跳躍異常檢測算法,該算法汲取了統(tǒng)計學(xué)中數(shù)據(jù)取值區(qū)間和數(shù)據(jù)變化趨勢的思想。使用近鄰差值的浮動值對各種傳感設(shè)備采集的數(shù)據(jù)是否異常作出判斷,歸類不同類別的異常數(shù)據(jù)。通過實驗,將提出的算法與常用的統(tǒng)計學(xué)方法和基于鄰域密度的異常檢測算法作對比分析。(3)對不同類別的異常數(shù)據(jù)和缺失的數(shù)據(jù)進行填補,通過對數(shù)據(jù)的特點研究,本文提出了一種基于權(quán)重的近鄰算法填補數(shù)據(jù)。該算法汲取了近鄰算法的思想,并在計算距離和求值時,利用尾礦庫系統(tǒng)中可觀測數(shù)據(jù)的特點進行改進。將新提出的基于權(quán)重的近鄰填補算法與常用的線性插值法和傳統(tǒng)的近鄰算法作對比實驗進行分析。(4)實驗選取了最近尾礦庫中各類設(shè)備采集的數(shù)據(jù)。首先,利用本文提出的異常檢測算法與常用的統(tǒng)計學(xué)方法和基于鄰域密度的異常檢測算法進行對比實驗。分析實驗結(jié)果后發(fā)現(xiàn),使用近鄰差值跳躍算法在尾礦庫已采集數(shù)據(jù)上查找異常數(shù)據(jù)的準確率和召回率比統(tǒng)計學(xué)方法和鄰域密度算法更加顯著;然后,在查找異常值以后,利用基于權(quán)重的近鄰算法與傳統(tǒng)的近鄰填補算法和基于鄰域密度填補算法,進行填補對比實驗,實驗結(jié)果表明,改進后的基于權(quán)重的近鄰算法在填補尾礦庫異常和缺失數(shù)據(jù)上具有更高的擬合度,適用性更好。
【學(xué)位授予單位】：西安工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TD926.4;TB490
【圖文】：

根據(jù)尾礦庫中數(shù)據(jù)的變化趨勢和浮動值原理，本文將數(shù)據(jù)變化的趨勢抽象為以下三種類型，分別為單點變化，序列變化，持續(xù)變化，分別如圖 3.3、圖 3.4 和圖 3.5 所示。然后根據(jù)這種數(shù)據(jù)變化的跳躍量與浮動值之間的大小關(guān)系去判斷數(shù)據(jù)是否處于異常狀態(tài)。其中圖中的橫坐標軸是采集時間，刻度為采集周期，縱坐標軸是數(shù)據(jù)的數(shù)值，單位為 mm，圖中沒有明確縱坐標的數(shù)據(jù)是因為數(shù)據(jù)有正有負，同時數(shù)值有大有小，只用來表示抽象模型和變化趨勢，與實際數(shù)據(jù)無關(guān)。并且圖中的線段以及轉(zhuǎn)折點都是抽象的，線段表示數(shù)據(jù)在一段時間內(nèi)的變化很小，近似于穩(wěn)定的波形變化，轉(zhuǎn)折點為數(shù)據(jù)在某一時刻數(shù)據(jù)發(fā)生急劇變化。圖 3.2 正常數(shù)據(jù)的浮動范圍

數(shù)據(jù)的變化趨勢和浮動值原理，本文將數(shù)據(jù)變化的趨點變化，序列變化，持續(xù)變化，分別如圖 3.3、圖 3.4變化的跳躍量與浮動值之間的大小關(guān)系去判斷數(shù)據(jù)是軸是采集時間，刻度為采集周期，縱坐標軸是數(shù)據(jù)的數(shù)標的數(shù)據(jù)是因為數(shù)據(jù)有正有負，同時數(shù)值有大有小，與實際數(shù)據(jù)無關(guān)。并且圖中的線段以及轉(zhuǎn)折點都是抽的變化很小，近似于穩(wěn)定的波形變化，轉(zhuǎn)折點為數(shù)據(jù)圖 3.2 正常數(shù)據(jù)的浮動范圍

持續(xù)變化

【相似文獻】

相關(guān)期刊論文 前10條

1 李W氈

本文編號：2769523