流式數(shù)據(jù)是一個隨著時間的不斷延伸而不斷增長的動態(tài)數(shù)據(jù)的集合,其數(shù)據(jù)能夠實時到達,且到達次序獨立,不受各種應用型系統(tǒng)的控制;數(shù)據(jù)的規(guī)模宏大且不能提前知道它的最大值;數(shù)據(jù)一旦被處理,除了特意保存之外,不允許再次被取出處理,或者再次提取所花費的代價昂貴。傳統(tǒng)的數(shù)據(jù)分析和流式數(shù)據(jù)分析處理主要在查詢和處理方式上有所不同,傳統(tǒng)數(shù)據(jù)分析處理是靜態(tài)過程,當系統(tǒng)不繁忙時將數(shù)據(jù)批量導入數(shù)據(jù)倉庫中,而流式數(shù)據(jù)是不斷注入數(shù)據(jù)倉庫中,這是一個流動的過程,動態(tài)的來處理數(shù)據(jù)。通過對流式數(shù)據(jù)的研究我們可以進行衛(wèi)星云圖的監(jiān)測,對股市進行分析,判斷網(wǎng)絡攻擊,煤礦災害預測等。流式數(shù)據(jù)中事件的查詢以及獲取是研究流式數(shù)據(jù)各種操作的基礎。現(xiàn)有流式數(shù)據(jù)應用系統(tǒng)中的事件查詢只是針對流中的異常的數(shù)據(jù)點進行查詢,而在實際的情況中,流式數(shù)據(jù)中的事件大多為一段連續(xù)時間下的異常,其中包含著時間、空間位置上的各種各樣的信息,因此,傳統(tǒng)閾值查詢方法無法從不同時間及空間角度對事件進行全方面的分析,查詢準確性非常低,導致根本無法獲取事件的全部完整信息。針對這些問題,本文將基于多粒度Top-k查詢的流式數(shù)據(jù)事件獲取方法展開研究。首先對整個監(jiān)測區(qū)域進行分... 

【文章來源】：遼寧大學遼寧省 211工程院校

【文章頁數(shù)】：56 頁

【學位級別】：碩士

【部分圖文】：

SOS煤礦災害監(jiān)測系統(tǒng)

5圖 1-2 ESG 煤礦災害監(jiān)測系統(tǒng)上述流式數(shù)據(jù)事件的發(fā)現(xiàn)以及獲取中的問題，本文提出了基于多粒式數(shù)據(jù)事件獲取方法，針對現(xiàn)有流式數(shù)據(jù)事件獲取只針對單一異常數(shù)

4.3 流式數(shù)據(jù)事件完整信息獲取在 4.2 節(jié)查詢到時間多粒度事件的峰谷點后，需要進一步獲取異常數(shù)據(jù)的范圍信息。根據(jù)事件異常數(shù)據(jù)極大值點，雙向擴大查詢結果，確定災害數(shù)據(jù)的具體位置信息，本文提出了一種基于滑動平均值法獲取異常數(shù)據(jù)的方法。4.3.1 基于滑動平均值法獲取異常事件滑動平均值法，是設計一個滑動窗口，如圖 4-4 所示。通過計算滑動窗口內(nèi)波形峰谷點的幅值數(shù)學期望和均方差，根據(jù)正態(tài)隨機變量的“3σ 規(guī)則”判斷異常數(shù)據(jù)點，即對于正態(tài)隨機變量來說，它的值落在區(qū)間 3σ , +3σ 內(nèi)的概率為0.9974，其中 μ 和 σ 分別是隨機變量的數(shù)學期望和均方差。當某異常數(shù)據(jù)點值的偏差小于均方差的 3 倍時，這個點已經(jīng)不是數(shù)據(jù)極大值點，順著極大值點雙向擴大查詢范圍可以得到流式數(shù)據(jù)事件的起始點和終止點。由于滑動平均值法判斷識別流式數(shù)據(jù)事件方法簡單、易于程序實現(xiàn)，所以可以廣泛應用于流式數(shù)據(jù)事件分析中[60-61]。


本文編號：3072439