流式數(shù)據(jù)是一個(gè)隨著時(shí)間的不斷延伸而不斷增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù)的集合,其數(shù)據(jù)能夠?qū)崟r(shí)到達(dá),且到達(dá)次序獨(dú)立,不受各種應(yīng)用型系統(tǒng)的控制;數(shù)據(jù)的規(guī)模宏大且不能提前知道它的最大值;數(shù)據(jù)一旦被處理,除了特意保存之外,不允許再次被取出處理,或者再次提取所花費(fèi)的代價(jià)昂貴。傳統(tǒng)的數(shù)據(jù)分析和流式數(shù)據(jù)分析處理主要在查詢和處理方式上有所不同,傳統(tǒng)數(shù)據(jù)分析處理是靜態(tài)過(guò)程,當(dāng)系統(tǒng)不繁忙時(shí)將數(shù)據(jù)批量導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中,而流式數(shù)據(jù)是不斷注入數(shù)據(jù)倉(cāng)庫(kù)中,這是一個(gè)流動(dòng)的過(guò)程,動(dòng)態(tài)的來(lái)處理數(shù)據(jù)。通過(guò)對(duì)流式數(shù)據(jù)的研究我們可以進(jìn)行衛(wèi)星云圖的監(jiān)測(cè),對(duì)股市進(jìn)行分析,判斷網(wǎng)絡(luò)攻擊,煤礦災(zāi)害預(yù)測(cè)等。流式數(shù)據(jù)中事件的查詢以及獲取是研究流式數(shù)據(jù)各種操作的基礎(chǔ)�，F(xiàn)有流式數(shù)據(jù)應(yīng)用系統(tǒng)中的事件查詢只是針對(duì)流中的異常的數(shù)據(jù)點(diǎn)進(jìn)行查詢,而在實(shí)際的情況中,流式數(shù)據(jù)中的事件大多為一段連續(xù)時(shí)間下的異常,其中包含著時(shí)間、空間位置上的各種各樣的信息,因此,傳統(tǒng)閾值查詢方法無(wú)法從不同時(shí)間及空間角度對(duì)事件進(jìn)行全方面的分析,查詢準(zhǔn)確性非常低,導(dǎo)致根本無(wú)法獲取事件的全部完整信息。針對(duì)這些問題,本文將基于多粒度Top-k查詢的流式數(shù)據(jù)事件獲取方法展開研究。首先對(duì)整個(gè)監(jiān)測(cè)區(qū)域進(jìn)行分... 

【文章來(lái)源】：遼寧大學(xué)遼寧省 211工程院校

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

SOS煤礦災(zāi)害監(jiān)測(cè)系統(tǒng)

5圖 1-2 ESG 煤礦災(zāi)害監(jiān)測(cè)系統(tǒng)上述流式數(shù)據(jù)事件的發(fā)現(xiàn)以及獲取中的問題，本文提出了基于多粒式數(shù)據(jù)事件獲取方法，針對(duì)現(xiàn)有流式數(shù)據(jù)事件獲取只針對(duì)單一異常數(shù)

4.3 流式數(shù)據(jù)事件完整信息獲取在 4.2 節(jié)查詢到時(shí)間多粒度事件的峰谷點(diǎn)后，需要進(jìn)一步獲取異常數(shù)據(jù)的范圍信息。根據(jù)事件異常數(shù)據(jù)極大值點(diǎn)，雙向擴(kuò)大查詢結(jié)果，確定災(zāi)害數(shù)據(jù)的具體位置信息，本文提出了一種基于滑動(dòng)平均值法獲取異常數(shù)據(jù)的方法。4.3.1 基于滑動(dòng)平均值法獲取異常事件滑動(dòng)平均值法，是設(shè)計(jì)一個(gè)滑動(dòng)窗口，如圖 4-4 所示。通過(guò)計(jì)算滑動(dòng)窗口內(nèi)波形峰谷點(diǎn)的幅值數(shù)學(xué)期望和均方差，根據(jù)正態(tài)隨機(jī)變量的“3σ 規(guī)則”判斷異常數(shù)據(jù)點(diǎn)，即對(duì)于正態(tài)隨機(jī)變量來(lái)說(shuō)，它的值落在區(qū)間 3σ , +3σ 內(nèi)的概率為0.9974，其中 μ 和 σ 分別是隨機(jī)變量的數(shù)學(xué)期望和均方差。當(dāng)某異常數(shù)據(jù)點(diǎn)值的偏差小于均方差的 3 倍時(shí)，這個(gè)點(diǎn)已經(jīng)不是數(shù)據(jù)極大值點(diǎn)，順著極大值點(diǎn)雙向擴(kuò)大查詢范圍可以得到流式數(shù)據(jù)事件的起始點(diǎn)和終止點(diǎn)。由于滑動(dòng)平均值法判斷識(shí)別流式數(shù)據(jù)事件方法簡(jiǎn)單、易于程序?qū)崿F(xiàn)，所以可以廣泛應(yīng)用于流式數(shù)據(jù)事件分析中[60-61]。


本文編號(hào)：3072439