事件流計算技術(shù)是一種新型的大數(shù)據(jù)處理技術(shù)。該項技術(shù)是在流計算的基礎(chǔ)上結(jié)合事件處理技術(shù),不僅可以提供大規(guī)模實時在線數(shù)據(jù)處理,同時也可以運用到情景識別,智能處理等具有一定邏輯判斷能力的應(yīng)用場景中。事件流計算系統(tǒng)是一種多組件協(xié)同的大規(guī)模分布式實時系統(tǒng),其組件結(jié)構(gòu)復(fù)雜,系統(tǒng)異常高發(fā),樣本規(guī)模小,對事件流計算系統(tǒng)進行異常監(jiān)測方法的研究在確保大數(shù)據(jù)處理領(lǐng)域的可靠性和安全性方面發(fā)揮著至關(guān)重要的作用。本文在全面分析事件流計算系統(tǒng)的基礎(chǔ)上,根據(jù)事件流計算系統(tǒng)特征提出相應(yīng)異常監(jiān)測方案,本文主要研究內(nèi)容如下:1.針對如何描述事件流計算系統(tǒng)行為特征和如何在線自適應(yīng)監(jiān)測異常情況的問題,提出一種基于快速查找聚類中心的事件流計算系統(tǒng)異常監(jiān)測方法。首先,通過分析事件流計算系統(tǒng)行為特征,結(jié)合事件流計算系統(tǒng)的事件狀態(tài)空間和物理狀態(tài)空間,構(gòu)建一種系統(tǒng)行為描述方法,對系統(tǒng)行為狀態(tài)進行刻畫;然后,通過分析事件流計算系統(tǒng)的異常監(jiān)測具有在線、自適應(yīng)和多點監(jiān)測特點,并考慮到快速查找聚類中心算法不能自動確定聚類數(shù)目的局限,提出一種結(jié)合快速查找聚類中心與外部統(tǒng)計測試的方法,實現(xiàn)系統(tǒng)行為狀態(tài)自動識別;最后,引入自適應(yīng)異常監(jiān)測框架,自動調(diào)整... 

【文章來源】：重慶郵電大學(xué)重慶市

【文章頁數(shù)】：81 頁

【學(xué)位級別】：碩士

【部分圖文】：

數(shù)據(jù)流處理與事件流處理對比圖

(a) 主從式架構(gòu) (b) 對等式架構(gòu)圖 2.1 流計算系統(tǒng)框架對比圖1. 主從式架構(gòu)主從式架構(gòu)如 2.1(a)所示，主從式架構(gòu)包含一個控制節(jié)點和多個工作節(jié)點點主要負責(zé)系統(tǒng)調(diào)度，包括統(tǒng)籌分配系統(tǒng)資源、監(jiān)控系統(tǒng)運行狀態(tài)、負載系統(tǒng)計算任務(wù)等；工作節(jié)點主要負責(zé)計算控制節(jié)點分配任務(wù)、反饋計算后自身運行狀態(tài)到控制節(jié)點。各個工作節(jié)點之間的信息交換，依賴于控制節(jié)協(xié)調(diào)傳遞，在主從式架構(gòu)中，如果工作節(jié)點發(fā)生異常，工程上一般采用備續(xù)工作，可以看出，如果控制節(jié)點發(fā)生異常，則會給系統(tǒng)帶來嚴重的損失在主從式架構(gòu)中的流計算系統(tǒng)異常監(jiān)測的重點一般放在控制節(jié)點。主從式是資源利用率相對較高，開銷相對較小，主要集中在控制節(jié)點，缺點是技為復(fù)雜。2. 對等式架構(gòu)

sper 系統(tǒng)er[43]主要針對 XML、POJO 以及 Java.util.Map 類型的數(shù)據(jù)進換為高級事件，實現(xiàn)對高級事件的管理。Esper 事件處理主流處理(EventStreamProcess,ESP)和復(fù)雜事件處理(Complex中 ESP 主要負責(zé)檢測符合匹配規(guī)則的原始事件流，CEP 主的事件流進行過濾或聚合等操作[19]，得到復(fù)雜事件。Esper 所示，首先，到來的實時數(shù)據(jù)流輸入到輸入適配器，根據(jù)時據(jù)流轉(zhuǎn)換為具有內(nèi)部邏輯的事件流，當(dāng)事件流進入到 CEP 引擎預(yù)先設(shè)定的聲明語句，包括過濾、關(guān)聯(lián)、聚合等語言規(guī)配規(guī)則的事件再次輸入到 POJO 模塊中，整合為復(fù)雜事件過輸出適配器向應(yīng)用上層輸出結(jié)果。輸入實時數(shù)據(jù)流StatementsPOJO

【參考文獻】：
期刊論文
[1]基于情境和事件的生產(chǎn)異常表示和監(jiān)測方法[J]. 查欣欣,曹冬雪,盧濤.  計算機應(yīng)用與軟件. 2017(12)
[2]主動式復(fù)雜事件處理方法的研究[J]. 耿少峰,王永恒,李仁發(fā),張佳.  通信學(xué)報. 2016(09)
[3]復(fù)雜事件模式檢測與CEP測試數(shù)據(jù)生成算法研究[J]. 趙會群,孫晶,楊巖坤,毛立志.  計算機學(xué)報. 2017(01)
[4]大數(shù)據(jù)流式計算:應(yīng)用特征和技術(shù)挑戰(zhàn)[J]. 孫大為.  大數(shù)據(jù). 2015(03)
[5]大數(shù)據(jù)流式計算:關(guān)鍵技術(shù)及系統(tǒng)實例[J]. 孫大為,張廣艷,鄭緯民.  軟件學(xué)報. 2014(04)
[6]基于Esper和Nagios的網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 蔡昭權(quán),索劍,汪華斌,盧慶武,羅偉.  計算機工程與科學(xué). 2012(09)
[7]基于拓撲序列的DAG子圖包含查詢算法研究[J]. 奚業(yè)雷,呂建華,張柏禮.  計算機研究與發(fā)展. 2011(S3)
[8]基于Petri網(wǎng)的攻擊檢測模式的優(yōu)化生成算法[J]. 王勇,曹斌,彭雪娜,常桂然.  通信學(xué)報. 2003(03)

博士論文
[1]基于局部線性嵌入的潛油柱塞泵故障診斷方法研究[D]. 劉遠紅.哈爾濱工業(yè)大學(xué) 2016

碩士論文
[1]數(shù)據(jù)中心機柜溫度控制過程模擬及實驗研究[D]. 朱廣樂.沈陽工業(yè)大學(xué) 2018



本文編號：3332085