【摘要】：隨著信息技術(shù)的高速發(fā)展,服務(wù)器運(yùn)維成本越來越高,而服務(wù)器運(yùn)維的核心問題之一就是關(guān)注服務(wù)器的各項(xiàng)指標(biāo)是否異常。服務(wù)器的指標(biāo)監(jiān)控?cái)?shù)據(jù)是典型的時(shí)序數(shù)據(jù),這些指標(biāo)預(yù)示著服務(wù)器以及服務(wù)器上的應(yīng)用是否運(yùn)行良好,因此服務(wù)器運(yùn)維領(lǐng)域的異常檢測(cè)有著重大的意義。目前對(duì)于單變量的時(shí)序數(shù)據(jù)異常檢測(cè)已經(jīng)有很多比較成熟的研究,但是對(duì)于多維的時(shí)序數(shù)據(jù)異常檢測(cè)目前仍存在很多問題。特別是在服務(wù)器運(yùn)維領(lǐng)域,服務(wù)器指標(biāo)監(jiān)控?cái)?shù)據(jù)種類繁多、數(shù)據(jù)規(guī)模大、流速快,要求算法能快速的檢測(cè)異常。為了解決這些問題,本文具體做了如下的研究工作:(1)多維時(shí)間序列數(shù)據(jù)的異常檢測(cè)與單變量時(shí)間序列數(shù)據(jù)之間存在很多差異。例如,多維時(shí)間序列的時(shí)間連續(xù)性比單變量時(shí)間序列弱得多,此外如果多維數(shù)據(jù)中僅有某個(gè)維度異常而將整個(gè)多維數(shù)據(jù)判斷為異常是不合理的。針對(duì)此問題,本文提出了一種多維時(shí)序數(shù)據(jù)集合式異常檢測(cè)算法iForest for multidimensional time-series(以下簡稱iForestFMT),主要檢測(cè)多維時(shí)序數(shù)據(jù)中某段子序列或某個(gè)時(shí)間段的數(shù)據(jù)是否異常�？紤]到時(shí)間連續(xù)性對(duì)時(shí)序數(shù)據(jù)的異常檢測(cè)的關(guān)鍵作用,iForestFMT算法充分利用時(shí)序數(shù)據(jù)的統(tǒng)計(jì)特征,改進(jìn)了異常檢測(cè)領(lǐng)域表現(xiàn)十分優(yōu)秀的孤立森林算法。在三個(gè)真實(shí)的數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn),結(jié)果證明了所提出的方法是高效的。(2)為了近似實(shí)時(shí)地檢測(cè)某個(gè)時(shí)間段內(nèi)多個(gè)服務(wù)器指標(biāo)監(jiān)控?cái)?shù)據(jù)是否異常,本文通過在子空間添加mass信息改進(jìn)了 iForestFMT算法以適應(yīng)流數(shù)據(jù)的集合式異常檢測(cè),提出了 iForest for multidimensional streams(以下簡稱iForestForStreams)算法。經(jīng)過實(shí)驗(yàn)驗(yàn)證,iForestForStreams算法在流數(shù)據(jù)的處理中具有比較穩(wěn)定的時(shí)空復(fù)雜度,并且能更及時(shí)地處理高速的流數(shù)據(jù)。此外,為了提高iForestForStreams的時(shí)間效率、穩(wěn)定性和擴(kuò)展性,本文在分布式流計(jì)算框架下重新設(shè)計(jì)并實(shí)現(xiàn)了該算法的分布式版本。實(shí)驗(yàn)表明分布式版本的iForestForStreams算法的時(shí)間效率相比前者提升了 2.7倍,并且表現(xiàn)出良好的擴(kuò)展性和穩(wěn)定性。(3)設(shè)計(jì)了一個(gè)多功能的面向服務(wù)器運(yùn)維領(lǐng)域的時(shí)序數(shù)據(jù)異常檢測(cè)系統(tǒng)ADSO,該系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)采集、特征計(jì)算、模型訓(xùn)練、異常報(bào)警四個(gè)功能模塊。并模擬了服務(wù)器運(yùn)維場(chǎng)景,驗(yàn)證了系統(tǒng)的有效性。綜上,本文提出的算法對(duì)服務(wù)器運(yùn)維領(lǐng)域的異常檢測(cè)具有一定的應(yīng)用價(jià)值。本文實(shí)驗(yàn)中所使用的三個(gè)數(shù)據(jù)集來自于UCI庫,是真實(shí)的服務(wù)器網(wǎng)絡(luò)數(shù)據(jù),上述實(shí)驗(yàn)驗(yàn)證了本文的算法有助于發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中的入侵行為。此外,將本文提出的算法應(yīng)用到不同種類的服務(wù)器數(shù)據(jù)上,可以檢測(cè)不同類型的服務(wù)器異常。
【圖文】：

指數(shù)平滑法？邐二次指數(shù)平滑法逡逑三次指數(shù)平滑法逡逑圖１－２時(shí)間序列的預(yù)測(cè)模型逡逑基于預(yù)測(cè)的異常檢測(cè)。如圖１－２，時(shí)間序列的預(yù)測(cè)己經(jīng)有很多模型，包括但不限于移逡逑動(dòng)平均、自回歸、自回歸移動(dòng)平均、指數(shù)平滑模型等。時(shí)間的異常檢測(cè)最普遍的應(yīng)用是逡逑使用基于回歸的預(yù)測(cè)模型檢測(cè)特定的瞬時(shí)的基于偏差的異常點(diǎn)。這些異常點(diǎn)是上下文的逡逑異常，因?yàn)樗麄儗惓６x為瞬時(shí)的數(shù)據(jù)值和鄰域的數(shù)據(jù)值的關(guān)系。這種方法既可以用逡逑來檢測(cè)底層過程的突變，也可以用來過濾底層數(shù)據(jù)流的噪音。時(shí)序數(shù)據(jù)中基于偏差的異逡逑常點(diǎn)檢測(cè)和時(shí)序預(yù)測(cè)的問題非常接近，因?yàn)楫惓．a(chǎn)生于和期望值有偏差的點(diǎn)。在這些方逡逑法中，時(shí)間連續(xù)性扮演著重要的角色，因?yàn)樗僭O(shè)時(shí)序中的值在連續(xù)的瞬時(shí)中高度相關(guān)，逡逑同時(shí)時(shí)間趨勢(shì)不會(huì)突變�；谄畹漠惓｜c(diǎn)使用下一時(shí)刻的預(yù)測(cè)值（可基于多種回歸模逡逑型得到）。單個(gè)時(shí)序的相關(guān)性或者多個(gè)時(shí)序間的相關(guān)性，也可以用來進(jìn)行預(yù)測(cè)。逡逑基于距離的異常檢測(cè)。付培國使用密度抽樣和近鄰距離算法［％檢測(cè)數(shù)據(jù)存在的異常。逡逑如圖１－３，時(shí)間序列的相似度計(jì)算可采用歐氏距離、動(dòng)態(tài)時(shí)間規(guī)整、最長公共子序列等等逡逑５逡逑

逑邐１邐２、平均偏差Ｑ邋聚類逡逑圖１－１時(shí)間序列的異常分類逡逑面向時(shí)序數(shù)據(jù)的異常檢測(cè)算法模型一般有基于預(yù)測(cè)、基于距離、基于分類、基于統(tǒng)逡逑計(jì)等方法。逡逑＿邋簡單移動(dòng)平均法？逡逑移動(dòng)平均法（ＭＡ）邋Ｑｆ邐邋＿逡逑邐＾邋趨勢(shì)移動(dòng)平均法邋？逡逑自回歸模型（ＡＢ）邋＠逡逑邐邋自回歸滑動(dòng)平均模型（ＡＢＭＡ）邋？逡逑．時(shí)序序列預(yù)順摁助］Ｑ邋求和自回歸移動(dòng)平均模型（ＡＲ１ＭＡ）逡逑ＧＡＲＣＨ模型？邋ＧＡＲＣＨ對(duì)誤差的方差進(jìn)行建模，特別適用于波動(dòng)性的分析和預(yù)測(cè)逡逑—次指數(shù)平滑法逡逑指數(shù)平滑法？邐二次指數(shù)平滑法逡逑三次指數(shù)平滑法逡逑圖１－２時(shí)間序列的預(yù)測(cè)模型逡逑基于預(yù)測(cè)的異常檢測(cè)。如圖１－２，時(shí)間序列的預(yù)測(cè)己經(jīng)有很多模型，包括但不限于移逡逑動(dòng)平均、自回歸、自回歸移動(dòng)平均、指數(shù)平滑模型等。時(shí)間的異常檢測(cè)最普遍的應(yīng)用是逡逑使用基于回歸的預(yù)測(cè)模型檢測(cè)特定的瞬時(shí)的基于偏差的異常點(diǎn)。這些異常點(diǎn)是上下文的逡逑異常，因?yàn)樗麄儗惓６x為瞬時(shí)的數(shù)據(jù)值和鄰域的數(shù)據(jù)值的關(guān)系。這種方法既可以用逡逑來檢測(cè)底層過程的突變，，也可以用來過濾底層數(shù)據(jù)流的噪音。時(shí)序數(shù)據(jù)中基于偏差的異逡逑常點(diǎn)檢測(cè)和時(shí)序預(yù)測(cè)的問題非常接近，因?yàn)楫惓．a(chǎn)生于和期望值有偏差的點(diǎn)。在這些方逡逑法中，時(shí)間連續(xù)性扮演著重要的角色，因?yàn)樗僭O(shè)時(shí)序中的值在連續(xù)的瞬時(shí)中高度相關(guān)，逡逑同時(shí)時(shí)間趨勢(shì)不會(huì)突變�；谄畹漠惓｜c(diǎn)使用下一時(shí)刻的預(yù)測(cè)值（可基于多種回歸模逡逑型得到）。單個(gè)時(shí)序的相關(guān)性或者多個(gè)時(shí)序間的相關(guān)性，也可以用來進(jìn)行預(yù)測(cè)。逡逑基于距離的異常檢測(cè)。付培國使用密度抽樣和近鄰距離算法［％檢測(cè)數(shù)據(jù)存在的異常。逡逑如圖１－３
【學(xué)位授予單位】：中央民族大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP311.13;TP368.5

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王妙瓊;魏凱;姜春宇;;工業(yè)互聯(lián)網(wǎng)中時(shí)序數(shù)據(jù)處理面臨的新挑戰(zhàn)[J];信息通信技術(shù)與政策;2019年05期

2 黃雄波;;基于自相關(guān)函數(shù)的非平穩(wěn)時(shí)序數(shù)據(jù)的辨識(shí)改進(jìn)[J];微型機(jī)與應(yīng)用;2016年13期

3 尚繼霞;;基于時(shí)序數(shù)據(jù)的遼寧省環(huán)境庫茲涅茨曲線實(shí)證分析[J];統(tǒng)計(jì)與咨詢;2013年04期

4 鐘清流;蔡自興;;基于統(tǒng)計(jì)特征的時(shí)序數(shù)據(jù)符號(hào)化算法[J];計(jì)算機(jī)學(xué)報(bào);2008年10期

5 王興家;汪曉惠;趙超;;基于神經(jīng)網(wǎng)絡(luò)的混沌時(shí)序數(shù)據(jù)失真檢測(cè)方法研究[J];重慶交通大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年06期

6 郝善勇,劉玉樹;基于樣本數(shù)據(jù)重抽樣的時(shí)序數(shù)據(jù)預(yù)報(bào)方法[J];北京理工大學(xué)學(xué)報(bào);2000年05期

7 駱金維;曾德生;郭雅;黃富平;;時(shí)序數(shù)據(jù)并行壓縮速率改進(jìn)技術(shù)研究[J];電子設(shè)計(jì)工程;2018年20期

8 林芝,曹加恒,劉娟,韋豐;基于信息論網(wǎng)絡(luò)的時(shí)序數(shù)據(jù)庫挖掘[J];計(jì)算機(jī)工程與應(yīng)用;2003年01期

9 鄭斌祥,杜秀華,席裕庚;一種時(shí)序數(shù)據(jù)的離群數(shù)據(jù)挖掘新算法[J];控制與決策;2002年03期

10 朱明,蔡慶生;基于約束滿足的相似時(shí)序數(shù)據(jù)的搜索算法[J];計(jì)算機(jī)工程;2000年01期

相關(guān)會(huì)議論文 前7條

1 張榮明;鄒湘軍;顧邦軍;羅陸鋒;周艷瓊;;基于探索性分析的時(shí)序數(shù)據(jù)研究[A];中國系統(tǒng)仿真學(xué)會(huì)第五次全國會(huì)員代表大會(huì)暨2006年全國學(xué)術(shù)年會(huì)論文集[C];2006年

2 鮑遠(yuǎn)松;董文生;;一種分布式時(shí)序數(shù)據(jù)庫的存儲(chǔ)架構(gòu)設(shè)計(jì)及實(shí)現(xiàn)方法[A];中國計(jì)量協(xié)會(huì)冶金分會(huì)2018年會(huì)論文集[C];2018年

3 張明偉;周清波;宮攀;陳仲新;周勇;劉佳;;基于MODIS時(shí)序數(shù)據(jù)分析的作物識(shí)別方法[A];農(nóng)業(yè)工程科技創(chuàng)新與建設(shè)現(xiàn)代農(nóng)業(yè)——2005年中國農(nóng)業(yè)工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集第六分冊(cè)[C];2005年

4 劉帥;李琦;;基于重建NDVI時(shí)序數(shù)據(jù)的植被覆蓋變化研究[A];遙感定量反演算法研討會(huì)摘要集[C];2010年

5 許馨文;馬衛(wèi)國;張寶雷;;基于國家級(jí)開發(fā)區(qū)的聚類方法初探[A];京津走廊經(jīng)濟(jì)崛起與工業(yè)園區(qū)產(chǎn)業(yè)集群研究——紀(jì)念廊坊開發(fā)區(qū)建立十五周年暨工業(yè)園區(qū)產(chǎn)業(yè)集群專題征文研討活動(dòng)論文集[C];2007年

6 曹暉;司剛?cè)?張彥斌;賈立新;;基于模糊時(shí)序數(shù)據(jù)挖掘的火電廠制粉系統(tǒng)優(yōu)化算法[A];2007'儀表，自動(dòng)化及先進(jìn)集成技術(shù)大會(huì)論文集（一）[C];2007年

7 孫啟龍;呂穎;張利國;;基于深度學(xué)習(xí)的道路可靠性評(píng)估方法與實(shí)驗(yàn)[A];第37屆中國控制會(huì)議論文集（E）[C];2018年

相關(guān)博士學(xué)位論文 前7條

1 吳吉慶;面向Internet的時(shí)序數(shù)據(jù)快速分發(fā)技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 張貴生;數(shù)據(jù)驅(qū)動(dòng)的金融時(shí)間序列預(yù)測(cè)模型研究[D];山西大學(xué);2016年

3 何周舟;基于時(shí)序數(shù)據(jù)的結(jié)構(gòu)學(xué)習(xí)與模式預(yù)測(cè)聯(lián)合優(yōu)化算法研究[D];浙江大學(xué);2016年

4 白天;連分式方法在脈沖去噪、時(shí)序數(shù)據(jù)壓縮及視頻鏡頭檢測(cè)中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2014年

5 趙靜;基于高斯過程的動(dòng)態(tài)系統(tǒng)研究[D];華東師范大學(xué);2016年

6 葉紅梅;面向流域生態(tài)安全的景觀格局演變研究[D];華中科技大學(xué);2009年

7 鐘清流;時(shí)序、圖像特征檢測(cè)的理論、方法及應(yīng)用研究[D];中南大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 劉雷;面向時(shí)序數(shù)據(jù)的離群點(diǎn)異常檢測(cè)技術(shù)應(yīng)用研究[D];中央民族大學(xué);2019年

2 王超;云環(huán)境中時(shí)序數(shù)據(jù)的預(yù)測(cè)和異常檢測(cè)算法的研究[D];南京大學(xué);2019年

3 舒?zhèn)ゲ?時(shí)序數(shù)據(jù)二分類問題的等距短shapelet轉(zhuǎn)換算法[D];中國科學(xué)技術(shù)大學(xué);2019年

4 韓日旺;關(guān)于時(shí)序網(wǎng)絡(luò)魯棒性與修復(fù)性的研究[D];華中師范大學(xué);2018年

5 李鳳;非平衡時(shí)序數(shù)據(jù)的動(dòng)態(tài)時(shí)間規(guī)整過采樣方法研究[D];暨南大學(xué);2018年

6 吳俊鋒;面向TLE數(shù)據(jù)的多變量時(shí)序數(shù)據(jù)分類算法研究[D];國防科學(xué)技術(shù)大學(xué);2016年

7 楊云麗;大數(shù)據(jù)背景下的時(shí)序數(shù)據(jù)分析[D];中國科學(xué)技術(shù)大學(xué);2018年

8 李亭亭;基于時(shí)序遙感數(shù)據(jù)的水環(huán)境時(shí)空采樣布局優(yōu)化方法研究[D];武漢大學(xué);2018年

9 籍姣榮;基于仿射變換的時(shí)序數(shù)據(jù)信息處理方法研究[D];黑龍江大學(xué);2018年

10 沈亮亮;面向金融領(lǐng)域的時(shí)序數(shù)據(jù)挖掘方法研究與應(yīng)用[D];海南大學(xué);2018年

本文編號(hào)：2671298