KPI數(shù)據(jù)實時異常檢測算法研究與實現(xiàn)
發(fā)布時間:2022-08-07 17:33
KPI數(shù)據(jù)(Key Performance Indicator)是有實際應(yīng)用意義的、通過定時采樣獲取的時間序列數(shù)據(jù),KPI數(shù)據(jù)異常檢測對于企業(yè)應(yīng)用有著十分重要的意義:通過實時的監(jiān)控KPI數(shù)據(jù),發(fā)現(xiàn)KPI數(shù)據(jù)存在的異常,及時進(jìn)行相應(yīng)處理,從而保證應(yīng)用的正常運行。在企業(yè)中,通過對KPI數(shù)據(jù)設(shè)置閾值來進(jìn)行實時異常檢測的方法十分普遍,然而閾值的設(shè)置依賴用戶經(jīng)驗,同時,隨著KPI數(shù)據(jù)逐漸增多,為每一條KPI數(shù)據(jù)配置若干閾值的方法就會耗費巨大的人力。針對KPI數(shù)據(jù)異常檢測問題,為了實現(xiàn)免閾值設(shè)置、高度自動化的目標(biāo),本課題開展了相關(guān)工作,提出了三種算法,這三種算法高度自動化,使得用戶無需為每一條KPI單獨設(shè)置閾值,具有很高的使用價值和實用意義。本文的主要工作包括:首先,提出了基于異常閾值可分性的KPI異常檢測算法。本文給出了“異常閾值可分性”的概念用于評價特征是否有助于發(fā)現(xiàn)異常,利用異常閾值可分性,本文提出了基于監(jiān)督學(xué)習(xí)的異常檢測框架,通過算法自動提取每個KPI數(shù)據(jù)的特征,框架能夠針對每個KPI的特點進(jìn)行相應(yīng)的學(xué)習(xí),從而為每個KPI實現(xiàn)異常檢測。經(jīng)過與成熟算法和系統(tǒng)的實驗對比,本文的方法能夠?qū)1 ...
【文章頁數(shù)】:76 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 課題背景及研究的目的和意義
1.2 國內(nèi)外研究現(xiàn)狀及分析
1.2.1 國外研究現(xiàn)狀及分析
1.2.2 國內(nèi)研究現(xiàn)狀及分析
1.3 相關(guān)工作
1.3.1 基于監(jiān)督學(xué)習(xí)的KPI異常檢測
1.3.2 基于無監(jiān)督學(xué)習(xí)的KPI異常檢測
1.3.3 KPI異常檢測算法系統(tǒng)
1.4 本文的主要研究內(nèi)容
1.5 本文的組織結(jié)構(gòu)
第2章 基于異常閾值可分性的有監(jiān)督KPI異常檢測
2.1 引言
2.2 問題描述
2.3 算法概述
2.3.1 特征空間轉(zhuǎn)換
2.3.2 免閾值設(shè)置
2.4 異常檢測特征選擇
2.4.1 面向點異常的特征選擇
2.4.2 面向上下文異常的特征選擇
2.4.3 面向集體異常的特征選擇
2.5 有監(jiān)督KPI異常檢測框架
2.5.1 框架運行流程
2.5.2 特征加速提取
2.5.3 不平衡數(shù)據(jù)處理
2.6 異常檢測實驗及分析
2.6.1 實驗數(shù)據(jù)及評價指標(biāo)
2.6.2 檢測效果對比實驗
2.6.3 不平衡數(shù)據(jù)處理方法對比實驗
2.7 本章小結(jié)
第3章 基于極端值理論的KPI異常檢測
3.1 引言
3.2 問題描述
3.2.1 基于k sigma理論的異常檢測算法
3.2.2 基于切比雪夫不等式的異常檢測算法
3.3 極端值理論基礎(chǔ)
3.3.1 極端值理論基本概念
3.3.2 基于極端值理論實現(xiàn)異常檢測的思路
3.3.3 極端值分布參數(shù)估計與極大似然法
3.4 基于矩估計法的動態(tài)閾值設(shè)置
3.5 基于預(yù)測算法的動態(tài)閾值設(shè)置
3.6 漂移數(shù)據(jù)上的動態(tài)閾值設(shè)置
3.7 異常檢測實驗及分析
3.7.1 矩估計性能對比實驗
3.7.2 預(yù)測算法對比實驗
3.7.3 漂移數(shù)據(jù)改進(jìn)算法對比實驗
3.7.4 不穩(wěn)定KPI數(shù)據(jù)對比實驗
3.8 本章小結(jié)
第4章 基于動態(tài)投票的無監(jiān)督KPI異常檢測
4.1 引言
4.2 算法設(shè)計
4.2.1 產(chǎn)生階段
4.2.2 基本檢測器組合階段
4.3 動態(tài)硬投票算法
4.4 動態(tài)軟投票算法
4.5 異常檢測實驗及分析
4.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝
本文編號:3670747
【文章頁數(shù)】:76 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 課題背景及研究的目的和意義
1.2 國內(nèi)外研究現(xiàn)狀及分析
1.2.1 國外研究現(xiàn)狀及分析
1.2.2 國內(nèi)研究現(xiàn)狀及分析
1.3 相關(guān)工作
1.3.1 基于監(jiān)督學(xué)習(xí)的KPI異常檢測
1.3.2 基于無監(jiān)督學(xué)習(xí)的KPI異常檢測
1.3.3 KPI異常檢測算法系統(tǒng)
1.4 本文的主要研究內(nèi)容
1.5 本文的組織結(jié)構(gòu)
第2章 基于異常閾值可分性的有監(jiān)督KPI異常檢測
2.1 引言
2.2 問題描述
2.3 算法概述
2.3.1 特征空間轉(zhuǎn)換
2.3.2 免閾值設(shè)置
2.4 異常檢測特征選擇
2.4.1 面向點異常的特征選擇
2.4.2 面向上下文異常的特征選擇
2.4.3 面向集體異常的特征選擇
2.5 有監(jiān)督KPI異常檢測框架
2.5.1 框架運行流程
2.5.2 特征加速提取
2.5.3 不平衡數(shù)據(jù)處理
2.6 異常檢測實驗及分析
2.6.1 實驗數(shù)據(jù)及評價指標(biāo)
2.6.2 檢測效果對比實驗
2.6.3 不平衡數(shù)據(jù)處理方法對比實驗
2.7 本章小結(jié)
第3章 基于極端值理論的KPI異常檢測
3.1 引言
3.2 問題描述
3.2.1 基于k sigma理論的異常檢測算法
3.2.2 基于切比雪夫不等式的異常檢測算法
3.3 極端值理論基礎(chǔ)
3.3.1 極端值理論基本概念
3.3.2 基于極端值理論實現(xiàn)異常檢測的思路
3.3.3 極端值分布參數(shù)估計與極大似然法
3.4 基于矩估計法的動態(tài)閾值設(shè)置
3.5 基于預(yù)測算法的動態(tài)閾值設(shè)置
3.6 漂移數(shù)據(jù)上的動態(tài)閾值設(shè)置
3.7 異常檢測實驗及分析
3.7.1 矩估計性能對比實驗
3.7.2 預(yù)測算法對比實驗
3.7.3 漂移數(shù)據(jù)改進(jìn)算法對比實驗
3.7.4 不穩(wěn)定KPI數(shù)據(jù)對比實驗
3.8 本章小結(jié)
第4章 基于動態(tài)投票的無監(jiān)督KPI異常檢測
4.1 引言
4.2 算法設(shè)計
4.2.1 產(chǎn)生階段
4.2.2 基本檢測器組合階段
4.3 動態(tài)硬投票算法
4.4 動態(tài)軟投票算法
4.5 異常檢測實驗及分析
4.6 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表的論文及其它成果
致謝
本文編號:3670747
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3670747.html
最近更新
教材專著