在進行數(shù)據(jù)分析的時候,常常會遇到與整個數(shù)據(jù)集行為不相符的數(shù)據(jù),這些數(shù)據(jù)被稱為異常數(shù)據(jù)、異常值或者離群值。異常值檢測是最基本的數(shù)據(jù)分析任務之一,用于發(fā)現(xiàn)罕見事件、例外情況或與常規(guī)條目的某種偏離。異常檢測在許多領(lǐng)域里面有著重要的應用,包括但不限于通信、統(tǒng)計、金融欺詐、網(wǎng)絡安全、氣候異常等等。盡管存在許多用于數(shù)值型數(shù)據(jù)中異常值檢測的方法,但是只有少數(shù)幾種方法可以處理使用分類屬性表示的數(shù)據(jù)。分類型數(shù)據(jù)用于異常值檢測的研究較少,但實際上分類屬性構(gòu)成的數(shù)據(jù)隨處可見,由于分類型數(shù)據(jù)并不一定是有序的,使得難以在分類型數(shù)據(jù)上定義相似度度量、計算最近鄰居或者計算距離或密度。由于這些問題的存在,導致分類型數(shù)據(jù)異常檢測并不是一個容易的任務。本文對分類型數(shù)據(jù)異常檢測問題進行討論和研究,提出了兩個基于熵的異常檢測方法分別為稱為ODF（Outlier Detection Forest）算法和基于ODF改進的FASTODT（Fast Outlier Detection Tree）算法。本文首先介紹了傳統(tǒng)的根據(jù)數(shù)據(jù)集熵的變化來判斷數(shù)據(jù)異常程度的熵差計算方式,之后提出了傳統(tǒng)的熵差計算存在熵差大小受數(shù)據(jù)量大小影響的問題,并... 

【文章來源】：哈爾濱工業(yè)大學黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題研究背景和意義
    1.2 國內(nèi)外相關(guān)研究及綜述
        1.2.1 不同的應用領(lǐng)域
        1.2.2 不同的處理方法
    1.3 本文的內(nèi)容
    1.4 本文的結(jié)構(gòu)安排
第2章 異常檢測技術(shù)概述
    2.1 引言
    2.2 異常檢測技術(shù)
        2.2.1 異常檢測的背景與應用
        2.2.2 異常值的定義
        2.2.3 異常值的成因
        2.2.4 異常值的分類
        2.2.5 異常值檢測的評價指標
    2.3 分類型數(shù)據(jù)異常檢測問題
        2.3.1 分類型屬性
        2.3.2 分類型數(shù)據(jù)異常檢測的挑戰(zhàn)
    2.4 分類型數(shù)據(jù)異常檢測方法
        2.4.1 基于熵的方法
        2.4.2 基于聚類的方法
        2.4.3 基于密度的方法
        2.4.4 基于距離的方法
    2.5 本章小結(jié)
第3章 基于熵的分類型數(shù)據(jù)異常檢測算法
    3.1 引言
    3.2 異常檢測問題描述與建模
    3.3 分類型數(shù)據(jù)ODT異常檢測算法設計
        3.3.1 ODT算法思路
        3.3.2 傳統(tǒng)的熵差算法存在的問題
        3.3.3 改進的熵差算法
        3.3.4 ODT算法設計
        3.3.5 可行性分析
    3.4 分類型數(shù)據(jù)ODF異常檢測算法設計
        3.4.1 ODF算法思路
        3.4.2 ODF算法設計
    3.5 分類型數(shù)據(jù)FAST-ODT異常檢測算法設計
        3.5.1 ODF算法的改進方向
        3.5.2 FAST-ODT算法設計
    3.6 本章小結(jié)
第4章 實驗方案與性能分析
    4.1 引言
    4.2 實驗介紹
    4.3 ODF算法效果分析
        4.3.1 準確性分析
        4.3.2 時間分析
        4.3.3 參數(shù)分析
    4.4 FAST-ODT算法效果分析
        4.4.1 準確性分析
        4.4.2 時間分析
    4.5 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表的論文及其他成果
致謝


【參考文獻】：
期刊論文
[1]基于深度學習的時間序列數(shù)據(jù)異常檢測方法[J]. 胡姣姣,王曉峰,張萌,張德鵬,胡紹林.  信息與控制. 2019(01)
[2]基于改進聚類算法的衛(wèi)星數(shù)據(jù)異常檢測模型[J]. 潘志安,劉慶杰,王小英,孫曉葉.  科技通報. 2018(07)
[3]大數(shù)據(jù)環(huán)境下的網(wǎng)絡流量異常檢測研究[J]. 蒲曉川.  現(xiàn)代電子技術(shù). 2018(03)



本文編號：2977416