隨著信息技術的不斷發(fā)展,計算機為人們帶來便利的同時,來自外部的網(wǎng)絡攻擊以及內(nèi)部的異常事件也層出不窮,給安全異常的發(fā)現(xiàn)和檢測帶來嚴峻的挑戰(zhàn)。傳統(tǒng)的異常檢測技術基于規(guī)則庫對異常事件進行攔截。這種硬編碼的技術缺乏對不斷出現(xiàn)的新型安全異常的適應性,需要通過定期更新規(guī)則庫的方式對系統(tǒng)進行升級。針對上述問題,本文設計一個基于機器學習的安全異常發(fā)現(xiàn)系統(tǒng)。檢測進出系統(tǒng)的網(wǎng)絡流量數(shù)據(jù),利用機器學習模型進行安全異常的發(fā)現(xiàn)。由于如目錄穿越攻擊等多種網(wǎng)絡攻擊直接體現(xiàn)在URL上。故本系統(tǒng)針對的主要場景是異常訪問URL檢測。在模型構(gòu)建上,通過分析歷史訪問數(shù)據(jù)構(gòu)建機器學習模型,采用TF-IDF提取并構(gòu)建特征,并結(jié)合使用深度自編碼器和K-means進行特征降維,顯著提升了模型檢測的精度和時間效率。在系統(tǒng)構(gòu)建上,將檢測系統(tǒng)拆分為多個微服務,微服務之間采用消息隊列進行協(xié)同,降低了處理過程中的各個關鍵節(jié)點之間的耦合,使系統(tǒng)可以快速方便地擴展到其他異常檢測場景。檢測過程中產(chǎn)生的新數(shù)據(jù)可用于模型的迭代升級,使系統(tǒng)具有較好的適應性。此外,系統(tǒng)提供友好的人機交互界面,使用戶可以方便地了解系統(tǒng)運行狀況,參與異常判別過程。本文首先介紹... 

【文章頁數(shù)】：102 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 研究內(nèi)容
    1.3 文章結(jié)構(gòu)安排
    1.4 本章小結(jié)
第二章 相關技術概述
    2.1 機器學習
        2.1.1 機器學習概述
        2.1.2 基于機器學習的異常檢測
        2.1.3 網(wǎng)絡異常檢測模型原理
    2.2 TF-IDF
    2.3 特征降維
        2.3.1 深度自編碼器
        2.3.2 K-means
    2.4 微服務
        2.4.1 微服務的特點
        2.4.2 SpringCloud
    2.5 消息隊列
        2.5.1 消息隊列簡介
        2.5.2 應用場景
    2.6 Redis
    2.7 本章小結(jié)
第三章 需求分析
    3.1 功能性需求
        3.1.1 用戶管理
        3.1.2 日志管理
        3.1.3 流量監(jiān)控
        3.1.4 統(tǒng)計信息管理
    3.2 非功能性需求
        3.2.1 可擴展性
        3.2.2 高可靠性
    3.3 本章小結(jié)
第四章 系統(tǒng)設計與實現(xiàn)
    4.1 系統(tǒng)總體設計
        4.1.1 系統(tǒng)邏輯架構(gòu)
        4.1.2 服務間交互
        4.1.3 系統(tǒng)處理時序
        4.1.4 系統(tǒng)數(shù)據(jù)流
    4.2 數(shù)據(jù)接入服務
        4.2.1 通用數(shù)據(jù)源接口和通用數(shù)據(jù)單元
        4.2.2 數(shù)據(jù)接入服務工作流程
    4.3 模式匹配服務
        4.3.1 設計目的
        4.3.2 模式來源
        4.3.3 模式庫設計
        4.3.4 模式淘汰算法
    4.4 機器學習判別服務
        4.4.1 工作過程概述
        4.4.2 本地進程交互
    4.5 中控服務
        4.5.1 主要功能
        4.5.2 數(shù)據(jù)庫設計和前后臺交互
        4.5.3 阻塞策略和分級消息隊列
    4.6 規(guī)則庫和機器學習檢測方法結(jié)合策略
    4.7 本章小結(jié)
第五章 異常檢測算法設計
    5.1 數(shù)據(jù)預處理技術
        5.1.1 特征提取
        5.1.2 特征降維
    5.2 實驗結(jié)果
        5.2.1 數(shù)據(jù)集說明
        5.2.2 實驗結(jié)果及分析
    5.3 本章小結(jié)
第六章 系統(tǒng)測試
    6.1 測試環(huán)境
        6.1.1 硬件環(huán)境
        6.1.2 軟件環(huán)境
    6.2 系統(tǒng)部署
    6.3 功能測試
        6.3.1 測試用例
        6.3.2 測試結(jié)果展示
        6.3.3 功能測試總結(jié)
    6.4 性能測試
        6.4.1 啟動時間和負載情況測試
        6.4.2 主要功能的壓力測試
        6.4.3 性能測試總結(jié)
    6.5 模式匹配服務效果測試
        6.5.1 測試設計
        6.5.2 測試結(jié)果
        6.5.3 模式匹配服務效果測試總結(jié)
    6.6 系統(tǒng)可復用性測試
        6.6.1 KDD99場景介紹
        6.6.2 系統(tǒng)變更
        6.6.3 系統(tǒng)可復用性測試總結(jié)
    6.7 本章小結(jié)
第七章 總結(jié)和展望
    7.1 工作總結(jié)
    7.2 未來展望
參考文獻
致謝
作者攻讀學位期間發(fā)表的學術論文目錄


【參考文獻】：
碩士論文
[1]基于日志數(shù)據(jù)的流程推薦服務系統(tǒng)[D]. 劉倩嵐.北京郵電大學 2018



本文編號：3718546