由于大數(shù)據(jù)與云集群計算技術(shù)的不斷發(fā)展,用戶能在越來越多的使用場景中享受云集群技術(shù)帶來的便捷高效。近年來,云集群作業(yè)及其計算過程造成的數(shù)據(jù)安全事故頻發(fā),引發(fā)行業(yè)對集群作業(yè)本身以及作業(yè)計算過程的安全性的關注。因此,集群環(huán)境下高效的異常作業(yè)預測方法的研究已經(jīng)成為熱點。本文從作業(yè)子任務角度考慮作業(yè)異常,首先敘述集群環(huán)境下異常作業(yè)預測方法的基礎理論,并分析現(xiàn)有異常作業(yè)預測方法的不足;之后闡述并說明集群作業(yè)處理機制及作業(yè)運行狀態(tài)與其狀態(tài)相關性;敘述作業(yè)子任務運行的不同階段預測方法技術(shù)中的支持向量機(support vector machine,SVM)模型預測原理并分析門控遞歸單元(gated recurrent unit,GRU)神經(jīng)網(wǎng)絡預測作業(yè)時的優(yōu)缺點。其次,針對現(xiàn)有集群環(huán)境下異常作業(yè)在線預測方法預測效率低、預測時間長且未考慮作業(yè)相關性等問題,設計一種基于改進門控遞歸單元神經(jīng)網(wǎng)絡的集群異常作業(yè)在線預測方法(online cluster anomaly job prediction method based on improved gated recurrent unit neural net...

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 作業(yè)離線預測方法
        1.2.2 作業(yè)在線預測方法
    1.3 論文研究內(nèi)容
    1.4 論文結(jié)構(gòu)安排
    1.5 總結(jié)
第二章 基礎理論及方法分析
    2.1 集群作業(yè)處理機制分析
        2.1.1 Map/Reduce基本原理
        2.1.2 集群作業(yè)處理過程
    2.2 集群作業(yè)狀態(tài)與狀態(tài)相關性分析
        2.2.1 集群作業(yè)狀態(tài)分析
        2.2.2 集群作業(yè)狀態(tài)相關性分析
    2.3 異常作業(yè)預測方法技術(shù)分析
        2.3.1 支持向量機分類原理
        2.3.2 門控遞歸單元神經(jīng)網(wǎng)絡分析
    2.4 本章小結(jié)
第三章 集群異常作業(yè)在線預測方法
    3.1 基本定義
    3.2 研究思路及目標
    3.3 集群異常作業(yè)在線預測方法
        3.3.1 作業(yè)子任務動態(tài)特征
        3.3.2 改進門控遞歸單元神經(jīng)網(wǎng)絡
        3.3.3 改進GRU任務在線預測過程
        3.3.4 基于IGRU的集群異常作業(yè)在線預測方法
    3.4 實驗過程與結(jié)果分析
        3.4.1 實驗環(huán)境搭建及數(shù)據(jù)集說明
        3.4.2 預測性能評價指標
        3.4.3 方法訓練
        3.4.4 實驗過程
        3.4.5 方法預測靈敏度結(jié)果及分析
        3.4.6 方法預測誤差率結(jié)果及分析
        3.4.7 方法預測精確度結(jié)果及分析
        3.4.8 方法預測時長結(jié)果及分析
    3.5 本章小結(jié)
第四章 集群異常作業(yè)分段預測方法
    4.1 研究思路及目標
    4.2 預測方法過程設計
        4.2.1 作業(yè)子任務靜態(tài)特征
        4.2.2 集群異常作業(yè)離線預測階段
        4.2.3 分段集群異常作業(yè)預測方法
    4.3 實驗結(jié)果與分析
        4.3.1 實驗過程
        4.3.2 方法預測靈敏度結(jié)果及分析
        4.3.3 方法預測誤差率結(jié)果及分析
        4.3.4 方法預測精確度結(jié)果及分析
        4.3.5 方法預測時長結(jié)果及分析
    4.4 本章小結(jié)
第五章 總結(jié)與展望
    5.1 論文工作總結(jié)
    5.2 后續(xù)工作展望
致謝
參考文獻
作者簡介



本文編號：4003730