隨著互聯(lián)網與信息技術的不斷發(fā)展，信息系統(tǒng)規(guī)模變得越來越龐大，如何對系統(tǒng)運行時的性能、業(yè)務數據、網絡負載等情況進行監(jiān)控分析成為了當前迫切需要解決的問題。而計算機日志作為系統(tǒng)的真實寫照，記錄了系統(tǒng)運行過程中發(fā)生的各種事件以及其對應的時間和產生的結果，因此，通過對日志進行分析，可以挖掘日志中蘊含的關鍵信息，為用戶提供各方面的數據服務。 日志分析系統(tǒng)作為日志分析的一整套解決方案由多臺服務器構成，通過網絡的協(xié)調同步共同完成日志分析。其面向海量的日志信息，通過實時的對日志進行分析為用戶提供服務。日志分析系統(tǒng)周期性的產生眾多日志分析任務，它們在系統(tǒng)的調度下分派到適合的計算節(jié)點執(zhí)行。日志分析任務具有計算量大、時效性強、準確性高等特點，其性能決定著整個系統(tǒng)的成敗。 本文通過日志分析系統(tǒng)的模塊結構介紹，明確了任務調度模塊在整個系統(tǒng)中的核心作用，并提出完成一個高效任務調度模塊需要實現的目標。本文從任務調度理論與作者親身參與開發(fā)的一款日志分析系統(tǒng)出發(fā)，總結了現階段系統(tǒng)任務調度模塊存在的缺陷，并在此基礎上提出一種改進型的日志分析系統(tǒng)任務調度方案。方案分別從架構和算法兩方面展開設計，其中架構方面借鑒集中式調度思想...

【文章頁數】：65 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 日志分析系統(tǒng)任務調度概述
        1.2.1 日志分析任務概述
        1.2.2 任務調度模塊的地位
        1.2.3 日志分析系統(tǒng)任務調度目標
    1.3 研究現狀
        1.3.1 任務調度架構
        1.3.2 任務調度算法
        1.3.3 日志分析系統(tǒng)的任務調度
    1.4 研究內容與意義
    1.5 論文的結構安排
第二章 相關理論介紹
    2.1 任務調度理論概述
        2.1.1 任務調度目標
        2.1.2 任務調度標準過程
        2.1.3 任務調度分類
    2.2 蟻群算法介紹
        2.2.1 蟻群算法概述
        2.2.2 蟻群算法規(guī)則
        2.2.3 蟻群算法思想
        2.2.4 蟻群算法在 TSP 問題中的應用
    2.3 其他相關技術介紹
        2.3.1 Master-Slave 結構
        2.3.2 Zookeeper
        2.3.3 MINA 通訊框架
    2.4 本章小結
第三章 日志分析系統(tǒng)任務調度設計
    3.1 設計改進方向
    3.2 架構設計方案
        3.2.1 任務收集器（Collector）
        3.2.2 調度器（Master）
        3.2.3 計算節(jié)點（Slave）
        3.2.4 集群管理（Zookeeper）
    3.3 算法設計方案
        3.3.1 蟻群算法的改進
        3.3.2 數學模型的改進
    3.4 調度執(zhí)行流程
    3.5 任務調度方案特點與優(yōu)勢
    3.6 本章小結
第四章 任務調度實現與性能測評
    4.1 節(jié)點間通信實現
    4.2 調度架構實現
    4.3 調度算法實現
    4.4 性能測評
第五章 總結與展望
參考文獻
致謝
在學期間的研究成果及發(fā)表的學術論文
附錄： 任務調度運行截圖



本文編號：3802221