隨著互聯(lián)網(wǎng)與信息技術(shù)的不斷發(fā)展，信息系統(tǒng)規(guī)模變得越來越龐大，如何對系統(tǒng)運行時的性能、業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)負載等情況進行監(jiān)控分析成為了當前迫切需要解決的問題。而計算機日志作為系統(tǒng)的真實寫照，記錄了系統(tǒng)運行過程中發(fā)生的各種事件以及其對應的時間和產(chǎn)生的結(jié)果，因此，通過對日志進行分析，可以挖掘日志中蘊含的關(guān)鍵信息，為用戶提供各方面的數(shù)據(jù)服務(wù)。 日志分析系統(tǒng)作為日志分析的一整套解決方案由多臺服務(wù)器構(gòu)成，通過網(wǎng)絡(luò)的協(xié)調(diào)同步共同完成日志分析。其面向海量的日志信息，通過實時的對日志進行分析為用戶提供服務(wù)。日志分析系統(tǒng)周期性的產(chǎn)生眾多日志分析任務(wù)，它們在系統(tǒng)的調(diào)度下分派到適合的計算節(jié)點執(zhí)行。日志分析任務(wù)具有計算量大、時效性強、準確性高等特點，其性能決定著整個系統(tǒng)的成敗。 本文通過日志分析系統(tǒng)的模塊結(jié)構(gòu)介紹，明確了任務(wù)調(diào)度模塊在整個系統(tǒng)中的核心作用，并提出完成一個高效任務(wù)調(diào)度模塊需要實現(xiàn)的目標。本文從任務(wù)調(diào)度理論與作者親身參與開發(fā)的一款日志分析系統(tǒng)出發(fā)，總結(jié)了現(xiàn)階段系統(tǒng)任務(wù)調(diào)度模塊存在的缺陷，并在此基礎(chǔ)上提出一種改進型的日志分析系統(tǒng)任務(wù)調(diào)度方案。方案分別從架構(gòu)和算法兩方面展開設(shè)計，其中架構(gòu)方面借鑒集中式調(diào)度思想...

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 日志分析系統(tǒng)任務(wù)調(diào)度概述
        1.2.1 日志分析任務(wù)概述
        1.2.2 任務(wù)調(diào)度模塊的地位
        1.2.3 日志分析系統(tǒng)任務(wù)調(diào)度目標
    1.3 研究現(xiàn)狀
        1.3.1 任務(wù)調(diào)度架構(gòu)
        1.3.2 任務(wù)調(diào)度算法
        1.3.3 日志分析系統(tǒng)的任務(wù)調(diào)度
    1.4 研究內(nèi)容與意義
    1.5 論文的結(jié)構(gòu)安排
第二章 相關(guān)理論介紹
    2.1 任務(wù)調(diào)度理論概述
        2.1.1 任務(wù)調(diào)度目標
        2.1.2 任務(wù)調(diào)度標準過程
        2.1.3 任務(wù)調(diào)度分類
    2.2 蟻群算法介紹
        2.2.1 蟻群算法概述
        2.2.2 蟻群算法規(guī)則
        2.2.3 蟻群算法思想
        2.2.4 蟻群算法在 TSP 問題中的應用
    2.3 其他相關(guān)技術(shù)介紹
        2.3.1 Master-Slave 結(jié)構(gòu)
        2.3.2 Zookeeper
        2.3.3 MINA 通訊框架
    2.4 本章小結(jié)
第三章 日志分析系統(tǒng)任務(wù)調(diào)度設(shè)計
    3.1 設(shè)計改進方向
    3.2 架構(gòu)設(shè)計方案
        3.2.1 任務(wù)收集器（Collector）
        3.2.2 調(diào)度器（Master）
        3.2.3 計算節(jié)點（Slave）
        3.2.4 集群管理（Zookeeper）
    3.3 算法設(shè)計方案
        3.3.1 蟻群算法的改進
        3.3.2 數(shù)學模型的改進
    3.4 調(diào)度執(zhí)行流程
    3.5 任務(wù)調(diào)度方案特點與優(yōu)勢
    3.6 本章小結(jié)
第四章 任務(wù)調(diào)度實現(xiàn)與性能測評
    4.1 節(jié)點間通信實現(xiàn)
    4.2 調(diào)度架構(gòu)實現(xiàn)
    4.3 調(diào)度算法實現(xiàn)
    4.4 性能測評
第五章 總結(jié)與展望
參考文獻
致謝
在學期間的研究成果及發(fā)表的學術(shù)論文
附錄： 任務(wù)調(diào)度運行截圖



本文編號：3802221