基于策略樹規(guī)則的日志智能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
本文關(guān)鍵詞: 策略樹 規(guī)則 問題排查 日志分析 集群 出處:《華中科技大學(xué)》2016年碩士論文 論文類型:學(xué)位論文
【摘要】:如今,建立在多服務(wù)器集群上的后臺系統(tǒng)日益龐大,復(fù)雜多樣化的業(yè)務(wù)、億級的請求數(shù)據(jù),使得后臺系統(tǒng)日志分析的難度不斷增大、效率逐步降低?焖偎阉鞯疥P(guān)鍵信息,準(zhǔn)確定位相應(yīng)問題,已經(jīng)成為各類后臺系統(tǒng)業(yè)務(wù)人員、開發(fā)人員和管理人員的迫切需求。為了滿足各方對業(yè)務(wù)數(shù)據(jù)、故障信息篩選的高要求,智能分析系統(tǒng)應(yīng)運(yùn)而生,它能夠?qū)崿F(xiàn)基于關(guān)鍵字的信息采集匯總,解析詳細(xì)錯誤消息,達(dá)到問題排查的目的。為了實(shí)現(xiàn)一個(gè)高效率的智能分析系統(tǒng),主要工作有下面幾個(gè)方面:通過業(yè)務(wù)單據(jù)號和執(zhí)行環(huán)境,實(shí)現(xiàn)基于業(yè)務(wù)的日志搜索和指定系統(tǒng)的問題排查;對排查搜索結(jié)果進(jìn)行優(yōu)化緩存管理;對業(yè)務(wù)制定相應(yīng)的策略,策略由若干規(guī)則組成,以樹形結(jié)構(gòu)呈現(xiàn),并進(jìn)行管理;借助策略樹,形成問題排查的行為模式,根據(jù)用戶輸入條件,自動匹配執(zhí)行相應(yīng)的策略;定時(shí)匯總環(huán)境大盤監(jiān)控記錄;方便快捷自動訪問業(yè)務(wù)運(yùn)行的服務(wù)器集群,并獲得數(shù)據(jù)。它是一個(gè)輕量級的web系統(tǒng),有強(qiáng)大的后臺查詢分析功能。策略樹中每個(gè)節(jié)點(diǎn)的規(guī)則都包含判斷和動作兩大類屬性。判斷表明是否執(zhí)行該規(guī)則,動作表明該規(guī)則應(yīng)當(dāng)執(zhí)行的操作。日志分析的過程即為策略樹中從根節(jié)點(diǎn)開始執(zhí)行動作的過程。目前,智能分析系統(tǒng)的功能均已全部實(shí)現(xiàn)。經(jīng)過反復(fù)測試,系統(tǒng)能夠正常運(yùn)行,界面友好,用戶可以簡單快速的使用系統(tǒng)的所有功能。實(shí)踐表明,系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)是真實(shí)可靠的。
[Abstract]:Nowadays, the background system built on the multi-server cluster is increasingly large, complex and diversified business, multi-level request data, making the background system log analysis increasingly difficult. Efficiency gradually decreased. Quickly search key information, accurately locate the corresponding problems, has become the urgent needs of all kinds of back-end system business personnel, developers and managers. In order to meet the needs of all parties to the business data. Because of the high requirement of fault information screening, intelligent analysis system emerges as the times require. It can collect and aggregate information based on keywords and analyze detailed error messages. In order to realize an efficient intelligent analysis system, the main work includes the following aspects: business document number and execution environment. Implementation of business-based log search and designated system problem checking; Optimize cache management for search search results; Make the corresponding strategy to the business, the strategy consists of a number of rules, presented as a tree structure, and managed; With the help of the strategy tree, the behavior pattern of problem checking is formed, and the corresponding strategy is automatically matched according to the user input condition. Time summary of environmental monitoring records; It is a lightweight web system that automatically accesses the server cluster and gets the data. The rule of each node in the policy tree contains two kinds of attributes: judgment and action. It indicates whether the rule is executed or not. The process of log analysis is the process of executing the action from the root node in the policy tree. At present, all the functions of the intelligent analysis system have been realized and tested repeatedly. The system can run normally, the interface is friendly, and the user can use all the functions of the system simply and quickly. The practice shows that the design and implementation of the system is true and reliable.
【學(xué)位授予單位】:華中科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2016
【分類號】:TP311.52
【參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 魏利軍;方來華;;基于移動互聯(lián)網(wǎng)及云服務(wù)的安監(jiān)執(zhí)法與隱患排查系統(tǒng)研究[J];中國安全生產(chǎn)科學(xué)技術(shù);2014年S1期
2 張川;鄧珍榮;鄧星;黃文明;;基于Chukwa的大規(guī)模日志智能監(jiān)測收集方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年09期
3 白超;楊靜;吳建國;;基于并行計(jì)算的海量日志分析系統(tǒng)實(shí)現(xiàn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年07期
4 湛文紅;;數(shù)據(jù)倉庫與數(shù)據(jù)挖掘?qū)嵗治鯷J];軟件導(dǎo)刊;2013年02期
5 張素琪;梁志剛;胡利娟;董永峰;;改進(jìn)的多維關(guān)聯(lián)規(guī)則算法研究及應(yīng)用[J];計(jì)算機(jī)工程與科學(xué);2012年09期
6 石寧琛;;一種樹形目錄繼承權(quán)限功能的數(shù)據(jù)模型[J];企業(yè)科技與發(fā)展;2012年14期
7 肖豐佳;李立新;;軟件測試技術(shù)研究[J];工業(yè)控制計(jì)算機(jī);2012年01期
8 周艷;劉杰;孫可;;基于決策屬性挑選策略的改進(jìn)的決策樹算法[J];沈陽師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年01期
9 李留高;;分布式數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)一致性研究[J];計(jì)算機(jī)應(yīng)用與軟件;2010年10期
10 王曉燕;劉淑芬;張俊;;一種基于領(lǐng)域模型和構(gòu)件組合的軟件開發(fā)框架[J];電子學(xué)報(bào);2009年03期
相關(guān)博士學(xué)位論文 前1條
1 王意潔;面向?qū)ο髷?shù)據(jù)庫的并行查詢處理與事務(wù)管理[D];國防科技大學(xué);1998年
相關(guān)碩士學(xué)位論文 前9條
1 辛林旗;國際支付寶商戶收單服務(wù)系統(tǒng)核心模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];中山大學(xué);2014年
2 陳凌陽;可伸縮web架構(gòu)中的并發(fā)編程模式[D];北京郵電大學(xué);2014年
3 謝瑞蓮;分布式搜索引擎中緩存系統(tǒng)的研究與實(shí)現(xiàn)[D];西北大學(xué);2009年
4 楊開杰;基于池化技術(shù)的分布式數(shù)據(jù)緩存模型研究與實(shí)現(xiàn)[D];蘇州大學(xué);2009年
5 楊普;基于多層開發(fā)架構(gòu)下的工作流引擎在協(xié)同軟件中的設(shè)計(jì)與實(shí)現(xiàn)[D];成都理工大學(xué);2009年
6 林俊宇;基于XML的多源日志安全信息集成分析研究[D];哈爾濱工程大學(xué);2009年
7 馮亞;數(shù)據(jù)挖掘中決策樹分類算法研究與應(yīng)用[D];西北大學(xué);2007年
8 王建偉;基于Web Services的SOA架構(gòu)設(shè)計(jì)方法的研究[D];大連海事大學(xué);2006年
9 張鵬;交通事故黑點(diǎn)智能排查系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2005年
,本文編號:1474948
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/1474948.html