本文選題：日志分析 + 儀表盤　； 參考：《北京交通大學》2017年碩士論文

【摘要】：隨著企業(yè)信息化的不斷發(fā)展,運行的信息系統不斷增加,大型企業(yè)內部部署的各種軟硬件資源不斷增加。在企業(yè)系統維護的過程中,數據處理的壓力會越來越大,系統維護的工作量和難度不斷增加。路由器,交換機,PC服務器,阿里云服務器,各種大型應用系統,數據庫等計算機網絡設備產生的網絡日志,系統日志,各種應用程序日志不斷增加。在日志分析方面,傳統的技術在處理大量復雜日志時就會出現非常大的計算瓶頸。日志,作為對系統應用,網絡設備,用戶操作的記錄工具,在保障系統安全性,排除系統故障,監(jiān)控系統和網絡運營情況等很多方面都起到舉足輕重的作用。通過日志分析可以總結查看出系統故障出處,用戶操作行為,設備運行狀態(tài)等很多信息。如通過查看用戶注冊登錄記錄,用戶事件記錄即可發(fā)現用戶是否為正常狀態(tài)。對網絡配置,設備參數,接口變動等行為的記錄分析,就能獲取網絡運行狀態(tài)的信息。如果能對實時產生的日志做到實時全量采集,就可以進行數據實時分析或設置數據告警來對系統運行狀態(tài)進行監(jiān)控。通過數據儀表盤展示分析結果,是企業(yè)極易接受的一種數據展現形式,更能清晰的體現出數據的價值。本文所描述的項目是作者在北京久其智通數據科技有限公司實習過程中參與設計開發(fā)的實際項目。本人在項目中參與了系統需求分析,設計開發(fā)及測試部署的整個過程,主要包括系統前期需求調研,日志數據接入系統、日志檢索、可視化儀表盤和告警共四個模塊的設計,以及除了日志檢索模塊之外的開發(fā)工作。實現了對接入到系統的日志數據實時采集,實時檢索,定時監(jiān)控告警,日志分析結果可視化等功能。本論文首先根據實際業(yè)務需求對系統進行需求分析,確定了系統的功能需求和非功能需求。在此基礎上完成系統的概要設計,使用阿里云服務器作為開發(fā)的測試環(huán)境,并將系統分為檢索模塊,入數據到中間層模塊,中間層數據接入到ElasticSearch索引模塊,儀表盤模塊,告警模塊。完成數據庫設計后,在系統詳細設計與實現部分,對負責實現模塊進行功能描述和類設計,并對負責的重點功能的實現邏輯及實現過程中各方法的調用關系和實際運行效果進行了詳細的說明。系統上線后,針對接入系統的日志數據的實時快速檢索,大大提升了運維人員的工作效率,也節(jié)省了工作人員的時間成本。通過監(jiān)控告警和儀表盤的應用,使日志數據中蘊含的豐富資源得以展現,也大大提升了被監(jiān)控系統和設備的運行穩(wěn)定性,能夠對系統中出現的問題迅速定位。
[Abstract]:With the continuous development of enterprise information, the number of information systems is increasing, and the software and hardware resources deployed in large enterprises are increasing. In the process of enterprise system maintenance, the pressure of data processing will be more and more, and the workload and difficulty of system maintenance will increase. Routers, switches, PC servers, Ali Cloud servers, a variety of large application systems, databases and other computer network equipment generated network logs, system logs, various application logs continue to increase. In the aspect of log analysis, the traditional technology will have a very large computing bottleneck when dealing with a large number of complex logs. Log, as a recording tool for system application, network equipment and user operation, plays an important role in ensuring system security, troubleshooting system, monitoring system and network operation. Through log analysis, we can summarize and view a lot of information, such as system fault source, user operation behavior, equipment running state and so on. If you view the user login record, the user event record can find out whether the user is in normal state. The information of network running state can be obtained by analyzing the behavior of network configuration, device parameters, interface change and so on. If the log generated in real time can be collected in real time, the data can be analyzed in real time or alarm can be set to monitor the running state of the system. Display the analysis result through the data dashboard, is a kind of data display form that the enterprise is easy to accept, can manifest the value of the data more clearly. The project described in this paper is a practical project in which the author participated in the design and development of the intern in Beijing Jiuqi Zhitong data Technology Co., Ltd. In the project, I participated in the whole process of system requirement analysis, design, development and test deployment, mainly including the design of four modules: system pre-requirement investigation, log data access system, log retrieval, visual dashboard and alarm. In addition to log retrieval module and the development work. The functions of real-time log data acquisition, real-time retrieval, timing monitoring and alarm monitoring, and visualization of log analysis results are realized. In this paper, the functional and non-functional requirements of the system are determined by analyzing the requirements of the system according to the actual business requirements. On this basis, the outline design of the system is completed, and the system is divided into retrieval module, data into the middle layer module, middle layer data access to ElasticSearch index module, instrument board module, using Ali cloud server as the test environment. Alarm module. After the completion of database design, in the system detailed design and implementation part, responsible for the implementation module functional description and class design, The realization logic of the key functions and the relation between the methods in the process and the actual running effect are explained in detail. After the system goes online, the real-time and fast retrieval of log data for the access system can greatly improve the efficiency of the operation and maintenance personnel, and also save the staff time cost. Through the application of monitoring alarm and dashboard, the rich resources contained in log data can be displayed, and the stability of the monitored system and equipment can be greatly improved, and the problems in the system can be quickly located.
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.52

【參考文獻】

相關期刊論文 前10條

1 鄭幸源;洪親;蔡堅勇;陳順凡;柯俊敏;;基于AJAX異步傳輸技術與Echarts3技術的動態(tài)數據繪圖實現[J];軟件導刊;2017年03期

2 王仲生;;基于kafka消息隊列的文本處理技術研究[J];軟件導刊(教育技術);2016年12期

3 徐丹;萬娜;韓貞輝;韓艷杰;王斐斐;;地震應急數據公眾服務平臺設計[J];地震地磁觀測與研究;2016年05期

4 劉瑜君;李玉江;;論科技論文中的圖表編校[J];湖北師范學院學報(自然科學版);2016年03期

5 楊慶生;;傳輸網管告警短信提示系統研究[J];通訊世界;2016年11期

6 陳麗萍;李岑;;電子商務環(huán)境下數據安全性研究[J];電腦知識與技術;2015年18期

7 王震;陳亮;;基于Kafka消息隊列的電網設備準實時數據接入方法研究[J];山東電力技術;2015年06期

8 丁晶晶;張衛(wèi)明;翟雙燦;胡晨駿;龔慶悅;;利用Ajax技術異步處理web服務中JSON格式數據的傳遞[J];信息與電腦(理論版);2013年09期

9 郭海偉;;基于注解的Spring3 MVC程序開發(fā)[J];電腦編程技巧與維護;2013年15期

10 彭霞;朱萍;任永昌;;軟件詳細設計工具對比分析研究[J];計算機技術與發(fā)展;2013年03期

相關博士學位論文 前1條

1 曹琿;可信軟件安全性測評關鍵理論及技術研究[D];武漢大學;2012年

相關碩士學位論文 前4條

1 仇臣;Docker容器的性能監(jiān)控和日志服務的設計與實現[D];浙江大學;2016年

2 趙晉萍;基于LAMP框架的通用數據測試平臺的設計與實現[D];北京交通大學;2015年

3 劉響;廣域監(jiān)控系統功能測試平臺的設計與開發(fā)[D];南京理工大學;2009年

4 黃浪;企業(yè)級的B/S模式應用軟件非功能性需求分析與研究[D];廈門大學;2008年

，

本文編號：1912287