本文選題：分布式計算 + 分布式文件系統(tǒng)　； 參考：《安徽大學(xué)》2013年碩士論文

【摘要】：日志是關(guān)于系統(tǒng)或者軟件狀態(tài)的相關(guān)記錄,使用日志文件可以幫助用戶更好的了解系統(tǒng)及軟件當前的運行狀態(tài)。日志文件通過記錄程序在運行的狀態(tài),便于在部署之后進行系統(tǒng)安全的維護、系統(tǒng)性能的優(yōu)化、系統(tǒng)故障的排查。傳統(tǒng)的日志工具在技術(shù)方面存在諸多缺陷,處理效率低下,無法滿足日益增長的海量數(shù)據(jù)。基于并行計算的海量日志分析系統(tǒng)應(yīng)運而生,在深入研究不同類型日志文件特點的基礎(chǔ)上,設(shè)計并實現(xiàn)了一個基于并行計算,分布式存儲,實時和非實時分析的海量日志文件分析系統(tǒng),具有較高的研究價值。 本文首先對國內(nèi)外在海量日志研究領(lǐng)域的研究情況和發(fā)展趨勢做了充分的調(diào)研和分析,在此基礎(chǔ)上提出了一個基于并行計算技術(shù)的海量日志文件解決方案模型。該模型采用集群方式并行的收集日志、分布式文件系統(tǒng)進行存儲、并行計算MapReduce模型針對日志進行非實時處理、ElasticSearch模型針對日志文件進行實時檢索,實現(xiàn)了日志采集,分析的完全自動化處理,有效的解決了傳統(tǒng)方式下日志文件處理過程中存在的問題。系統(tǒng)基于Hadoop海量數(shù)據(jù)的處理模型,針對自身業(yè)務(wù)即網(wǎng)絡(luò)會議系統(tǒng)的需求進行設(shè)計,搭建了通用的系統(tǒng)框架,同時系統(tǒng)對外提供的服務(wù)調(diào)用,彌補了傳統(tǒng)日志分析技術(shù)上的缺陷,用戶可以針對自身的需求進行二次開發(fā),具有很大的靈活性,進一步貼近了實際的應(yīng)用場景。 基于并行計算的海量日志分析系統(tǒng)有效解決了海量日志數(shù)據(jù)處理過程中存在的主要問題,結(jié)合并行計算模型有效的提高了日志分析的效率,在當前數(shù)據(jù)量的爆炸式增長的大環(huán)境下具有很強的現(xiàn)實意義和應(yīng)用價值。
[Abstract]:Log is a record of system or software status. The use of log files can help users better understand the current state of the system and software. The log file records the running state of the program, which is convenient for system security maintenance, system performance optimization and system fault checking after deployment. The traditional logging tools have many technical defects, and the processing efficiency is low, which can not meet the increasing amount of data. The massive log analysis system based on parallel computing emerges as the times require. On the basis of deeply studying the characteristics of different types of log files, a distributed storage system based on parallel computing is designed and implemented. Real-time and non-real-time analysis of massive log file analysis system has high research value. Firstly, this paper makes a full investigation and analysis of the research situation and development trend in the field of mass log research at home and abroad, and then puts forward a solution model of massive log file based on parallel computing technology. This model uses the cluster mode to collect logs in parallel, distributed file system to store, parallel computing MapReduce model to carry out non-real-time processing of logs Elastic search model for log files real-time retrieval, achieve log collection. The fully automated processing of analysis effectively solves the problems existing in the process of log file processing in the traditional way. The system is based on the processing model of Hadoop magnanimity data, aiming at the demand of its own business, that is, the network conference system, and builds a general system framework, and at the same time, the system provides the service call to the outside, which makes up for the shortcomings of the traditional log analysis technology. Users can develop second time according to their own needs, which has great flexibility and closer to the actual application scenario. The magnanimous log analysis system based on parallel computing effectively solves the main problems in the process of processing massive log data, and improves the efficiency of log analysis effectively by combining the parallel computing model. It has strong practical significance and application value under the circumstance of explosive growth of data volume.
【學(xué)位授予單位】：安徽大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP338.6

【參考文獻】

相關(guān)期刊論文 前9條

1 李呈棟;戴躍發(fā);王偉;吳波;;Hadoop框架下的容災(zāi)系統(tǒng)研究[J];電腦知識與技術(shù);2009年28期

2 胡光民;周亮;柯立新;;基于Hadoop的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J];電腦知識與技術(shù);2010年22期

3 宋擒豹,沈鈞毅;Web日志的高效多能挖掘算法[J];計算機研究與發(fā)展;2001年03期

4 李燕;馮博琴;魯曉鋒;;Web日志挖掘中的數(shù)據(jù)預(yù)處理技術(shù)[J];計算機工程;2009年22期

5 王潤華;;基于Hadoop集群的分布式日志分析系統(tǒng)研究[J];科技信息;2009年15期

6 趙瑞峰;湯曉安;干哲;;基于集群技術(shù)的海量數(shù)據(jù)存儲技術(shù)研究[J];微計算機信息;2010年16期

7 潘登,董小社,楊麥順,馮銳,張曉亮;從Web數(shù)據(jù)中挖掘頻繁訪問模式[J];西安交通大學(xué)學(xué)報;2002年06期

8 曹風兵;吳開貴;吳長澤;;基于Hadoop的校園云計算系統(tǒng)[J];計算機系統(tǒng)應(yīng)用;2011年06期

9 楊學(xué)俊;;云計算——計算機技術(shù)發(fā)展的新方向[J];科技資訊;2011年25期

相關(guān)碩士學(xué)位論文 前2條

1 王凱;MapReduce集群多用戶作業(yè)調(diào)度方法的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

2 高勛;基于云計算的Web結(jié)構(gòu)挖掘算法研究[D];北京交通大學(xué);2010年

，

本文編號：1807470