本文關(guān)鍵詞：基于HADOOP架構(gòu)的社保項(xiàng)目網(wǎng)絡(luò)日志分析系統(tǒng)的研究

  更多相關(guān)文章： Hadoop 社保行業(yè)網(wǎng)絡(luò)系統(tǒng) syslog

【摘要】：社會(huì)保險(xiǎn)業(yè)務(wù)作為全國一項(xiàng)基本惠民國策,正在有序而實(shí)效的展開。隨著業(yè)務(wù)系統(tǒng)的不斷增加,系統(tǒng)需要管理的設(shè)備也不斷增加,硬件系統(tǒng)故障也越來越多。查看網(wǎng)絡(luò)日志作為一個(gè)基本手段,是查看、解決系統(tǒng)故障的重要措施,也是監(jiān)控系統(tǒng)運(yùn)行狀態(tài)的重要方法。但目前日志信息數(shù)據(jù)量大,難以理解,對(duì)系統(tǒng)管理員來說手工查看記錄日志來說,不僅數(shù)據(jù)量太大的問題難以解決,更會(huì)直接導(dǎo)致對(duì)系統(tǒng)日志中的有用信息難以發(fā)現(xiàn)。 本文使用Hadoop分布式計(jì)算框架來解決這個(gè)問題,利用使用系統(tǒng)自帶的syslog日志進(jìn)行收集、整理工作。細(xì)致對(duì)Hadoop分布式框架進(jìn)行分析,對(duì)原有系統(tǒng)syslog文件傳輸進(jìn)行分析,在此基礎(chǔ)上對(duì)原有分布在在各地需要的主機(jī)快速有效的收集日志,設(shè)計(jì)并實(shí)現(xiàn)一套基于Hadoop的社保網(wǎng)絡(luò)日志分析系統(tǒng),實(shí)現(xiàn)原有syslog日志文件整理、分析。 本文綜合考慮到目前社保網(wǎng)絡(luò)中的日志特點(diǎn),使用Hadoop的HDFS分布式文件系統(tǒng)進(jìn)行搭建環(huán)境,為原系統(tǒng)提供有效、實(shí)用、快速的分析結(jié)果,使用戶對(duì)整體網(wǎng)絡(luò)系統(tǒng)做到心中有數(shù),使整體系統(tǒng)滿足社保行業(yè)發(fā)展需要,同時(shí)也驗(yàn)證基于hadoop框架結(jié)構(gòu)的網(wǎng)絡(luò)日志分析系統(tǒng)是有效而實(shí)用的。
【關(guān)鍵詞】：Hadoop 社保行業(yè)網(wǎng)絡(luò)系統(tǒng) syslog
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP311.52
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-12
• 1.1 研究背景及意義8-10
• 1.2 研究現(xiàn)狀和發(fā)展10
• 1.3 研究內(nèi)容和組織10-12
• 第二章 hadoop 架構(gòu)基本原理及相關(guān)技術(shù)12-15
• 2.1 Hadoop 架構(gòu)概述12
• 2.2 hadoop 架構(gòu)設(shè)計(jì)原則12
• 2.3 hadoop 架構(gòu)實(shí)現(xiàn)技術(shù)12-15
• 2.3.1 Mapreduce12-13
• 2.3.2 HDFS13-14
• 2.3.3 Syslog 文件14-15
• 第三章 網(wǎng)絡(luò)日志管理系統(tǒng)簡介15-21
• 3.1 日志管理系統(tǒng)發(fā)展15-16
• 3.2 系統(tǒng)整體解決方案16-20
• 3.2.1 整體框架簡介16-17
• 3.2.2 J2EE 架構(gòu)設(shè)計(jì)17-18
• 3.2.3 MVC 模式18-20
• 3.3 本章小結(jié)20-21
• 第四章 網(wǎng)絡(luò)日志管理系統(tǒng)需求分析21-28
• 4.1 社保系統(tǒng)網(wǎng)絡(luò)需求分析21-22
• 4.2 網(wǎng)絡(luò)日志系統(tǒng)功能分析22
• 4.3 系統(tǒng)流程分析22-24
• 4.3.1 數(shù)據(jù)流模塊描述23
• 4.3.2 數(shù)據(jù)流程圖展現(xiàn)23-24
• 4.4 系統(tǒng)用例圖24-26
• 4.4.1 系統(tǒng)整體用例圖24-25
• 4.4.2 系統(tǒng)管理員專用用例圖25-26
• 4.5 本章小結(jié)26-28
• 第五章 基于hadoop 系統(tǒng)框架設(shè)計(jì)28-32
• 5.1 Hadoop 系統(tǒng)框架硬件搭建設(shè)計(jì)28
• 5.2 Hadoop 框架下的系統(tǒng)模型設(shè)計(jì)28-30
• 5.2.1 HDFS 架構(gòu)系統(tǒng)實(shí)現(xiàn)29-30
• 5.2.2 文件系統(tǒng)運(yùn)行設(shè)計(jì)30
• 5.3 開發(fā)環(huán)境及工具30-31
• 5.4 本章小結(jié)31-32
• 第六章 網(wǎng)絡(luò)日志管理系統(tǒng)設(shè)計(jì)32-39
• 6.1 系統(tǒng)活動(dòng)圖32-33
• 6.2 系統(tǒng)時(shí)序圖33-34
• 6.3 系統(tǒng)分層設(shè)計(jì)34-35
• 6.4 系統(tǒng)功能描述35-37
• 6.5 性能要求37
• 6.6 數(shù)據(jù)處理37-38
• 6.7 其他要求38
• 6.8 本章小結(jié)38-39
• 第七章 網(wǎng)絡(luò)日志管理系統(tǒng)實(shí)現(xiàn)39-56
• 7.1 系統(tǒng)日志收集39-41
• 7.2 系統(tǒng)日志寫入41-43
• 7.3 日志分析功能實(shí)現(xiàn)43
• 7.4 日志分析系統(tǒng)規(guī)劃43-49
• 7.4.1 tail 命令實(shí)現(xiàn)44-46
• 7.4.2 find 命令實(shí)現(xiàn)46-49
• 7.5 系統(tǒng)運(yùn)行環(huán)境49-55
• 7.5.1 軟件環(huán)境49-50
• 7.5.2 硬件環(huán)境50-51
• 7.5.3 測(cè)試部署51-55
• 7.6 本章小結(jié)55-56
• 第八章 結(jié)論56-57
• 致謝57-58
• 參考文獻(xiàn)58-60

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李呈棟;戴躍發(fā);王偉;吳波;;Hadoop框架下的容災(zāi)系統(tǒng)研究[J];電腦知識(shí)與技術(shù);2009年28期

2 李朝銘;基于海量實(shí)時(shí)數(shù)據(jù)庫的HLR容災(zāi)解決方案[J];電信科學(xué);2003年02期

3 曾理;王以群;;Hadoop集群和單機(jī)數(shù)據(jù)處理的耗時(shí)對(duì)比實(shí)驗(yàn)[J];硅谷;2009年19期

4 孫牧;;云端的小飛象—Hadoop[J];程序員;2008年10期

5 郭欣;;使用Map/Reduce進(jìn)行并行計(jì)算[J];程序員;2009年10期

6 王峰;;Hadoop集群作業(yè)的調(diào)度算法[J];程序員;2009年12期

7 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

8 王潤華;;基于Hadoop集群的分布式日志分析系統(tǒng)研究[J];科技信息;2009年15期

9 季根生;;計(jì)算機(jī)系統(tǒng)日志自動(dòng)分析的實(shí)現(xiàn)[J];鐵路計(jì)算機(jī)應(yīng)用;2007年03期

10 多雪松;張晶;高強(qiáng);;基于Hadoop的海量數(shù)據(jù)管理系統(tǒng)[J];微計(jì)算機(jī)信息;2010年13期

，

本文編號(hào)：697989