發(fā)布時間：2018-02-28 08:05

  本文關(guān)鍵詞： 大數(shù)據(jù) 日志分析 遠(yuǎn)程日志采集 分布式 數(shù)據(jù)挖掘　出處：《北京郵電大學(xué)》2014年碩士論文　論文類型：學(xué)位論文

【摘要】：近年來企業(yè)信息化程度越來越高,基于主機(jī)日志的入侵檢測分析成為企業(yè)安全問題檢查的重要手段之一,通過主機(jī)日志分析可以對企業(yè)的安全進(jìn)行及時監(jiān)控,發(fā)現(xiàn)違規(guī)操作,最大限度的減少企業(yè)安全隱患。然而隨著大數(shù)據(jù)時代的到來,如何有效的應(yīng)對海量的日志分析成為擺放到設(shè)計日志分析系統(tǒng)者的首要考慮問題。傳統(tǒng)的基于單節(jié)點的集中式的日志處理架構(gòu)設(shè)計方案由于日志的指數(shù)增長、動態(tài)變換、異構(gòu)的特點已經(jīng)很難滿足日志的分析的海量處理要求了。設(shè)計一個高效的、可擴(kuò)展的、實時的日志分析平臺,在企業(yè)發(fā)展中顯得尤為重要。 本課題主要基于這樣一個實際項目背景,在深入研究日志的特點與現(xiàn)有的分布式平臺的基礎(chǔ)上,設(shè)計與實現(xiàn)了一種基于海量日志分析的入侵檢測系統(tǒng)平臺。該平臺首先根據(jù)企業(yè)的實際需求出發(fā)采用了無agent方式收集日志。將企業(yè)客戶內(nèi)部的多個主機(jī)、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)當(dāng)做日志源通過關(guān)鍵字分析與關(guān)聯(lián)分析技術(shù)進(jìn)行分析,根據(jù)分析結(jié)果給出告警信息,產(chǎn)生安全事件工單供安全業(yè)務(wù)人員分析,并提供告警報表。 本文首先介紹了課題的研究背景與相關(guān)領(lǐng)域的發(fā)展趨勢,研究了基于主機(jī)入侵檢測系統(tǒng)相關(guān)技術(shù),其中重點研究了無agent遠(yuǎn)程采集技術(shù),其中包括常用的wmi、smb、ssh、telnet、syslog等技術(shù)。研究了數(shù)據(jù)挖掘在日志分析中的應(yīng)用,包括常見的關(guān)聯(lián)規(guī)則挖掘算法Apriori與fp-growth算法的優(yōu)缺點,并在此基礎(chǔ)上著重研究現(xiàn)有的關(guān)聯(lián)規(guī)則挖掘算法針對海量數(shù)據(jù)的特點的改進(jìn),研究了消息中間件rabbitmq在分布式集群海量日志分析中的應(yīng)用。其中重點研究了為了提升rabbitmq對于海量日志分析的處理速度分別優(yōu)化了rabbitmq的confirm機(jī)制與rabbitmq內(nèi)部狀態(tài)轉(zhuǎn)移過程。最后基于某公司的實際業(yè)務(wù)需求對整個系統(tǒng)進(jìn)行了詳細(xì)設(shè)計、對日志預(yù)處理、解碼、關(guān)聯(lián)分析部分進(jìn)行了重點概要設(shè)計。并在此基礎(chǔ)上完成了基于主機(jī)入侵檢測系統(tǒng)的開發(fā)與實現(xiàn)。
[Abstract]:In recent years , the degree of enterprise informationization is becoming higher and higher , and the intrusion detection analysis based on the host log becomes one of the important means of enterprise security problem checking . Based on the background of the actual project , the paper designs and implements an intrusion detection system platform based on mass log analysis based on the characteristics of the log and the existing distributed platform . This paper first introduces the background of the research and the development trend of the related field , and studies the technology of non - agent remote acquisition , including the commonly used technologies such as wmi , smb , shd , telnet , syslog and so on . The application of data mining in log analysis is studied .

【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP393.08;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉,任秀麗,欒貴興;基于策略的分布式網(wǎng)絡(luò)管理系統(tǒng)[J];東北大學(xué)學(xué)報;2002年06期

2 王偉;;基于Hadoop的分布式索引集群的研究[J];電腦知識與技術(shù);2011年35期

3 何偉;呂彬;周向軍;;一種提高SMB協(xié)議代理文件下載性能的方法[J];計算機(jī)安全;2011年01期

4 宋荊漢,李濤,朱偉,陳傳波;大規(guī)模分布式入侵檢測系統(tǒng)的研究[J];計算機(jī)工程與應(yīng)用;2003年04期

5 余彥峰;張書杰;呂羅文;;信息安全報警多級融合模型[J];計算機(jī)工程與應(yīng)用;2006年29期

6 趙小敏,侯強(qiáng),陳慶章;系統(tǒng)日志的安全管理方案與分析處理策略[J];計算機(jī)工程與科學(xué);2003年03期

7 付建丹;熊選東;張亮忠;王松鋒;王玨;;基于AMQP消息中間件的主動狀態(tài)證書撤銷機(jī)制實現(xiàn)[J];計算機(jī)應(yīng)用研究;2012年05期

8 李志芳;潘軍;孫輝;;SSL協(xié)議及WEB安全實現(xiàn)[J];煤炭技術(shù);2011年05期

9 劉丹,賴鋒;系統(tǒng)安全中Linux日志的實用研究[J];世界電信;2003年05期

10 姚軍;;利用神經(jīng)網(wǎng)絡(luò)思想 優(yōu)化鐵路運營模式[J];鐵路采購與物流;2012年12期

相關(guān)博士學(xué)位論文 前1條

1 龍文;無線移動環(huán)境下信息安全綜合管理系統(tǒng)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2009年

，

本文編號：1546460