本文關(guān)鍵詞：基于Elasticsearch的實(shí)時集群日志采集和分析系統(tǒng)實(shí)現(xiàn)

  更多相關(guān)文章： 日志采集 flume elasticsearch 日志報(bào)警

【摘要】：傳統(tǒng)日志工具采集時間長、處理效率低下,無法支持大規(guī)模集群日志采集和分析需求。我們從實(shí)際需求出發(fā),結(jié)合Flume和Elasticsearch設(shè)計(jì)實(shí)現(xiàn)了集群日志的實(shí)時采集和快速查詢分析系統(tǒng)。通過預(yù)設(shè)日志規(guī)則庫,實(shí)時統(tǒng)計(jì)并展示集群系統(tǒng)的運(yùn)行狀態(tài),提供預(yù)警信息。
【作者單位】： 中國科學(xué)院高能物理研究所;北京大學(xué)信息科學(xué)技術(shù)學(xué)院;
【關(guān)鍵詞】： 日志采集 flume elasticsearch 日志報(bào)警
【分類號】：TP274.2
【正文快照】： 引言 日志是關(guān)于系統(tǒng)或者軟件狀態(tài)的相關(guān)記錄,它被廣泛用于系統(tǒng)調(diào)試、監(jiān)控和穩(wěn)定性檢測中。日志管理和分析可以幫助用戶更好的了解系統(tǒng)及軟件當(dāng)前的運(yùn)行狀態(tài),對集群系統(tǒng)進(jìn)行安全維護(hù)、性能優(yōu)化以及故障排查。因此,日志采集分析工具已經(jīng)成為日常服務(wù)檢測的重要內(nèi)容和維持系統(tǒng)

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 張曉剛;潘久輝;;MS SQL Server 2000日志分析方法的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年19期

2 李春林;周根鴻;張文體;;重視日志審計(jì)確保數(shù)據(jù)安全[J];醫(yī)學(xué)信息;2007年10期

3 梁曉雪;王鋒;;基于聚類的日志分析技術(shù)綜述與展望[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年S1期

4 黃海隆;陳賽娉;;計(jì)算機(jī)日志分析與管理方法的研究[J];大眾科技;2006年07期

5 鄭毅;;基于日志分析的網(wǎng)絡(luò)IDS研究[J];襄樊學(xué)院學(xué)報(bào);2008年11期

6 陳庭平;沈麗娟;曾鵬;;日志服務(wù)器建設(shè)和應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年09期

7 鄒先霞;賈維嘉;潘久輝;;基于數(shù)據(jù)庫日志的變化數(shù)據(jù)捕獲研究[J];小型微型計(jì)算機(jī)系統(tǒng);2012年03期

8 羅新;;防火墻日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)時代;2012年02期

9 姜良華;崔建明;;Serv-U FTP服務(wù)器日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識與技術(shù);2010年28期

10 李玉榮;楊樹強(qiáng);賈焰;周斌;樊宇;;分布式日志服務(wù)關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年07期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 馬辰;武斌;;一種基于攻擊事件圖的蜜網(wǎng)日志分析方法[A];虛擬運(yùn)營與云計(jì)算——第十八屆全國青年通信學(xué)術(shù)年會論文集（下冊）[C];2013年

2 周濤;;基于數(shù)據(jù)挖掘的入侵檢測日志分析技術(shù)研究[A];第二屆中國科學(xué)院博士后學(xué)術(shù)年會暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會議程序冊[C];2010年

3 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

4 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國通信學(xué)會無線及移動通信委員會學(xué)術(shù)年會論文集[C];2008年

5 耿濤;;Web日志分析在電子數(shù)據(jù)取證中的應(yīng)用[A];第二十一次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C];2006年

6 閆龍川;王懷宇;李楓;毛一凡;;基于Hadoop的郵件日志分析與研究[A];2012電力行業(yè)信息化年會論文集[C];2012年

7 陳慶章;王磊;毛科技;戴國勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(英文)[A];全國第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2008年

8 王振亞;武斌;;基于MFI-WT算法的蜜網(wǎng)日志分析方法[A];第十七屆全國青年通信學(xué)術(shù)年會論文集[C];2012年

9 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

10 朱金清;王建新;陳志泊;;基于APRIORI的層次化聚類算法及其在IDS日志分析中的應(yīng)用[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2007年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 中航工業(yè)南方航空工業(yè)集團(tuán)(有限)公司科技與信息部 鄒滬湘;分析日志識別暴力破解[N];計(jì)算機(jī)世界;2013年

2 ;日志分析中的五個誤區(qū)[N];網(wǎng)絡(luò)世界;2004年

3 陳代壽;網(wǎng)管的四兩撥千斤[N];中國計(jì)算機(jī)報(bào);2004年

4 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;大數(shù)據(jù)日志分析借機(jī)器學(xué)習(xí)騰飛[N];網(wǎng)絡(luò)世界;2014年

5 《網(wǎng)絡(luò)世界》評測實(shí)驗(yàn)室 于洋;用好Web日志[N];網(wǎng)絡(luò)世界;2004年

6 重慶 航行者;IIS的安全[N];電腦報(bào);2002年

7 河南工業(yè)職業(yè)技術(shù)學(xué)院 邱建新;監(jiān)測Squid日志的五種方法[N];計(jì)算機(jī)世界;2005年

8 shotgun;入侵檢測初步（上）[N];電腦報(bào);2001年

9 朱閔;淺談企業(yè)核心應(yīng)用的安全審計(jì)(下)[N];網(wǎng)絡(luò)世界;2008年

10 覃進(jìn)文;在Windows 2000&&2003下快速安裝Webalizer[N];中國電腦教育報(bào);2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 饒翔;基于日志的大規(guī)模分布式軟件系統(tǒng)可信保障技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

2 曹志波;基于日志的任務(wù)建模及調(diào)度優(yōu)化的研究[D];華南理工大學(xué);2014年

3 胡蓉;WEB日志和子空間聚類挖掘算法研究[D];華中科技大學(xué);2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張?zhí)焐?日志采集與分析在Web網(wǎng)站中的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

2 周海靖;日志大數(shù)據(jù)分析平臺技術(shù)研究[D];山東大學(xué);2015年

3 賴特;網(wǎng)絡(luò)安全設(shè)備日志融合技術(shù)研究[D];電子科技大學(xué);2015年

4 董妍妍;基于Hadoop的Teradata數(shù)據(jù)倉庫日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 李名弈;IPTVQOS日志分析方法研究[D];復(fù)旦大學(xué);2013年

6 劉季函(Liu,Chi Han);基于Spark的網(wǎng)絡(luò)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

7 李榮榮;基于Hadoop平臺的日志分析系統(tǒng)[D];復(fù)旦大學(xué);2013年

8 周云斌;基于主機(jī)的日志大數(shù)椐分析及安全性檢查[D];大連理工大學(xué);2015年

9 張迪;基于NoSQL的大規(guī)模Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

10 潘宇軒;基于Django的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

，

本文編號：625017