【摘要】：互聯(lián)網(wǎng)的迅猛發(fā)展以及大數(shù)據(jù)相關(guān)技術(shù)的興起,使得日志數(shù)據(jù)的規(guī)模日益劇增,給已有的日志采集及分析系統(tǒng)帶來(lái)了挑戰(zhàn);同時(shí)針對(duì)互聯(lián)網(wǎng)安全的攻擊活動(dòng)也層出不窮,如何在海量的日志中及時(shí)提取有效的信息以為企業(yè)安全提供信息支撐,也給現(xiàn)有的分析系統(tǒng)提出了新的需求。本文結(jié)合使用Flume、Elasticsearch以及Kibana等技術(shù)手段提出了一種分布式的日志采集分析系統(tǒng),從系統(tǒng)設(shè)計(jì)和架構(gòu)等方面提出了新的解決思路,并針對(duì)Nginx的訪問(wèn)日志進(jìn)行了實(shí)時(shí)采集和分析及展示,完成了原型系統(tǒng)的實(shí)現(xiàn),實(shí)驗(yàn)證明,基于Flume的分布式的日志采集分析系統(tǒng)方案具有可行性。
【圖文】：

陳飛等：基于Flume的分布式日志采集分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)83《軟件》雜志歡迎推薦投稿：cosoft@vip.163.com本文基于開(kāi)源日志收集系統(tǒng)ApacheFlume以及開(kāi)源搜索引擎ElasticSearch設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于海量數(shù)據(jù)的分布式日志采集分析原型系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)對(duì)系統(tǒng)WEB服務(wù)日志的采集，分析和展示，具備實(shí)時(shí)搜索功能。實(shí)驗(yàn)證明了系統(tǒng)設(shè)計(jì)和方案具備可行性。1技術(shù)要點(diǎn)1.1FlumeFlume[6]是一個(gè)分布式的海量日志聚合系統(tǒng)，支持?jǐn)?shù)據(jù)發(fā)送方，數(shù)據(jù)接收方的數(shù)據(jù)定制，同時(shí)具備數(shù)據(jù)預(yù)處理的能力。目前Flume有Flume-OG和Flume-NG兩個(gè)版本，F(xiàn)lume-NG是在Flume-OG的基礎(chǔ)上經(jīng)重構(gòu)所形成的更具適應(yīng)性的版本，使用方便簡(jiǎn)單，適應(yīng)各種日志收集，并支持FailOver和負(fù)載均衡機(jī)制。其主要架構(gòu)如圖1所示：Flume以agent為最小的獨(dú)立運(yùn)行單位，每一個(gè)agent即是一個(gè)小的JVM。Flume主要由不同類(lèi)型的Source、Channel、Sink組件組成，不同類(lèi)型組件之間可以自由組合從而構(gòu)建復(fù)雜性的系統(tǒng)。Source組件實(shí)現(xiàn)對(duì)原始日志的采集接收，Channel組件負(fù)責(zé)為Source和Sink組件的對(duì)接提供臨時(shí)的緩存通道，Sink組件則負(fù)責(zé)將收集到的日志下放到存儲(chǔ)、分析等系統(tǒng)中，以實(shí)現(xiàn)日志的最終交付。Flume具備高可擴(kuò)展性，支持多級(jí)流處理，可根據(jù)不同業(yè)務(wù)需求及功能需求對(duì)Flume的agent組件進(jìn)行不同方式的組合，從而構(gòu)建出耦合度低、可用性高、擴(kuò)展性強(qiáng)的強(qiáng)壯的采集系統(tǒng)。如下圖2即是復(fù)雜的Flume流，，通過(guò)Channle、Sink和不同的分析存儲(chǔ)系統(tǒng)及Source組合完成復(fù)雜的采集分析任務(wù)。圖1Flume基本架構(gòu)圖2復(fù)雜的Flume流

陳飛等：基于Flume的分布式日志采集分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)83《軟件》雜志歡迎推薦投稿：cosoft@vip.163.com本文基于開(kāi)源日志收集系統(tǒng)ApacheFlume以及開(kāi)源搜索引擎ElasticSearch設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于海量數(shù)據(jù)的分布式日志采集分析原型系統(tǒng)，該系統(tǒng)實(shí)現(xiàn)對(duì)系統(tǒng)WEB服務(wù)日志的采集，分析和展示，具備實(shí)時(shí)搜索功能。實(shí)驗(yàn)證明了系統(tǒng)設(shè)計(jì)和方案具備可行性。1技術(shù)要點(diǎn)1.1FlumeFlume[6]是一個(gè)分布式的海量日志聚合系統(tǒng)，支持?jǐn)?shù)據(jù)發(fā)送方，數(shù)據(jù)接收方的數(shù)據(jù)定制，同時(shí)具備數(shù)據(jù)預(yù)處理的能力。目前Flume有Flume-OG和Flume-NG兩個(gè)版本，F(xiàn)lume-NG是在Flume-OG的基礎(chǔ)上經(jīng)重構(gòu)所形成的更具適應(yīng)性的版本，使用方便簡(jiǎn)單，適應(yīng)各種日志收集，并支持FailOver和負(fù)載均衡機(jī)制。其主要架構(gòu)如圖1所示：Flume以agent為最小的獨(dú)立運(yùn)行單位，每一個(gè)agent即是一個(gè)小的JVM。Flume主要由不同類(lèi)型的Source、Channel、Sink組件組成，不同類(lèi)型組件之間可以自由組合從而構(gòu)建復(fù)雜性的系統(tǒng)。Source組件實(shí)現(xiàn)對(duì)原始日志的采集接收，Channel組件負(fù)責(zé)為Source和Sink組件的對(duì)接提供臨時(shí)的緩存通道，Sink組件則負(fù)責(zé)將收集到的日志下放到存儲(chǔ)、分析等系統(tǒng)中，以實(shí)現(xiàn)日志的最終交付。Flume具備高可擴(kuò)展性，支持多級(jí)流處理，可根據(jù)不同業(yè)務(wù)需求及功能需求對(duì)Flume的agent組件進(jìn)行不同方式的組合，從而構(gòu)建出耦合度低、可用性高、擴(kuò)展性強(qiáng)的強(qiáng)壯的采集系統(tǒng)。如下圖2即是復(fù)雜的Flume流，通過(guò)Channle、Sink和不同的分析存儲(chǔ)系統(tǒng)及Source組合完成復(fù)雜的采集分析任務(wù)。圖1Flume基本架構(gòu)圖2復(fù)雜的Flume流
【作者單位】： 華北計(jì)算技術(shù)研究所;
【分類(lèi)號(hào)】：TP311.52

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 宋密;王勁松;;基于Flume的網(wǎng)絡(luò)安全可視化系統(tǒng)[J];天津理工大學(xué)學(xué)報(bào);2015年02期

2 江三鋒;王元亮;;基于Hive的海量web日志分析系統(tǒng)設(shè)計(jì)研究[J];軟件;2015年04期

3 吳茜媛;鄭慶華;王萍;;一種可擴(kuò)展的網(wǎng)絡(luò)用戶行為日志獲取方法[J];軟件;2014年10期

4 王正也;李書(shū)芳;;一種基于Hive日志分析的大數(shù)據(jù)存儲(chǔ)優(yōu)化方法[J];軟件;2014年11期

5 白俊;郭賀彬;;基于ElasticSearch的大日志實(shí)時(shí)搜索的軟件集成方案研究[J];吉林師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年01期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董長(zhǎng)青;任女爾;張慶余;田玉靖;;基于HBase+ ElasticSearch的海量交通數(shù)據(jù)實(shí)時(shí)存取方案設(shè)計(jì)[J];大數(shù)據(jù);2017年01期

2 蔣煥亮;;基于hive的日志倉(cāng)庫(kù)構(gòu)建研究[J];計(jì)算機(jī)時(shí)代;2016年11期

3 周平;馬斌;韓冰;蘇宇晨;;基于大數(shù)據(jù)平臺(tái)的日志分析預(yù)警技術(shù)研究[J];電腦知識(shí)與技術(shù);2016年32期

4 周未;張宏;李博涵;;基于攻防狀態(tài)圖模型的網(wǎng)絡(luò)風(fēng)險(xiǎn)評(píng)估方法[J];東南大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年04期

5 胡慶寶;姜曉巍;石京燕;程耀東;梁翠萍;;基于Elasticsearch的實(shí)時(shí)集群日志采集和分析系統(tǒng)實(shí)現(xiàn)[J];科研信息化技術(shù)與應(yīng)用;2016年03期

6 周廣;閆丹鳳;許光可;李筍;;大數(shù)據(jù)在輸變電設(shè)備狀態(tài)評(píng)估中的研究[J];軟件;2016年01期

7 周彩冬;潘維民;;大數(shù)據(jù)在商業(yè)銀行反洗錢(qián)的應(yīng)用[J];軟件;2016年02期

8 吳江;孫劍偉;;一種基于云模型的數(shù)據(jù)預(yù)測(cè)算法[J];軟件;2015年12期

9 王悅;;Hive日志分析的大數(shù)據(jù)存儲(chǔ)優(yōu)化探討[J];信息通信;2015年10期

10 馬凱航;高永明;吳止鍰;李磊;;大數(shù)據(jù)時(shí)代數(shù)據(jù)管理技術(shù)研究綜述[J];軟件;2015年10期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳若飛;姜文紅;;Hadoop作業(yè)調(diào)度本地性的研究與優(yōu)化[J];軟件;2015年02期

2 王正也;李書(shū)芳;;一種基于Hive日志分析的大數(shù)據(jù)存儲(chǔ)優(yōu)化方法[J];軟件;2014年11期

3 田野;蘇紅旗;田棟;;Hadoop下海量遙感數(shù)據(jù)的處理[J];軟件;2014年03期

4 高東海;李文生;張海濤;;基于Hadoop的離線視頻處理技術(shù)研究與實(shí)現(xiàn)[J];軟件;2013年11期

5 穆祥昆;王勁松;薛羽豐;黃瑋;;基于活躍熵的網(wǎng)絡(luò)異常流量檢測(cè)方法[J];通信學(xué)報(bào);2013年S2期

6 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式處理[J];軟件;2013年07期

7 宋明;李志;;SQL Server集成服務(wù)在數(shù)據(jù)采集系統(tǒng)中的應(yīng)用[J];軟件;2013年07期

8 王慶福;;網(wǎng)站建設(shè)中數(shù)據(jù)庫(kù)技術(shù)與WEB技術(shù)的應(yīng)用對(duì)比研究[J];軟件;2013年02期

9 楊寒冰;趙龍;賈金原;;HBase數(shù)據(jù)庫(kù)遷移工具的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué)與探索;2013年03期

10 杜繼華;吳偉明;谷勇浩;;一種基于HADOOP的辦公文件存儲(chǔ)方法[J];軟件;2012年10期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 常曉飛;符文星;閆杰;;便攜式應(yīng)變采集分析系統(tǒng)的設(shè)計(jì)[J];測(cè)控技術(shù);2011年05期

2 伍敏君;戴鋒;;數(shù)據(jù)采集分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];硅谷;2012年06期

3 楊鴻鵬,郭建軍,林志航;計(jì)算機(jī)輔助質(zhì)量數(shù)據(jù)采集分析系統(tǒng)[J];計(jì)算機(jī)輔助工程;1997年01期

4 邵雪飛;;基于VisualC++平臺(tái)的信號(hào)采集分析系統(tǒng)[J];電子科技;2014年05期

5 殷長(zhǎng)友,方忠惠,強(qiáng)宏;氣候數(shù)據(jù)采集分析系統(tǒng)的實(shí)現(xiàn)(上)[J];計(jì)算機(jī)應(yīng)用研究;2001年10期

6 殷長(zhǎng)友,方忠慧,強(qiáng)宏;氣候數(shù)據(jù)采集分析系統(tǒng)的實(shí)現(xiàn)(下)[J];計(jì)算機(jī)應(yīng)用研究;2001年12期

7 岳曉峰,朱勝男,王劍飛;基于Lab Windows/CVI的多路胎兒心率采集分析系統(tǒng)[J];長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年02期

8 陳少斌;;傳輸干線網(wǎng)管告警采集分析系統(tǒng)的構(gòu)想和建設(shè)[J];科技資訊;2006年34期

9 王習(xí)彬;張遠(yuǎn)生;呂成秀;;數(shù)據(jù)采集分析系統(tǒng)在制管企業(yè)的應(yīng)用[J];焊管;2007年06期

10 姚運(yùn)啟;張效民;彭勃;;一種基于混沌原理的采集分析系統(tǒng)設(shè)計(jì)[J];測(cè)控技術(shù);2010年01期

相關(guān)會(huì)議論文 前10條

1 張穎;曹宇峰;楊濱;盧雯玲;段穎;劉銅華;;中醫(yī)臨床病歷采集分析系統(tǒng)[A];第十次全國(guó)中醫(yī)糖尿病大會(huì)論文集[C];2007年

2 孔慧芳;孟慶軍;;汽車(chē)自動(dòng)變速器數(shù)據(jù)采集分析系統(tǒng)設(shè)計(jì)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2008年

3 周凱利;謝彬;李萬(wàn)昌;;示波器自動(dòng)控制和數(shù)據(jù)采集分析系統(tǒng)[A];中國(guó)工程物理研究院科技年報(bào)（2000）[C];2000年

4 歐陽(yáng)銘;;固話呼叫詳細(xì)記錄采集分析系統(tǒng)的研究[A];2007中國(guó)科協(xié)年會(huì)——通信與信息發(fā)展高層論壇論文集[C];2007年

5 岳洪亮;何茂松;林曉澤;;基于以太網(wǎng)的數(shù)據(jù)采集分析系統(tǒng)研發(fā)與應(yīng)用[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

6 熊開(kāi)宇;何輝;賀瑩瑩;;網(wǎng)球技術(shù)采集分析系統(tǒng)的研發(fā)與應(yīng)用[A];第九屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編(2)[C];2011年

7 鄧焱;趙夏云;;基于虛擬儀器技術(shù)的紅外熱像采集分析系統(tǒng)[A];第三屆全國(guó)虛擬儀器大會(huì)論文集[C];2008年

8 韓挺挺;陳彥;徐平;;基于LabVIEW的起落架力學(xué)參數(shù)采集分析系統(tǒng)[A];第九屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集Ⅰ[C];2011年

9 孫磊;陳冬巖;劉月美;;足球運(yùn)動(dòng)員訓(xùn)練用跑動(dòng)距離信息采集分析系統(tǒng)設(shè)計(jì)[A];第九屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編(2)[C];2011年

10 張多迪;;高速數(shù)據(jù)采集分析系統(tǒng)(FDAA)在工程項(xiàng)目中的應(yīng)用[A];第十一屆全國(guó)自動(dòng)化應(yīng)用技術(shù)學(xué)術(shù)交流會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前2條

1 記者 劉曉軍;全國(guó)首個(gè)收視數(shù)據(jù)實(shí)時(shí)采集分析系統(tǒng)建成[N];科技日?qǐng)?bào);2014年

2 記者 劉薊奕 李珩;我市率先在全國(guó)建立中醫(yī)數(shù)據(jù)采集分析系統(tǒng)[N];重慶日?qǐng)?bào);2014年

相關(guān)碩士學(xué)位論文 前10條

1 呼林濤;基于深腦定位機(jī)械手的超聲誘導(dǎo)腦電信息采集分析系統(tǒng)研究[D];蘭州大學(xué);2016年

2 馬曉玉;基于STM32和藍(lán)牙4.1的便攜式心電采集分析系統(tǒng)研究[D];燕山大學(xué);2016年

3 王濤;中小學(xué)生安全信息采集分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東師范大學(xué);2016年

4 王敏;生物信號(hào)采集分析系統(tǒng)的上層軟件設(shè)計(jì)[D];電子科技大學(xué);2007年

5 程鵬;內(nèi)燃機(jī)數(shù)據(jù)采集分析系統(tǒng)的研究[D];吉林大學(xué);2004年

6 吳剛;面向復(fù)雜環(huán)境的數(shù)據(jù)采集分析系統(tǒng)的研發(fā)[D];中國(guó)海洋大學(xué);2010年

7 徐峰;基于無(wú)線傳感器網(wǎng)絡(luò)的列車(chē)空調(diào)數(shù)據(jù)采集分析系統(tǒng)研究[D];吉林大學(xué);2010年

8 張瑞卿;基于ARM的信號(hào)采集分析系統(tǒng)研究[D];華北電力大學(xué);2011年

9 高功名;基于虛擬儀器和無(wú)線網(wǎng)絡(luò)的數(shù)據(jù)采集分析系統(tǒng)研究[D];北京林業(yè)大學(xué);2008年

10 柴龍;心電脈搏信號(hào)同步采集分析系統(tǒng)的研究[D];蘭州理工大學(xué);2008年

本文編號(hào)：2530931