基于Hadoop的在線網(wǎng)絡(luò)日志分析系統(tǒng)研究
本文選題:網(wǎng)絡(luò)安全 切入點(diǎn):日志分析 出處:《計(jì)算機(jī)應(yīng)用與軟件》2014年08期
【摘要】:網(wǎng)絡(luò)日志分析對(duì)網(wǎng)絡(luò)安全管理具有重要意義,但現(xiàn)有的網(wǎng)絡(luò)日志分析系統(tǒng)具有無法處理海量日志數(shù)據(jù)、采用離線模式、處理時(shí)延較長(zhǎng)等弊端。因此,提出網(wǎng)絡(luò)日志數(shù)據(jù)的分級(jí)歸檔機(jī)制,實(shí)現(xiàn)海量數(shù)據(jù)的分級(jí)優(yōu)化存儲(chǔ)功能。通過將傳統(tǒng)的網(wǎng)絡(luò)日志分析模式和基于Hadoop的離線處理模式相結(jié)合,設(shè)計(jì)基于Hadoop的在線網(wǎng)絡(luò)日志分析系統(tǒng),并深入分析系統(tǒng)的功能架構(gòu)和業(yè)務(wù)處理流程。實(shí)驗(yàn)結(jié)果表明:該系統(tǒng)具有良好的可擴(kuò)展性,可以有效存儲(chǔ)處理海量日志數(shù)據(jù),具有較快的請(qǐng)求響應(yīng)速度,并能夠滿足在線處理的要求。從而驗(yàn)證了系統(tǒng)設(shè)計(jì)的可行性和有效性。
[Abstract]:Network log analysis is of great significance to network security management, but the existing network log analysis system is unable to deal with massive log data, adopts off-line mode, and has many disadvantages such as long time delay and so on.Therefore, the hierarchical archiving mechanism of network log data is proposed to realize the hierarchical optimization storage function of massive data.By combining the traditional network log analysis mode with the offline processing mode based on Hadoop, an online network log analysis system based on Hadoop is designed, and the function structure and business processing flow of the system are analyzed in depth.Experimental results show that the system has good scalability, can effectively store and process massive log data, has a faster request response speed, and can meet the requirements of online processing.The feasibility and effectiveness of the system design are verified.
【作者單位】: 黃淮學(xué)院信息工程學(xué)院;黃淮學(xué)院網(wǎng)絡(luò)信息管理中心;
【基金】:河南省科技攻關(guān)計(jì)劃項(xiàng)目(122102310474)
【分類號(hào)】:TP393.08
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 史興鍵,李偉華,王文奇;基于優(yōu)化聚類算法的安全審計(jì)模型[J];計(jì)算機(jī)工程與應(yīng)用;2005年17期
2 劉靜,郭秀麗;基于Webalizer的Web服務(wù)器日志分析[J];山東電子;2004年02期
3 徐騰;;探析電子證據(jù)在計(jì)算機(jī)犯罪中的取證研究[J];自動(dòng)化與儀器儀表;2011年04期
4 費(fèi)宗蓮;;Fortinet提供網(wǎng)絡(luò)安全新產(chǎn)品 集中式日志分析報(bào)表系統(tǒng)[J];計(jì)算機(jī)安全;2006年04期
5 周穎;;如何利用AWStats對(duì)VSFTP日志進(jìn)行分析、統(tǒng)計(jì)[J];科技信息;2006年04期
6 梁曉雪;王鋒;;基于聚類的日志分析技術(shù)綜述與展望[J];云南大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年S1期
7 陳庭平;沈麗娟;曾鵬;;日志服務(wù)器建設(shè)和應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年09期
8 段生林;基于防病毒軟件的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];華南金融電腦;2004年12期
9 金花;黃明;梁旭;;基于Frame頁(yè)面過濾的Web日志挖掘中的數(shù)據(jù)預(yù)處理方法[J];大連鐵道學(xué)院學(xué)報(bào);2006年02期
10 王家蘭;王余旺;;基于Web日志分析的Web Qos研究[J];電腦知識(shí)與技術(shù)(學(xué)術(shù)交流);2007年19期
相關(guān)會(huì)議論文 前10條
1 陳晨;鄭康鋒;;一種基于支持向量機(jī)的蜜網(wǎng)系統(tǒng)日志分析方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年
2 張蓮;鐘誠(chéng);;校園計(jì)算機(jī)網(wǎng)絡(luò)病毒檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國(guó)第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用(CACIS)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2006年
3 趙艷;許榕生;;信息安全綜合審計(jì)系統(tǒng)的研究綜述[A];第十三屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集(下冊(cè))[C];2006年
4 陳慶章;王磊;毛科技;戴國(guó)勇;;基于防火墻日志的在線攻擊偵查系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)(英文)[A];全國(guó)第19屆計(jì)算機(jī)技術(shù)與應(yīng)用(CACIS)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年
5 金松昌;方濱興;楊樹強(qiáng);賈焰;;基于Hadoop的網(wǎng)絡(luò)安全日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年
6 劉莉;;基于多協(xié)議技術(shù)的日志集中管理安全方案[A];2008年中國(guó)通信學(xué)會(huì)無線及移動(dòng)通信委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2008年
7 周濤;;基于數(shù)據(jù)挖掘的入侵檢測(cè)日志分析技術(shù)研究[A];第二屆中國(guó)科學(xué)院博士后學(xué)術(shù)年會(huì)暨高新技術(shù)前沿與發(fā)展學(xué)術(shù)會(huì)議程序冊(cè)[C];2010年
8 沈衛(wèi)超;;網(wǎng)絡(luò)流量統(tǒng)計(jì)與安全審計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)工程物理研究院科技年報(bào)(2001)[C];2001年
9 米愛中;鐘誠(chéng);魯曉明;羅程;楊鋒;;基于UML的校園網(wǎng)病毒報(bào)警系統(tǒng)的分析與設(shè)計(jì)[A];全國(guó)第16屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用(CACIS)學(xué)術(shù)會(huì)議論文集[C];2004年
10 齊法制;王彥明;崔濤;安德海;;網(wǎng)絡(luò)日志信息采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十五屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集[C];2010年
相關(guān)重要報(bào)紙文章 前10條
1 王婷;IDC增值服務(wù):網(wǎng)站日志分析[N];計(jì)算機(jī)世界;2001年
2 ;日志分析中的五個(gè)誤區(qū)[N];網(wǎng)絡(luò)世界;2004年
3 重慶 航行者;IIS的安全[N];電腦報(bào);2002年
4 陳代壽;網(wǎng)管的四兩撥千斤[N];中國(guó)計(jì)算機(jī)報(bào);2004年
5 周永生;讓Linux更安全[N];網(wǎng)絡(luò)世界;2002年
6 shotgun;入侵檢測(cè)初步(上)[N];電腦報(bào);2001年
7 ;三項(xiàng)全能的“軟衛(wèi)甲”[N];網(wǎng)絡(luò)世界;2004年
8 中科院計(jì)算所 李洋;使用Webalizer進(jìn)行網(wǎng)絡(luò)流量日志分析[N];計(jì)算機(jī)世界;2006年
9 米持平;搭建統(tǒng)一的安全管理平臺(tái)[N];網(wǎng)絡(luò)世界;2005年
10 侯小東;防火墻和安全審計(jì)[N];中國(guó)計(jì)算機(jī)報(bào);2003年
相關(guān)博士學(xué)位論文 前4條
1 王玲;網(wǎng)絡(luò)服務(wù)系統(tǒng)日志安全分析技術(shù)研究[D];中國(guó)科學(xué)院研究生院(計(jì)算技術(shù)研究所);2006年
2 魏偉杰;面向服務(wù)替換的服務(wù)行為模式獲取及推薦[D];東北大學(xué);2009年
3 劉雪梅;服務(wù)器端軟件性能分析和診斷方法研究[D];哈爾濱工程大學(xué);2010年
4 趙潔;面向Web的企業(yè)競(jìng)爭(zhēng)情報(bào)獲取研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2013年
相關(guān)碩士學(xué)位論文 前10條
1 楊華;可視化日志分析系統(tǒng)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年
2 薛文娟;基于層次聚類的日志分析技術(shù)研究[D];山東師范大學(xué);2013年
3 韓冰;政府網(wǎng)站分布式日志存儲(chǔ)與分析系統(tǒng)研究[D];曲阜師范大學(xué);2014年
4 尚魏;多源日志安全信息的融合技術(shù)研究[D];哈爾濱工程大學(xué);2010年
5 周兵斌;NIDS警報(bào)日志分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];合肥工業(yè)大學(xué);2004年
6 張旭暉;面向SaaS模式的應(yīng)用軟件日志架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2010年
7 宋愛青;基于Hadoop的日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)(北京);2012年
8 鄧海川;日志分析系統(tǒng)的任務(wù)調(diào)度方法研究[D];南京航空航天大學(xué);2013年
9 鄭長(zhǎng)慶;基于日志分析的網(wǎng)絡(luò)監(jiān)視系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2005年
10 王振亞;基于MFI-WT算法的蜜網(wǎng)日志分析研究[D];北京郵電大學(xué);2013年
,本文編號(hào):1688777
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1688777.html