發(fā)布時間：2017-07-20 14:10

  本文關(guān)鍵詞：Agent的網(wǎng)絡安全日志收集系統(tǒng)設計與實現(xiàn)

  更多相關(guān)文章： 網(wǎng)絡安全日志 分布式 收集 管理

【摘要】：計算機網(wǎng)絡最早出現(xiàn)在上世紀50年代,它經(jīng)歷了迅速發(fā)展、逐漸復雜的發(fā)展過程,已經(jīng)逐漸融入人們?nèi)粘Ｉ詈凸ぷ髦?成為人們必不可少的組成部分。隨著信息化的進一步深入和發(fā)展,計算機網(wǎng)絡安全性也面臨前所未有的挑戰(zhàn),如何在復雜的網(wǎng)絡環(huán)境下,收集網(wǎng)絡安全日志,也成為需要關(guān)注的重要問題。 本文針對分布式Linux節(jié)點的網(wǎng)絡安全日志收集需求,設計了Agent的網(wǎng)絡安全日志收集系統(tǒng),實現(xiàn)了異構(gòu)節(jié)點發(fā)送日志,到中央服務器接收日志,然后存儲到分布式數(shù)據(jù)庫或文件系統(tǒng),最終以網(wǎng)站的形式監(jiān)控和管理這些日志的綜合系統(tǒng)。本系統(tǒng)能夠有效、實時收集分散節(jié)點的網(wǎng)絡安全日志,并且能夠有效的對這些日志數(shù)據(jù)進行備份,是后序的網(wǎng)絡安全分析產(chǎn)品的重要數(shù)據(jù)來源,意義重大。 本論文在分析了已有的一些日志收集的產(chǎn)品基礎上,總結(jié)優(yōu)缺點,根據(jù)收集目的,最終確立獨立的設計方案,主要工作如下： (1)設計并實現(xiàn)網(wǎng)絡安全日志發(fā)送代理模塊Agent,保證這些分布式Linux節(jié)點實時發(fā)送統(tǒng)一的日志格式,并且發(fā)送日志類型可配置 (2)設計并實現(xiàn)網(wǎng)絡安全日志收集模塊,實時接收從各個分布式節(jié)點發(fā)送來的日志數(shù)據(jù) (3)設計并實現(xiàn)網(wǎng)絡安全日志存儲模塊,通過兩種存儲方式,即結(jié)構(gòu)化數(shù)據(jù)庫MySQL、分布式文件系統(tǒng)HDFS,達到對日志數(shù)據(jù)的存儲、冗余和備份目的 (4)設計并實現(xiàn)網(wǎng)絡安全日志統(tǒng)計模塊,該模塊能夠生成多維度的統(tǒng)計報表 (5)設計并實現(xiàn)管理員后臺管理系統(tǒng),該系統(tǒng)能夠可視化所監(jiān)控節(jié)點的基本信息及其網(wǎng)絡安全日志記錄,并且能夠生成統(tǒng)計報表,方便管理員及時發(fā)現(xiàn)網(wǎng)絡安全異常。
【關(guān)鍵詞】：網(wǎng)絡安全日志 分布式 收集 管理
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.08;TP18
【目錄】：

• 摘要4-5
• abstract5-10
• 第一章 緒論10-17
• 1.1 課題背景及意義10-11
• 1.1.1 課題背景10
• 1.1.2 課題研究意義10-11
• 1.2 日志收集系統(tǒng)國內(nèi)外研究現(xiàn)狀,和趨勢11-14
• 1.2.1 日志收集系統(tǒng)綜述11-12
• 1.2.2 日志收集系統(tǒng)發(fā)展現(xiàn)狀12-14
• 1.3 課題研究內(nèi)容14-15
• 1.4 論文的組織結(jié)構(gòu)15-17
• 第二章 主要內(nèi)容和相關(guān)技術(shù)17-23
• 2.1 主要內(nèi)容17-19
• 2.1.1 系統(tǒng)主要功能17
• 2.1.2 系統(tǒng)整體架構(gòu)17-19
• 2.2 相關(guān)技術(shù)19-23
• 2.2.1 Linux技術(shù)介紹19
• 2.2.2 PHP技術(shù)介紹19-20
• 2.2.3 Yii框架技術(shù)介紹20
• 2.2.4 Python技術(shù)介紹20-21
• 2.2.5 Django框架技術(shù)介紹21
• 2.2.6 Redis技術(shù)介紹21
• 2.2.7 MySQL技術(shù)介紹21-22
• 2.2.8 Nginx技術(shù)介紹22
• 2.2.9 cron技術(shù)介紹22
• 2.2.10 HDFS技術(shù)介紹22-23
• 第三章 網(wǎng)絡安全日志數(shù)據(jù)發(fā)送模塊Agent23-37
• 3.1 數(shù)據(jù)發(fā)送模塊Agent綜述23-26
• 3.1.1 數(shù)據(jù)發(fā)送模塊Agent目標23
• 3.1.2 分布式節(jié)點的網(wǎng)絡安全日志特點23-24
• 3.1.3 網(wǎng)絡安全日志數(shù)據(jù)發(fā)送模塊Agent主要流程24-26
• 3.2 網(wǎng)絡安全日志數(shù)據(jù)發(fā)送模塊Agent的整體設計26-28
• 3.2.1 Agent所用技術(shù)26-27
• 3.2.2 Agent代碼結(jié)構(gòu)27-28
• 3.3 Agent具體實現(xiàn)28-36
• 3.3.1 Agent的配置文件28-30
• 3.3.2 建立臨時文件30
• 3.3.3 臨時文件中寫入新產(chǎn)生的日志記錄30-32
• 3.3.4 拼裝Redis隊列的key32-33
• 3.3.5 將日志插入Redis存儲中33-35
• 3.3.6 網(wǎng)絡安全日志報警程序35-36
• 3.4 本章總結(jié)36-37
• 第四章 網(wǎng)絡安全日志數(shù)據(jù)收集模塊37-46
• 4.1 日志數(shù)據(jù)收集模塊綜述37-39
• 4.1.1 日志數(shù)據(jù)收集模塊目標37
• 4.1.2 網(wǎng)絡安全日志數(shù)據(jù)收集系統(tǒng)主要流程37-39
• 4.2 網(wǎng)絡安全日志數(shù)據(jù)收集模塊整體設計39-41
• 4.2.1 網(wǎng)絡安全日志收集模塊所用技術(shù)39
• 4.2.2 網(wǎng)絡安全日志收集模塊代碼結(jié)構(gòu)39-41
• 4.3 網(wǎng)絡安全日志收集系統(tǒng)的具體實現(xiàn)41-44
• 4.3.1 讀取日志收集系統(tǒng)的Redis隊列key41-42
• 4.3.2 拉取Redis中的日志記錄42-44
• 4.3.3 將網(wǎng)絡安全日志發(fā)送到日志數(shù)據(jù)存儲層44
• 4.4 本章總結(jié)44-46
• 第五章 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊46-57
• 5.1 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊綜述46-47
• 5.1.1 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊目標46
• 5.1.2 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊主要流程46-47
• 5.2 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊整體設計47-48
• 5.2.1 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊所用技術(shù)47
• 5.2.2 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊代碼結(jié)構(gòu)47-48
• 5.3 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊具體實現(xiàn)48-55
• 5.3.1 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊的存儲方式配置48-49
• 5.3.2 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊的發(fā)送代理49-50
• 5.3.3 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊的存儲節(jié)點設計50-53
• 5.3.4 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊的日志存儲代理53-54
• 5.3.5 網(wǎng)絡安全日志數(shù)據(jù)存儲模塊的存儲方式轉(zhuǎn)化54-55
• 5.4 本章總結(jié)55-57
• 第六章 網(wǎng)絡安全日志數(shù)據(jù)統(tǒng)計模塊57-65
• 6.1 網(wǎng)絡安全日志數(shù)據(jù)統(tǒng)計模塊綜述57-58
• 6.1.1 網(wǎng)絡安全日志數(shù)據(jù)統(tǒng)計模塊的目標57
• 6.1.2 網(wǎng)絡安全日志統(tǒng)計模塊主要流程57-58
• 6.2 網(wǎng)絡安全日志統(tǒng)計模塊整體設計58-59
• 6.2.1 網(wǎng)絡安全日志統(tǒng)計模塊所用技術(shù)58
• 6.2.2 網(wǎng)絡安全日志統(tǒng)計模塊代碼結(jié)構(gòu)58-59
• 6.3 網(wǎng)絡安全日志統(tǒng)計模塊具體實現(xiàn)59-64
• 6.3.1 網(wǎng)絡安全日志統(tǒng)計模塊接口設計59
• 6.3.2 日志統(tǒng)計模塊參數(shù)層59-60
• 6.3.3 網(wǎng)絡安全日志統(tǒng)計模塊http接口層60-62
• 6.3.4 網(wǎng)絡安全日志數(shù)據(jù)統(tǒng)計模塊日志存儲調(diào)用層62-64
• 6.4 本章總結(jié)64-65
• 第七章 管理員后臺管理系統(tǒng)65-71
• 7.1 Agent的網(wǎng)絡安全日志管理員后臺管理系統(tǒng)綜述65
• 7.2 管理員后臺管理系統(tǒng)介紹及其實現(xiàn)65-70
• 7.2.1 登錄頁面65-66
• 7.2.2 首頁66
• 7.2.3 機器列表頁面66-67
• 7.2.4 日志詳情頁面67-68
• 7.2.5 統(tǒng)計報表頁68-69
• 7.2.6 用戶管理69-70
• 7.3 本章總結(jié)70-71
• 第八章 總結(jié)和展望71-72
• 8.1 Agent的網(wǎng)絡安全日志收集系統(tǒng)總結(jié)71
• 8.2 展望71-72
• 參考文獻72-74
• 附錄74-75
• 致謝75

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 吳教育,盧寧,陳一天;日志文件的集中管理和分析[J];電腦開發(fā)與應用;2004年05期

2 黃旭鵬;;安全審計系統(tǒng)中日志數(shù)據(jù)整合的研究[J];電腦知識與技術(shù);2008年14期

3 楊林海;何斌穎;蘇為斌;;基于開源的企業(yè)操作系統(tǒng)部署研究[J];計算機光盤軟件與應用;2014年06期

4 趙彥琦;謝小西;荀宇暢;;Python語言學習之我見[J];電子制作;2013年13期

5 張君;;Linux操作系統(tǒng)構(gòu)建原理與應用[J];制造業(yè)自動化;2012年04期

6 詹玲;馬駿;陳伯江;陳維梁;呂睿;;分布式I/O日志收集系統(tǒng)的設計與實現(xiàn)[J];計算機工程與應用;2010年36期

7 宿大東;;采用Nginx遠程訪問圖書館內(nèi)網(wǎng)數(shù)字資源[J];內(nèi)蒙古科技與經(jīng)濟;2013年13期

8 王心妍;;Memcached和Redis在高速緩存方面的應用[J];無線互聯(lián)科技;2012年09期

，

本文編號：568390