基于日志采集技術(shù)的安全事件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-02-01 08:01
互聯(lián)網(wǎng)時(shí)代社會(huì)經(jīng)濟(jì)快速發(fā)展,同時(shí)作為承載互聯(lián)網(wǎng)及其應(yīng)用的運(yùn)營(yíng)商數(shù)據(jù)中心規(guī)模也在不斷拓展。高速發(fā)展的不只是信息化建設(shè),網(wǎng)絡(luò)中的數(shù)據(jù)規(guī)模、數(shù)據(jù)的孤島響應(yīng)、網(wǎng)絡(luò)中設(shè)備的種類(lèi)和數(shù)量、網(wǎng)絡(luò)潛在的安全風(fēng)險(xiǎn)等同樣也發(fā)生了翻天覆地的變化。數(shù)據(jù)中心的運(yùn)維人員所維護(hù)的網(wǎng)絡(luò)越來(lái)越大,網(wǎng)絡(luò)中的網(wǎng)元節(jié)點(diǎn)越來(lái)越多;各種設(shè)備產(chǎn)生的海量日志信息給運(yùn)維人員及其單位造成了很大的負(fù)擔(dān);同時(shí)安全設(shè)備各自為戰(zhàn)、大量重復(fù)、無(wú)效的信息擠壓著運(yùn)維人員寶貴的時(shí)間。市場(chǎng)急需一款產(chǎn)品可以將目標(biāo)網(wǎng)絡(luò)中各種設(shè)備的日志信息進(jìn)行集中的收集和整合,并且對(duì)采集到的日志進(jìn)行集中范式化處理和入庫(kù)存儲(chǔ),并通過(guò)關(guān)聯(lián)分析技術(shù)對(duì)存儲(chǔ)的數(shù)據(jù)日志進(jìn)行數(shù)據(jù)挖掘,分析得出潛在的安全風(fēng)險(xiǎn)并向安全運(yùn)維人員進(jìn)行事件告警從而減輕運(yùn)維人員的工作壓力提高工作效率。本文在分析市場(chǎng)需求的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)安全事件系統(tǒng);通過(guò)功能架構(gòu)設(shè)計(jì)明確系統(tǒng)邊界和范圍,安全事件系統(tǒng)的關(guān)鍵組件及核心功能包括日志采集模塊、資產(chǎn)管理模塊、關(guān)聯(lián)分析模塊等構(gòu)成。同時(shí)經(jīng)過(guò)調(diào)研國(guó)內(nèi)外成熟產(chǎn)品及開(kāi)源項(xiàng)目的現(xiàn)狀,發(fā)現(xiàn)同類(lèi)型產(chǎn)品將日志采集的廣度和日志關(guān)聯(lián)分析的深度作為產(chǎn)品的核心競(jìng)爭(zhēng)力,所以本文將二者作為關(guān)鍵技術(shù)進(jìn)行突破,...
【文章來(lái)源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:100 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
數(shù)據(jù)中心日志情況
西安電子科技大學(xué)碩士學(xué)位論文14其風(fēng)險(xiǎn)。日志采集支持標(biāo)準(zhǔn)日志信息格式包括Windows、Syslog、SNMP、數(shù)據(jù)庫(kù)、VIP、OPSEC、XML、ODBC、讀文件等,通過(guò)被采集方推送或采集方抓取的方式獲取被采集方的日志信息。同時(shí)在日志采集探針中包含了數(shù)百家廠商的日志范式化的數(shù)據(jù)信息以兼容這些廠家的不同設(shè)備,不同產(chǎn)品所產(chǎn)生的日志信息。當(dāng)然,采集的日志范式化數(shù)據(jù)集是可擴(kuò)展的,可以向后兼容使用標(biāo)準(zhǔn)協(xié)議的所有安全設(shè)備的日志信息,為信息系統(tǒng)的擴(kuò)展性,成長(zhǎng)性留下了充足的空間。如下所示圖3.2所示日志采集模塊按照采集的手段結(jié)合主動(dòng)\被動(dòng)的的信息獲取方式,不間斷地從數(shù)據(jù)中心網(wǎng)絡(luò)中采集各設(shè)備類(lèi)型的多樣化日志信息,并將這些信息匯集到中心平臺(tái),進(jìn)行集中化的存儲(chǔ)、分析,并提供統(tǒng)一的日志查詢?nèi)肟;并提供?bào)表功能用以導(dǎo)出客戶的周期\非周期的日志趨勢(shì)情況,實(shí)現(xiàn)日志的全生命周期管理,同時(shí),還采集不同安全域內(nèi)的資產(chǎn)信息,通過(guò)網(wǎng)絡(luò)安全設(shè)備與域內(nèi)信息資產(chǎn)的綜合分析得出系統(tǒng)整體的安全風(fēng)險(xiǎn)信息。通過(guò)部署的安全日志采集模塊,將數(shù)據(jù)中心各網(wǎng)絡(luò)區(qū)域中網(wǎng)元設(shè)備的原始日志(包括但不限于網(wǎng)絡(luò)設(shè)備、主機(jī)系統(tǒng)、入侵防御系統(tǒng)、VPN系統(tǒng)、防火墻系統(tǒng)、IDS系統(tǒng)、審計(jì)系統(tǒng)、防病毒系統(tǒng)等)集中采集到安全事件系統(tǒng)中的服務(wù)器端進(jìn)行處理,處理的前提條件為該設(shè)備的日志信息需要提前提供日志格式,安全事件系統(tǒng)根據(jù)事件格式預(yù)先開(kāi)發(fā)適配解析插件,處理過(guò)程為根據(jù)插件ID匹配設(shè)備類(lèi)型,并結(jié)合過(guò)濾、歸并等規(guī)則統(tǒng)一多種類(lèi)多格式的日志數(shù)據(jù),從而實(shí)現(xiàn)了針對(duì)全網(wǎng)日志的集中收集和處理,具備了實(shí)時(shí)事件/業(yè)務(wù)安全監(jiān)控能力,底層通過(guò)對(duì)數(shù)據(jù)進(jìn)行挖掘和統(tǒng)計(jì)分析,利用查詢和檢索功能,為事后溯源審計(jì)提供有利的技術(shù)支持和保障。日志采集模塊負(fù)責(zé)在安全事件系統(tǒng)和安
第三章系統(tǒng)需求分析21日志數(shù)據(jù)表按照日志類(lèi)型過(guò)濾、歸并按照日志級(jí)別進(jìn)行過(guò)濾、歸并啟明綠盟天融信華為防火墻IPSWAF安全審計(jì)數(shù)據(jù)庫(kù)日志安全設(shè)備日志應(yīng)用系統(tǒng)日志其他類(lèi)型日志廠商類(lèi)型設(shè)備類(lèi)型日志類(lèi)型緊急急一般忽略重要一般重要不重要忽略緊急程度重要程度圖3.8日志處理流程(6)日志采集用例系統(tǒng)管理員日志采集插件日志采集Agent日志源管理設(shè)備插件適配添加日志源刪除日志源安裝agent綠盟防火墻插件啟明入侵檢測(cè)插件H3C交換機(jī)插件ORACLE數(shù)據(jù)庫(kù)插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<擴(kuò)展>><<擴(kuò)展>><<擴(kuò)展>><<擴(kuò)展>>圖3.9日志采集用例圖系統(tǒng)管理員可以添加日志源、配置日志采集插件及下載安裝日志采集Agent,同時(shí)日志采集插件可以按照日志源設(shè)備類(lèi)型的不同進(jìn)行區(qū)分。例如綠盟防火墻插件、啟明入侵檢測(cè)插件等,日志采集的用例如圖3.9日志采集用例圖所示。(1)用例描述表3.2日志采集模塊用例描述用例ID2用例名稱日志采集模塊用例用例簡(jiǎn)介通過(guò)用例描述設(shè)備將原始日志經(jīng)過(guò)插件配置、數(shù)據(jù)協(xié)議傳輸、范式化過(guò)
【參考文獻(xiàn)】:
期刊論文
[1]基于改進(jìn)Apriori算法的多源安全日志關(guān)聯(lián)分析[J]. 甕俊昊. 現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版). 2019(09)
[2]基于Hadoop的Web日志分析系統(tǒng)的設(shè)計(jì)[J]. 何璇,馬佳琳. 軟件工程. 2019(02)
[3]利用Elastic Stack構(gòu)建集中運(yùn)維日志分析平臺(tái)[J]. 張鵬. 電子技術(shù)與軟件工程. 2018(15)
[4]云計(jì)算下的一種關(guān)聯(lián)挖掘算法的研究[J]. 陳建堯. 科技通報(bào). 2018(07)
[5]基于SIEM的APT檢測(cè)與防御體系研究[J]. 李艷斐,李斯祺. 網(wǎng)絡(luò)空間安全. 2018(06)
[6]基于網(wǎng)絡(luò)日志進(jìn)行大數(shù)據(jù)分析的安全感知[J]. 向永謙,李欣,滿建文. 自動(dòng)化博覽. 2018(06)
[7]網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析方法實(shí)踐與反思[J]. 李倩. 黑河學(xué)院學(xué)報(bào). 2018(03)
[8]關(guān)聯(lián)挖掘算法及發(fā)展趨勢(shì)[J]. 李忠,安建琴,劉海軍,宋奕瑤. 智能計(jì)算機(jī)與應(yīng)用. 2017(05)
[9]多源日志聚合分析方法[J]. 顧兆軍,王帥卿,張禮哲. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(07)
[10]從日志中找線索[J]. 趙志遠(yuǎn),章繼剛,季瑩,孫楠楠. 網(wǎng)絡(luò)安全和信息化. 2017(06)
碩士論文
[1]日志采集器組件LogCollector的設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳志濤.華中科技大學(xué) 2019
[2]基于ELK的Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[3]基于行為分析的僵尸網(wǎng)絡(luò)畫(huà)像技術(shù)研究[D]. 周亞勝.西安電子科技大學(xué) 2018
[4]IDS告警信息關(guān)聯(lián)分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 李思達(dá).北京郵電大學(xué) 2018
[5]基于關(guān)聯(lián)分析的攻擊場(chǎng)景重構(gòu)算法研究[D]. 郭韜.北京郵電大學(xué) 2018
[6]基于時(shí)間序列數(shù)據(jù)挖掘的日志分析技術(shù)的研究[D]. 王陳.北京交通大學(xué) 2018
[7]關(guān)聯(lián)和聚類(lèi)分析在數(shù)據(jù)挖掘中應(yīng)用[D]. 余曉溪.云南大學(xué) 2015
[8]基于日志的安全信息與事件管理系統(tǒng)新架構(gòu)的研究與設(shè)計(jì)[D]. 王蘭云.北京郵電大學(xué) 2014
[9]基于Web日志的用戶訪問(wèn)模式挖掘的研究[D]. 夏聰.江蘇科技大學(xué) 2011
[10]基于SYSLOG的集中日志管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 葉玲肖.浙江工商大學(xué) 2011
本文編號(hào):3012458
【文章來(lái)源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:100 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
數(shù)據(jù)中心日志情況
西安電子科技大學(xué)碩士學(xué)位論文14其風(fēng)險(xiǎn)。日志采集支持標(biāo)準(zhǔn)日志信息格式包括Windows、Syslog、SNMP、數(shù)據(jù)庫(kù)、VIP、OPSEC、XML、ODBC、讀文件等,通過(guò)被采集方推送或采集方抓取的方式獲取被采集方的日志信息。同時(shí)在日志采集探針中包含了數(shù)百家廠商的日志范式化的數(shù)據(jù)信息以兼容這些廠家的不同設(shè)備,不同產(chǎn)品所產(chǎn)生的日志信息。當(dāng)然,采集的日志范式化數(shù)據(jù)集是可擴(kuò)展的,可以向后兼容使用標(biāo)準(zhǔn)協(xié)議的所有安全設(shè)備的日志信息,為信息系統(tǒng)的擴(kuò)展性,成長(zhǎng)性留下了充足的空間。如下所示圖3.2所示日志采集模塊按照采集的手段結(jié)合主動(dòng)\被動(dòng)的的信息獲取方式,不間斷地從數(shù)據(jù)中心網(wǎng)絡(luò)中采集各設(shè)備類(lèi)型的多樣化日志信息,并將這些信息匯集到中心平臺(tái),進(jìn)行集中化的存儲(chǔ)、分析,并提供統(tǒng)一的日志查詢?nèi)肟;并提供?bào)表功能用以導(dǎo)出客戶的周期\非周期的日志趨勢(shì)情況,實(shí)現(xiàn)日志的全生命周期管理,同時(shí),還采集不同安全域內(nèi)的資產(chǎn)信息,通過(guò)網(wǎng)絡(luò)安全設(shè)備與域內(nèi)信息資產(chǎn)的綜合分析得出系統(tǒng)整體的安全風(fēng)險(xiǎn)信息。通過(guò)部署的安全日志采集模塊,將數(shù)據(jù)中心各網(wǎng)絡(luò)區(qū)域中網(wǎng)元設(shè)備的原始日志(包括但不限于網(wǎng)絡(luò)設(shè)備、主機(jī)系統(tǒng)、入侵防御系統(tǒng)、VPN系統(tǒng)、防火墻系統(tǒng)、IDS系統(tǒng)、審計(jì)系統(tǒng)、防病毒系統(tǒng)等)集中采集到安全事件系統(tǒng)中的服務(wù)器端進(jìn)行處理,處理的前提條件為該設(shè)備的日志信息需要提前提供日志格式,安全事件系統(tǒng)根據(jù)事件格式預(yù)先開(kāi)發(fā)適配解析插件,處理過(guò)程為根據(jù)插件ID匹配設(shè)備類(lèi)型,并結(jié)合過(guò)濾、歸并等規(guī)則統(tǒng)一多種類(lèi)多格式的日志數(shù)據(jù),從而實(shí)現(xiàn)了針對(duì)全網(wǎng)日志的集中收集和處理,具備了實(shí)時(shí)事件/業(yè)務(wù)安全監(jiān)控能力,底層通過(guò)對(duì)數(shù)據(jù)進(jìn)行挖掘和統(tǒng)計(jì)分析,利用查詢和檢索功能,為事后溯源審計(jì)提供有利的技術(shù)支持和保障。日志采集模塊負(fù)責(zé)在安全事件系統(tǒng)和安
第三章系統(tǒng)需求分析21日志數(shù)據(jù)表按照日志類(lèi)型過(guò)濾、歸并按照日志級(jí)別進(jìn)行過(guò)濾、歸并啟明綠盟天融信華為防火墻IPSWAF安全審計(jì)數(shù)據(jù)庫(kù)日志安全設(shè)備日志應(yīng)用系統(tǒng)日志其他類(lèi)型日志廠商類(lèi)型設(shè)備類(lèi)型日志類(lèi)型緊急急一般忽略重要一般重要不重要忽略緊急程度重要程度圖3.8日志處理流程(6)日志采集用例系統(tǒng)管理員日志采集插件日志采集Agent日志源管理設(shè)備插件適配添加日志源刪除日志源安裝agent綠盟防火墻插件啟明入侵檢測(cè)插件H3C交換機(jī)插件ORACLE數(shù)據(jù)庫(kù)插件配置agent<<包含>><<包含>><<包含>><<包含>><<包含>><<擴(kuò)展>><<擴(kuò)展>><<擴(kuò)展>><<擴(kuò)展>>圖3.9日志采集用例圖系統(tǒng)管理員可以添加日志源、配置日志采集插件及下載安裝日志采集Agent,同時(shí)日志采集插件可以按照日志源設(shè)備類(lèi)型的不同進(jìn)行區(qū)分。例如綠盟防火墻插件、啟明入侵檢測(cè)插件等,日志采集的用例如圖3.9日志采集用例圖所示。(1)用例描述表3.2日志采集模塊用例描述用例ID2用例名稱日志采集模塊用例用例簡(jiǎn)介通過(guò)用例描述設(shè)備將原始日志經(jīng)過(guò)插件配置、數(shù)據(jù)協(xié)議傳輸、范式化過(guò)
【參考文獻(xiàn)】:
期刊論文
[1]基于改進(jìn)Apriori算法的多源安全日志關(guān)聯(lián)分析[J]. 甕俊昊. 現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版). 2019(09)
[2]基于Hadoop的Web日志分析系統(tǒng)的設(shè)計(jì)[J]. 何璇,馬佳琳. 軟件工程. 2019(02)
[3]利用Elastic Stack構(gòu)建集中運(yùn)維日志分析平臺(tái)[J]. 張鵬. 電子技術(shù)與軟件工程. 2018(15)
[4]云計(jì)算下的一種關(guān)聯(lián)挖掘算法的研究[J]. 陳建堯. 科技通報(bào). 2018(07)
[5]基于SIEM的APT檢測(cè)與防御體系研究[J]. 李艷斐,李斯祺. 網(wǎng)絡(luò)空間安全. 2018(06)
[6]基于網(wǎng)絡(luò)日志進(jìn)行大數(shù)據(jù)分析的安全感知[J]. 向永謙,李欣,滿建文. 自動(dòng)化博覽. 2018(06)
[7]網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析方法實(shí)踐與反思[J]. 李倩. 黑河學(xué)院學(xué)報(bào). 2018(03)
[8]關(guān)聯(lián)挖掘算法及發(fā)展趨勢(shì)[J]. 李忠,安建琴,劉海軍,宋奕瑤. 智能計(jì)算機(jī)與應(yīng)用. 2017(05)
[9]多源日志聚合分析方法[J]. 顧兆軍,王帥卿,張禮哲. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(07)
[10]從日志中找線索[J]. 趙志遠(yuǎn),章繼剛,季瑩,孫楠楠. 網(wǎng)絡(luò)安全和信息化. 2017(06)
碩士論文
[1]日志采集器組件LogCollector的設(shè)計(jì)與實(shí)現(xiàn)[D]. 陳志濤.華中科技大學(xué) 2019
[2]基于ELK的Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 羅學(xué)貫.華南理工大學(xué) 2018
[3]基于行為分析的僵尸網(wǎng)絡(luò)畫(huà)像技術(shù)研究[D]. 周亞勝.西安電子科技大學(xué) 2018
[4]IDS告警信息關(guān)聯(lián)分析系統(tǒng)的研究與實(shí)現(xiàn)[D]. 李思達(dá).北京郵電大學(xué) 2018
[5]基于關(guān)聯(lián)分析的攻擊場(chǎng)景重構(gòu)算法研究[D]. 郭韜.北京郵電大學(xué) 2018
[6]基于時(shí)間序列數(shù)據(jù)挖掘的日志分析技術(shù)的研究[D]. 王陳.北京交通大學(xué) 2018
[7]關(guān)聯(lián)和聚類(lèi)分析在數(shù)據(jù)挖掘中應(yīng)用[D]. 余曉溪.云南大學(xué) 2015
[8]基于日志的安全信息與事件管理系統(tǒng)新架構(gòu)的研究與設(shè)計(jì)[D]. 王蘭云.北京郵電大學(xué) 2014
[9]基于Web日志的用戶訪問(wèn)模式挖掘的研究[D]. 夏聰.江蘇科技大學(xué) 2011
[10]基于SYSLOG的集中日志管理系統(tǒng)的研究與實(shí)現(xiàn)[D]. 葉玲肖.浙江工商大學(xué) 2011
本文編號(hào):3012458
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3012458.html
最近更新
教材專(zhuān)著