發(fā)布時(shí)間：2021-09-19 02:41

　　本文介紹了一種網(wǎng)絡(luò)威脅情報(bào)處理系統(tǒng)的設(shè)計(jì)與開發(fā),該系統(tǒng)作為安全防御系統(tǒng)的一部分,能持續(xù)穩(wěn)定的輸出可靠的威脅情報(bào)。文中從威脅情報(bào)系統(tǒng)的需求和特點(diǎn)出發(fā),介紹了系統(tǒng)的總體架構(gòu)、大數(shù)據(jù)技術(shù)的應(yīng)用和關(guān)鍵設(shè)計(jì)等。威脅情報(bào)系統(tǒng)主要使用大數(shù)據(jù)技術(shù)對(duì)情報(bào)數(shù)據(jù)進(jìn)行處理、分析和管理,本文詳細(xì)介紹了這些大數(shù)據(jù)技術(shù)的應(yīng)用,為類似系統(tǒng)的設(shè)計(jì)提供參考。 

【文章來源】：網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2020,(08)

【文章頁(yè)數(shù)】：3 頁(yè)

【部分圖文】：

威脅情報(bào)系統(tǒng)

系統(tǒng)中使用了各種大數(shù)據(jù)技術(shù)，按模塊分如圖2所示。數(shù)據(jù)處理模塊使用流式數(shù)據(jù)處理和數(shù)據(jù)處理管道技術(shù)，對(duì)收集來的數(shù)據(jù)進(jìn)行過濾、格式轉(zhuǎn)換、復(fù)雜變換和數(shù)據(jù)豐富化等處理，使用數(shù)據(jù)管道再進(jìn)行數(shù)據(jù)分發(fā)。數(shù)據(jù)流式處理使用Spark Structure Streaming，數(shù)據(jù)處理管道使用Logstash和Kafka。數(shù)據(jù)存儲(chǔ)使用基于Hadoop HDFS的數(shù)據(jù)倉(cāng)庫(kù)Delta Lake，配合分布式數(shù)據(jù)處理引擎Spark進(jìn)行數(shù)據(jù)分析和挖掘。全文檢索和分析型數(shù)據(jù)庫(kù)用于“熱數(shù)據(jù)”的搜索、統(tǒng)計(jì)和分析。云端對(duì)象存儲(chǔ)S3用于數(shù)據(jù)備份和中轉(zhuǎn)。技術(shù)棧的選擇并非唯一的，如數(shù)據(jù)流式處理可以選擇Flink、分析型數(shù)據(jù)庫(kù)可選擇ClickHouse等，最終的選擇根據(jù)實(shí)際使用需求、云平臺(tái)的使用以及開發(fā)和使用人員的技術(shù)偏好等因素綜合考慮。2 情報(bào)數(shù)據(jù)處理

Data at Rest和Data in Motion


本文編號(hào)：3400844