數(shù)字圖書館作為一種全面、高效、便捷的公共資源管理平臺正在得到廣泛的應用,隨之而來網(wǎng)絡用戶訪問流量的不斷增大,讓數(shù)字圖書館公共資源管理平臺面臨了巨大的網(wǎng)絡安全風險.為解決數(shù)字圖書館公共資源管理平臺在投入使用過程中遭受網(wǎng)站惡意攻擊、網(wǎng)頁掛馬等系統(tǒng)安全問題,使用Spark Streaming技術設計一個實時日志分析系統(tǒng),對網(wǎng)站平臺進行實時日志分析.該系統(tǒng)具有實時性、功能針對性強、操作簡便等特點.經(jīng)過運行測試,能夠對數(shù)字圖書館公共資源管理平臺的運行起到保駕護航的作用. 

【文章來源】：廣西民族大學學報(自然科學版). 2020,26(01)

【文章頁數(shù)】：5 頁

【部分圖文】：

系統(tǒng)總體結構圖

核心程序流程主要分為部署Nginx服務器、使用Flume實時讀取Nginx日志、通過Kafka集群接收Flume實時數(shù)據(jù)、在Spark Streaming接收Kafka數(shù)據(jù)等五大大步驟,具體如圖2所示.3.1 部署Nginx服務器

Kafka集群中傳來的實時日志數(shù)據(jù)信息被spark streaming轉換為Dstream格式之后再接收和使用.本實時日志分析系統(tǒng)將通過直接讀取的功能接收實時日志數(shù)據(jù),首先,在Spark Streaming程序中通過驅動程序啟動作業(yè),然后使用執(zhí)行器通過偏移范圍的方式讀取Kafka集群中的日志文件數(shù)據(jù).[5]讀取完一輪數(shù)據(jù)之后,再通過查詢Kafka中的最新偏移范圍,再執(zhí)行日志數(shù)據(jù)的讀取,依次循環(huán)直到查詢不到最新的偏移范圍為止.具體流程如圖3所示.3.5 使用Spark Streaming進行日志分析

【參考文獻】：
期刊論文
[1]基于時序數(shù)據(jù)庫的用戶訪問日志分析系統(tǒng)設計[J]. 黃駿,梁奎寧,陳俏玲.  電子設計工程. 2019(23)
[2]Spark技術在高校網(wǎng)絡安全管理中的應用[J]. 殷紅花.  電腦知識與技術. 2019(20)
[3]基于協(xié)同過濾算法的課程資源平臺的設計與實現(xiàn)[J]. 莫恭鈿,陳正振.  信息通信. 2019(07)
[4]高校網(wǎng)站日志分析系統(tǒng)的研究與應用[J]. 尹鑫,種蘭祥,楊建鋒.  中國教育信息化. 2019(13)

碩士論文
[1]基于實時日志系統(tǒng)的海量日志服務平臺設計與實現(xiàn)[D]. 薛亞鵬.中國科學院大學(中國科學院工程管理與信息技術學院) 2017



本文編號：3562602