數(shù)字圖書館作為一種全面、高效、便捷的公共資源管理平臺(tái)正在得到廣泛的應(yīng)用,隨之而來(lái)網(wǎng)絡(luò)用戶訪問流量的不斷增大,讓數(shù)字圖書館公共資源管理平臺(tái)面臨了巨大的網(wǎng)絡(luò)安全風(fēng)險(xiǎn).為解決數(shù)字圖書館公共資源管理平臺(tái)在投入使用過程中遭受網(wǎng)站惡意攻擊、網(wǎng)頁(yè)掛馬等系統(tǒng)安全問題,使用Spark Streaming技術(shù)設(shè)計(jì)一個(gè)實(shí)時(shí)日志分析系統(tǒng),對(duì)網(wǎng)站平臺(tái)進(jìn)行實(shí)時(shí)日志分析.該系統(tǒng)具有實(shí)時(shí)性、功能針對(duì)性強(qiáng)、操作簡(jiǎn)便等特點(diǎn).經(jīng)過運(yùn)行測(cè)試,能夠?qū)?shù)字圖書館公共資源管理平臺(tái)的運(yùn)行起到保駕護(hù)航的作用. 

【文章來(lái)源】：廣西民族大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020,26(01)

【文章頁(yè)數(shù)】：5 頁(yè)

【部分圖文】：

系統(tǒng)總體結(jié)構(gòu)圖

核心程序流程主要分為部署Nginx服務(wù)器、使用Flume實(shí)時(shí)讀取Nginx日志、通過Kafka集群接收Flume實(shí)時(shí)數(shù)據(jù)、在Spark Streaming接收Kafka數(shù)據(jù)等五大大步驟,具體如圖2所示.3.1 部署Nginx服務(wù)器

Kafka集群中傳來(lái)的實(shí)時(shí)日志數(shù)據(jù)信息被spark streaming轉(zhuǎn)換為Dstream格式之后再接收和使用.本實(shí)時(shí)日志分析系統(tǒng)將通過直接讀取的功能接收實(shí)時(shí)日志數(shù)據(jù),首先,在Spark Streaming程序中通過驅(qū)動(dòng)程序啟動(dòng)作業(yè),然后使用執(zhí)行器通過偏移范圍的方式讀取Kafka集群中的日志文件數(shù)據(jù).[5]讀取完一輪數(shù)據(jù)之后,再通過查詢Kafka中的最新偏移范圍,再執(zhí)行日志數(shù)據(jù)的讀取,依次循環(huán)直到查詢不到最新的偏移范圍為止.具體流程如圖3所示.3.5 使用Spark Streaming進(jìn)行日志分析

【參考文獻(xiàn)】：
期刊論文
[1]基于時(shí)序數(shù)據(jù)庫(kù)的用戶訪問日志分析系統(tǒng)設(shè)計(jì)[J]. 黃駿,梁奎寧,陳俏玲.  電子設(shè)計(jì)工程. 2019(23)
[2]Spark技術(shù)在高校網(wǎng)絡(luò)安全管理中的應(yīng)用[J]. 殷紅花.  電腦知識(shí)與技術(shù). 2019(20)
[3]基于協(xié)同過濾算法的課程資源平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 莫恭鈿,陳正振.  信息通信. 2019(07)
[4]高校網(wǎng)站日志分析系統(tǒng)的研究與應(yīng)用[J]. 尹鑫,種蘭祥,楊建鋒.  中國(guó)教育信息化. 2019(13)

碩士論文
[1]基于實(shí)時(shí)日志系統(tǒng)的海量日志服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 薛亞鵬.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院) 2017



本文編號(hào)：3562602