隨著云計算技術(shù)的不斷發(fā)展,以及云平臺的快捷部署,云服務(wù)已經(jīng)逐步融入到人們的日常生活中,用戶可以購買或者租用云服務(wù)的存儲和計算資源來輔助自己的工作,不過云環(huán)境的安全問題一直阻礙著云計算的快速發(fā)展。服務(wù)商可以在硬件資源和數(shù)據(jù)傳輸加密方面盡可能地保障云平臺的安全,但是用戶行為沒有得到合理的監(jiān)控。由于云環(huán)境的復雜性和多樣性,傳統(tǒng)的日志分析方法很難滿足云環(huán)境的安全需求,因此本文針對云環(huán)境下用戶行為安全問題,構(gòu)建了基于Flume的日志實時和完整性采集平臺,提出了基于神經(jīng)網(wǎng)絡(luò)的日志分析算法,對用戶行為的安全性做出準確分析,保障云環(huán)境的安全穩(wěn)定。本文的主要研究內(nèi)容和創(chuàng)新點如下:(1)構(gòu)建了基于Flume的日志采集框架,根據(jù)云環(huán)境中用戶行為日志的特點設(shè)計了自定義的采集模塊,針對日志采集完整性問題提出了基于分類的隊列管理算法,充分利用數(shù)據(jù)傳輸過程中的各種監(jiān)控數(shù)據(jù),使用分類的機制實現(xiàn)負載均衡,讓采集平臺中的緩沖隊列能夠及時協(xié)調(diào)采集速率和傳輸速率。針對日志采集實時性問題,利用攔截器對采集到的日志進行實時過濾,同時使用簡易的輸出格式異步地進行日志采集。該采集框架能夠在保證日志采集完整性的同時,盡可能地提升采集效率。(2)云環(huán)境中,傳統(tǒng)的日志分析算法無法將日志特征和特征之間的關(guān)聯(lián)性統(tǒng)一起來,導致一些重要的日志信息被忽略,同時實現(xiàn)框架不支持分布式運算,降低了分析效率。因此提出了Detm算法,該算法使用稠密的卷積層對日志數(shù)據(jù)進行充分的特征提取,提取到抽象的高維度特征之后利用記憶網(wǎng)絡(luò)分析不同類型日志之間關(guān)聯(lián)性,最終通過全連接層融合日志數(shù)據(jù),得到輸出結(jié)果。該算法不僅考慮到了不同類型日志之間的關(guān)聯(lián)性,而且使用分布式運算實現(xiàn),具備較高的準確率以及可擴展性。(3)設(shè)計并且實現(xiàn)了基于用戶日志的行為分析系統(tǒng),對日志采集模塊和日志分析模塊進行了周密的設(shè)計,并且詳細闡述了每個模塊的工作流程。利用該行為分析系統(tǒng)對云環(huán)境下用戶進行實驗,實驗結(jié)果表明該原型系統(tǒng)能夠?qū)θ罩具M行有效的采集和備份,同時對用戶行為的安全性做出判斷,達到及時分析的效果,保證云環(huán)境的安全。
【學位單位】：南京郵電大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP393.09;TP183
【部分圖文】：

圖 3.2 緩沖區(qū)大小實驗圖.2 中可以發(fā)現(xiàn)在三種采集場景下，緩沖區(qū)大小在 80M 左右時所需要的 個采集源采集所需要時間明顯少于 2 個和 4 個采集源的場景，可見多進行采集能夠提升效率，但是采集源過多之后效率提升并不明顯，另沖區(qū)大小達到一定數(shù)值之后采集時間都相應(yīng)地趨于平穩(wěn)，可見適當?shù)牟杉瘯r間，但是日志數(shù)據(jù)量增多也不能盲目增加緩存，此時消耗系統(tǒng)能帶來了微乎其微的提升。面，為了驗證采集系統(tǒng)中加入隊列管理算法能夠保證數(shù)據(jù)采集完整性，ux系統(tǒng)中指定文件里文本的變化以及文件增加所產(chǎn)生的日志。測試在兩完整性。模擬用戶創(chuàng)建文件，并且向文件中寫入文本，分別使用標準的 Flume的 Flume 采集日志，然后計算出采集到的日志數(shù)據(jù)與實際日志數(shù)據(jù)之間采用正確匹配的條數(shù)占總?cè)罩緱l數(shù)的比例。實驗時考慮到本文場景中

圖 3.3 隊列管理算法實驗結(jié)果 3.3 中可以發(fā)現(xiàn)，在 6 個采集源和 6 個水槽的情況下，數(shù)據(jù)采集的完整性管理算法之后對數(shù)據(jù)采集的完整性有較大程度的提升。在 2 個采集源的情整性處于低值，原因是采集速率和傳輸速率之間的不協(xié)調(diào)導致的，這時候，對完整性的提升還是比較理想。在 8 個采集源的情況下，采集的完整性開日志的采集速率過快，緩沖隊列也無法完全協(xié)調(diào)，導致日志數(shù)據(jù)存在較多隊列管理算法也不能提升數(shù)據(jù)完整性。采集效率的實驗。通過 Flume 自定義配置以及相應(yīng)接口的重新實現(xiàn)，對云產(chǎn)生的系統(tǒng)日志進行采集，獲取整個過程采集所消耗的時間。將標準的 Flu置、加入隊列管理的標準配置以及加入隊列管理的自定義配置所消耗的時對比，采集源和水槽的個數(shù)都設(shè)定為 6 個，這樣避免了采集源和傳輸不匹的影響。上述的 4 種狀況的對應(yīng)關(guān)系如表 3.1 所示：表 3.1 采集配置情況對應(yīng)表

南京郵電大學專業(yè)學位碩士研究生學位論文 第四章 基于稠密網(wǎng)絡(luò)的日志分析算法確率和泛化性會降低。所以這里將采取神經(jīng)網(wǎng)絡(luò)的方式做一個分類的操作。神經(jīng)網(wǎng)絡(luò)利用網(wǎng)絡(luò)的結(jié)構(gòu)上的設(shè)計配合反向傳播算法，加上合理的損失函數(shù)，能夠?qū)⑷罩緮?shù)據(jù)的特征提取出來，同時考慮到不同類型日志之間的關(guān)聯(lián)性。根據(jù)日志的特點設(shè)計如圖 4.1 所示的結(jié)構(gòu):
【相似文獻】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機會[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進行日志分析[J];電腦開發(fā)與應(yīng)用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫時代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢?nèi)罩痉治瞿Ｐ蜆?gòu)建機制[J];數(shù)字通信世界;2017年11期

6 錢衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺應(yīng)用探索與實踐[J];金融科技時代;2018年01期

8 王立柱;朱茜;;實時日志分析系統(tǒng)在河南氣象信息化中的應(yīng)用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運維管理中的應(yīng)用[J];金融電子化;2017年03期

相關(guān)博士學位論文 前1條

1 李志強;基于網(wǎng)絡(luò)日志的用戶行為分析[D];北京理工大學;2016年

相關(guān)碩士學位論文 前10條

1 孔令棋;基于Hadoop的上網(wǎng)日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];安徽工業(yè)大學;2019年

2 龐潔;基于流計算的集群日志實時分析系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2019年

3 吳鑫泉;自主容器云平臺日志的大數(shù)據(jù)分析研究與實現(xiàn)[D];中國電子科技集團公司電子科學研究院;2019年

4 徐戰(zhàn)輝;CDN海量日志實時分析問題研究與平臺開發(fā)[D];西安電子科技大學;2019年

5 時熙然;基于日志的異常檢測研究[D];中國民航大學;2019年

6 郭舒婷;多粒度日志自動解析方法研究[D];南京郵電大學;2019年

7 蔡波;云環(huán)境中用戶日志采集和處理算法的研究與實現(xiàn)[D];南京郵電大學;2019年

8 龔立航;基于海量日志的服務(wù)器故障分析技術(shù)研究[D];上海交通大學;2018年

9 孫書亞;日志誘導下的流程變化挖掘方法研究[D];安徽理工大學;2019年

10 魚有淵;音樂類移動應(yīng)用的日志收集分析系統(tǒng)設(shè)計與實現(xiàn)[D];北京交通大學;2019年

本文編號：2859038