隨著云計(jì)算技術(shù)的不斷發(fā)展,以及云平臺(tái)的快捷部署,云服務(wù)已經(jīng)逐步融入到人們的日常生活中,用戶(hù)可以購(gòu)買(mǎi)或者租用云服務(wù)的存儲(chǔ)和計(jì)算資源來(lái)輔助自己的工作,不過(guò)云環(huán)境的安全問(wèn)題一直阻礙著云計(jì)算的快速發(fā)展。服務(wù)商可以在硬件資源和數(shù)據(jù)傳輸加密方面盡可能地保障云平臺(tái)的安全,但是用戶(hù)行為沒(méi)有得到合理的監(jiān)控。由于云環(huán)境的復(fù)雜性和多樣性,傳統(tǒng)的日志分析方法很難滿(mǎn)足云環(huán)境的安全需求,因此本文針對(duì)云環(huán)境下用戶(hù)行為安全問(wèn)題,構(gòu)建了基于Flume的日志實(shí)時(shí)和完整性采集平臺(tái),提出了基于神經(jīng)網(wǎng)絡(luò)的日志分析算法,對(duì)用戶(hù)行為的安全性做出準(zhǔn)確分析,保障云環(huán)境的安全穩(wěn)定。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:(1)構(gòu)建了基于Flume的日志采集框架,根據(jù)云環(huán)境中用戶(hù)行為日志的特點(diǎn)設(shè)計(jì)了自定義的采集模塊,針對(duì)日志采集完整性問(wèn)題提出了基于分類(lèi)的隊(duì)列管理算法,充分利用數(shù)據(jù)傳輸過(guò)程中的各種監(jiān)控?cái)?shù)據(jù),使用分類(lèi)的機(jī)制實(shí)現(xiàn)負(fù)載均衡,讓采集平臺(tái)中的緩沖隊(duì)列能夠及時(shí)協(xié)調(diào)采集速率和傳輸速率。針對(duì)日志采集實(shí)時(shí)性問(wèn)題,利用攔截器對(duì)采集到的日志進(jìn)行實(shí)時(shí)過(guò)濾,同時(shí)使用簡(jiǎn)易的輸出格式異步地進(jìn)行日志采集。該采集框架能夠在保證日志采集完整性的同時(shí),盡可能地提升采集效率。(2)云環(huán)境中,傳統(tǒng)的日志分析算法無(wú)法將日志特征和特征之間的關(guān)聯(lián)性統(tǒng)一起來(lái),導(dǎo)致一些重要的日志信息被忽略,同時(shí)實(shí)現(xiàn)框架不支持分布式運(yùn)算,降低了分析效率。因此提出了Detm算法,該算法使用稠密的卷積層對(duì)日志數(shù)據(jù)進(jìn)行充分的特征提取,提取到抽象的高維度特征之后利用記憶網(wǎng)絡(luò)分析不同類(lèi)型日志之間關(guān)聯(lián)性,最終通過(guò)全連接層融合日志數(shù)據(jù),得到輸出結(jié)果。該算法不僅考慮到了不同類(lèi)型日志之間的關(guān)聯(lián)性,而且使用分布式運(yùn)算實(shí)現(xiàn),具備較高的準(zhǔn)確率以及可擴(kuò)展性。(3)設(shè)計(jì)并且實(shí)現(xiàn)了基于用戶(hù)日志的行為分析系統(tǒng),對(duì)日志采集模塊和日志分析模塊進(jìn)行了周密的設(shè)計(jì),并且詳細(xì)闡述了每個(gè)模塊的工作流程。利用該行為分析系統(tǒng)對(duì)云環(huán)境下用戶(hù)進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明該原型系統(tǒng)能夠?qū)θ罩具M(jìn)行有效的采集和備份,同時(shí)對(duì)用戶(hù)行為的安全性做出判斷,達(dá)到及時(shí)分析的效果,保證云環(huán)境的安全。
【學(xué)位單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TP393.09;TP183
【部分圖文】：

圖 3.2 緩沖區(qū)大小實(shí)驗(yàn)圖.2 中可以發(fā)現(xiàn)在三種采集場(chǎng)景下，緩沖區(qū)大小在 80M 左右時(shí)所需要的 個(gè)采集源采集所需要時(shí)間明顯少于 2 個(gè)和 4 個(gè)采集源的場(chǎng)景，可見(jiàn)多進(jìn)行采集能夠提升效率，但是采集源過(guò)多之后效率提升并不明顯，另沖區(qū)大小達(dá)到一定數(shù)值之后采集時(shí)間都相應(yīng)地趨于平穩(wěn)，可見(jiàn)適當(dāng)?shù)牟杉瘯r(shí)間，但是日志數(shù)據(jù)量增多也不能盲目增加緩存，此時(shí)消耗系統(tǒng)能帶來(lái)了微乎其微的提升。面，為了驗(yàn)證采集系統(tǒng)中加入隊(duì)列管理算法能夠保證數(shù)據(jù)采集完整性，ux系統(tǒng)中指定文件里文本的變化以及文件增加所產(chǎn)生的日志。測(cè)試在兩完整性。模擬用戶(hù)創(chuàng)建文件，并且向文件中寫(xiě)入文本，分別使用標(biāo)準(zhǔn)的 Flume的 Flume 采集日志，然后計(jì)算出采集到的日志數(shù)據(jù)與實(shí)際日志數(shù)據(jù)之間采用正確匹配的條數(shù)占總?cè)罩緱l數(shù)的比例。實(shí)驗(yàn)時(shí)考慮到本文場(chǎng)景中

圖 3.3 隊(duì)列管理算法實(shí)驗(yàn)結(jié)果 3.3 中可以發(fā)現(xiàn)，在 6 個(gè)采集源和 6 個(gè)水槽的情況下，數(shù)據(jù)采集的完整性管理算法之后對(duì)數(shù)據(jù)采集的完整性有較大程度的提升。在 2 個(gè)采集源的情整性處于低值，原因是采集速率和傳輸速率之間的不協(xié)調(diào)導(dǎo)致的，這時(shí)候，對(duì)完整性的提升還是比較理想。在 8 個(gè)采集源的情況下，采集的完整性開(kāi)日志的采集速率過(guò)快，緩沖隊(duì)列也無(wú)法完全協(xié)調(diào)，導(dǎo)致日志數(shù)據(jù)存在較多隊(duì)列管理算法也不能提升數(shù)據(jù)完整性。采集效率的實(shí)驗(yàn)。通過(guò) Flume 自定義配置以及相應(yīng)接口的重新實(shí)現(xiàn)，對(duì)云產(chǎn)生的系統(tǒng)日志進(jìn)行采集，獲取整個(gè)過(guò)程采集所消耗的時(shí)間。將標(biāo)準(zhǔn)的 Flu置、加入隊(duì)列管理的標(biāo)準(zhǔn)配置以及加入隊(duì)列管理的自定義配置所消耗的時(shí)對(duì)比，采集源和水槽的個(gè)數(shù)都設(shè)定為 6 個(gè)，這樣避免了采集源和傳輸不匹的影響。上述的 4 種狀況的對(duì)應(yīng)關(guān)系如表 3.1 所示：表 3.1 采集配置情況對(duì)應(yīng)表

南京郵電大學(xué)專(zhuān)業(yè)學(xué)位碩士研究生學(xué)位論文 第四章 基于稠密網(wǎng)絡(luò)的日志分析算法確率和泛化性會(huì)降低。所以這里將采取神經(jīng)網(wǎng)絡(luò)的方式做一個(gè)分類(lèi)的操作。神經(jīng)網(wǎng)絡(luò)利用網(wǎng)絡(luò)的結(jié)構(gòu)上的設(shè)計(jì)配合反向傳播算法，加上合理的損失函數(shù)，能夠?qū)⑷罩緮?shù)據(jù)的特征提取出來(lái)，同時(shí)考慮到不同類(lèi)型日志之間的關(guān)聯(lián)性。根據(jù)日志的特點(diǎn)設(shè)計(jì)如圖 4.1 所示的結(jié)構(gòu):
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;;日志易 利用人工智能從日志分析中尋求機(jī)會(huì)[J];創(chuàng)業(yè)邦;2018年01期

2 李靜;施勇;薛質(zhì);;基于蜜罐日志分析的主動(dòng)防御研究[J];信息安全與通信保密;2009年03期

3 王二暖;康李;;Oracle中使用LogMiner進(jìn)行日志分析[J];電腦開(kāi)發(fā)與應(yīng)用;2007年09期

4 朱欣怡;;基于大數(shù)據(jù)技術(shù)的日志分析體系結(jié)構(gòu)的研究[J];智庫(kù)時(shí)代;2019年15期

5 王逸兮;馮浩;劉芬;;大規(guī)模查詢(xún)?nèi)罩痉治瞿Ｐ蜆?gòu)建機(jī)制[J];數(shù)字通信世界;2017年11期

6 錢(qián)衛(wèi);袁瑞冬;;集中管理服務(wù)日志[J];網(wǎng)絡(luò)安全和信息化;2017年06期

7 胡沐創(chuàng);;大數(shù)據(jù)日志分析平臺(tái)應(yīng)用探索與實(shí)踐[J];金融科技時(shí)代;2018年01期

8 王立柱;朱茜;;實(shí)時(shí)日志分析系統(tǒng)在河南氣象信息化中的應(yīng)用[J];氣象水文海洋儀器;2018年03期

9 ;SITEVIEW DeepLOG深度日志分析[J];網(wǎng)絡(luò)安全和信息化;2016年05期

10 周航;畢永軍;;日志分析技術(shù)在IT運(yùn)維管理中的應(yīng)用[J];金融電子化;2017年03期

相關(guān)博士學(xué)位論文 前1條

1 李志強(qiáng);基于網(wǎng)絡(luò)日志的用戶(hù)行為分析[D];北京理工大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 孔令棋;基于Hadoop的上網(wǎng)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];安徽工業(yè)大學(xué);2019年

2 龐潔;基于流計(jì)算的集群日志實(shí)時(shí)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2019年

3 吳鑫泉;自主容器云平臺(tái)日志的大數(shù)據(jù)分析研究與實(shí)現(xiàn)[D];中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院;2019年

4 徐戰(zhàn)輝;CDN海量日志實(shí)時(shí)分析問(wèn)題研究與平臺(tái)開(kāi)發(fā)[D];西安電子科技大學(xué);2019年

5 時(shí)熙然;基于日志的異常檢測(cè)研究[D];中國(guó)民航大學(xué);2019年

6 郭舒婷;多粒度日志自動(dòng)解析方法研究[D];南京郵電大學(xué);2019年

7 蔡波;云環(huán)境中用戶(hù)日志采集和處理算法的研究與實(shí)現(xiàn)[D];南京郵電大學(xué);2019年

8 龔立航;基于海量日志的服務(wù)器故障分析技術(shù)研究[D];上海交通大學(xué);2018年

9 孫書(shū)亞;日志誘導(dǎo)下的流程變化挖掘方法研究[D];安徽理工大學(xué);2019年

10 魚(yú)有淵;音樂(lè)類(lèi)移動(dòng)應(yīng)用的日志收集分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2019年

本文編號(hào)：2859038