近年來(lái)隨著互聯(lián)網(wǎng)的快速發(fā)展,網(wǎng)絡(luò)安全形勢(shì)也更加嚴(yán)峻。針對(duì)日志數(shù)據(jù)的關(guān)聯(lián)分析逐漸成為挖掘網(wǎng)絡(luò)安全事件的關(guān)鍵技術(shù)。傳統(tǒng)的關(guān)聯(lián)分析算法主要以頻繁項(xiàng)集挖掘?yàn)橹?但隨著大數(shù)據(jù)時(shí)代的到來(lái),安全日志數(shù)據(jù)規(guī)模陡增,數(shù)據(jù)形式更加復(fù)雜多樣,頻繁項(xiàng)集的生成效率日漸成為數(shù)據(jù)分析的主要瓶頸。本文從安全數(shù)據(jù)分析需求和傳統(tǒng)算法的不足出發(fā),綜合了大數(shù)據(jù)技術(shù)應(yīng)用的必要性,探討了基于大數(shù)據(jù)的關(guān)聯(lián)算法的改進(jìn)方向,并對(duì)典型的算法模型進(jìn)行了深入的討論剖析。 

【文章來(lái)源】：網(wǎng)絡(luò)新媒體技術(shù). 2020,9(03)

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

基于 Spark 框架的FP-Growth

基于MapReduce并行的FP-growth 算法

其中針對(duì)頻繁模式挖掘算法的性能,研究人員從頻繁模式挖掘的執(zhí)行運(yùn)行時(shí)間和內(nèi)存消耗兩個(gè)方面進(jìn)行了大量的實(shí)驗(yàn)測(cè)試。根據(jù)Meenakshi等人[18]給出的實(shí)驗(yàn)結(jié)果,挖掘平均事務(wù)大小為15的頻繁項(xiàng)集在水平布局?jǐn)?shù)據(jù)中的平均執(zhí)行運(yùn)行時(shí)間為30.87s;挖掘平均事務(wù)大小為28的頻繁項(xiàng)集在水平布局?jǐn)?shù)據(jù)中的平均執(zhí)行運(yùn)行時(shí)間為34.01s。這說(shuō)明無(wú)論數(shù)據(jù)庫(kù)采用何種布局,挖掘頻繁項(xiàng)集所需的時(shí)間一定會(huì)隨著數(shù)據(jù)量的增加而急劇增加。此外,挖掘平均事務(wù)大小為15的頻繁項(xiàng)集平均需要37.63 MB的內(nèi)存。這表明,當(dāng)數(shù)據(jù)規(guī)模大幅度增加時(shí),內(nèi)存消耗肯定也會(huì)相應(yīng)增加。由上述分析可知,傳統(tǒng)的關(guān)聯(lián)分析算法普遍受制于這兩種因素而很難適應(yīng)海量安全日志數(shù)據(jù)的應(yīng)用環(huán)境,故我們引入了大數(shù)據(jù)框架來(lái)嘗試解決計(jì)算問(wèn)題的瓶頸。圖3 基于MapReduce并行的FP-growth 算法

【參考文獻(xiàn)】：
期刊論文
[1]基于Spark的并行FP-Growth算法優(yōu)化與實(shí)現(xiàn)[J]. 陸可,桂偉,江雨燕,杜萍萍.  計(jì)算機(jī)應(yīng)用與軟件. 2017(09)
[2]IABS:一個(gè)基于Spark的Apriori改進(jìn)算法[J]. 閆夢(mèng)潔,羅軍,劉建英,侯傳旺.  計(jì)算機(jī)應(yīng)用研究. 2017(08)
[3]基于Spark的Apriori算法的改進(jìn)[J]. 牛海玲,魯慧民,劉振杰.  東北師大學(xué)報(bào)(自然科學(xué)版). 2016(01)
[4]網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]. 王帥,汪來(lái)富,金華敏,沈軍.  電信科學(xué). 2015(07)
[5]一種基于MapReduce的并行FP-growth算法[J]. 楊勇,王偉.  重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2013(05)
[6]基于MapReduce的海量事件日志并行轉(zhuǎn)化算法[J]. 竇蒙,聞立杰,王建民,閆志強(qiáng).  計(jì)算機(jī)集成制造系統(tǒng). 2013(08)
[7]一種基于日志關(guān)聯(lián)分析的取證模型[J]. 周建華.  計(jì)算機(jī)時(shí)代. 2007(10)



本文編號(hào)：3536465