隨著互聯(lián)網(wǎng)技術(shù)的急速發(fā)展,網(wǎng)絡中每天都會有TB級以上的數(shù)據(jù)產(chǎn)生,這使得傳統(tǒng)數(shù)據(jù)挖工作受到了挑戰(zhàn),大數(shù)據(jù)技術(shù)因此應運而生。大數(shù)據(jù)這一新興學科具有極為明顯的特性,首先其極大的容量與極高的運行和分析速度令傳統(tǒng)數(shù)據(jù)望塵莫及,其次其數(shù)據(jù)的高價值與多樣性也是傳統(tǒng)數(shù)據(jù)所無法比擬的。但大數(shù)據(jù)仍然存在低值密度問題。這也是我們現(xiàn)在需要馬上解決的問題,即如何實現(xiàn)快速地從這些海量數(shù)據(jù)中提取出有價值的信息。與此同時,關于互聯(lián)網(wǎng)安全方面,我們普遍使用的入侵檢測系統(tǒng)只單純的進行把獲得的數(shù)據(jù)和已存在的攻擊模式庫比較工作,這種模式對于已經(jīng)存在于模式庫內(nèi)的攻擊類型效果較好,可是對于新型攻擊或者已存攻擊的變種類型就無能為力了。故我們需要進一步發(fā)展和使現(xiàn)有的系統(tǒng),適應現(xiàn)在層出不窮的攻擊方式,從而解決現(xiàn)有的入侵檢測系統(tǒng)無法滿足入侵檢測系統(tǒng)日志數(shù)量的快速增所造成的問題。由于上述問題的出現(xiàn),此論文在有關大數(shù)據(jù)的入侵檢測系統(tǒng)方面的應用進行了有深度的研究。通過解析現(xiàn)有的有缺陷的頻繁項集挖掘算法,來主要發(fā)現(xiàn)并完善在現(xiàn)有分布式條件下的優(yōu)化算法,此論文選擇了當前相對完善的Hadoop分布式平臺作為技術(shù)支持,由此提出完善分布式關聯(lián)規(guī)則算法的全... 

【文章來源】：西安理工大學陜西省

【文章頁數(shù)】：62 頁

【學位級別】：碩士

【部分圖文】：

Hadoop基本框架圖

圖 2-2 MapReduce 模型原理圖Figure 2-2 MapReduce Model Schematic圖 2-3 MapReducce 工作機制圖Figure 2-3 MapReducce Working Mechanism過程如下:端

7圖 2-3 MapReducce 工作機制圖Figure 2-3 MapReducce Working Mechanism具體執(zhí)行過程如下:(1)Map 端在進行數(shù)據(jù)或信息的輸出時，Map 函數(shù)會運用緩沖的途徑寫到內(nèi)存，為了提高效率，同時會對寫入內(nèi)容預排序。

【參考文獻】：
期刊論文
[1]PDMiner:基于云計算的并行分布式數(shù)據(jù)挖掘工具平臺[J]. 何清,莊福振,曾立,趙衛(wèi)中,譚慶.  中國科學:信息科學. 2014(07)
[2]MapReduce原理及其主要實現(xiàn)平臺分析[J]. 亢麗蕓,王效岳,白如江.  現(xiàn)代圖書情報技術(shù). 2012(02)
[3]一種基于數(shù)據(jù)挖掘的Snort系統(tǒng)的設計與應用[J]. 魏德志,王奇光,林麗娜.  集美大學學報(自然科學版). 2011(05)
[4]基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型及實用分析[J]. 王彩榮,金碩.  微處理機. 2010(01)
[5]數(shù)據(jù)挖掘技術(shù)在Snort IDS中的應用[J]. 梁建營,王錚.  重慶工學院學報(自然科學版). 2008(05)

碩士論文
[1]云環(huán)境下數(shù)據(jù)挖掘算法的研究與設計[D]. 何佩佩.東華大學 2016
[2]基于Snort的入侵檢測系統(tǒng)的改進與實現(xiàn)[D]. 雷鵬瑋.北京郵電大學 2015
[3]云計算技術(shù)在協(xié)同過濾推薦中的應用研究[D]. 況亞萍.中國科學技術(shù)大學 2014
[4]基于Hadoop云計算平臺的聚類算法并行化研究[D]. 張亞楠.內(nèi)蒙古科技大學 2013
[5]基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)的設計與實現(xiàn)[D]. 張國喜.東北大學 2013
[6]基于SNORT入侵檢測系統(tǒng)的單模式匹配算法研究[D]. 馮燕強.廣西大學 2013
[7]基于HDFS的存儲技術(shù)的研究[D]. 王永洲.南京郵電大學 2013
[8]基于云計算的日志挖掘系統(tǒng)設計與實現(xiàn)[D]. 曾杰.華中科技大學 2013
[9]基于入侵檢測的網(wǎng)絡安全研究[D]. 沈濤.重慶大學 2012
[10]基于Hadoop的海量數(shù)據(jù)處理模型研究和應用[D]. 朱珠.北京郵電大學 2008



本文編號：2951528