隨著互聯(lián)網(wǎng)技術(shù)的急速發(fā)展,網(wǎng)絡(luò)中每天都會(huì)有TB級(jí)以上的數(shù)據(jù)產(chǎn)生,這使得傳統(tǒng)數(shù)據(jù)挖工作受到了挑戰(zhàn),大數(shù)據(jù)技術(shù)因此應(yīng)運(yùn)而生。大數(shù)據(jù)這一新興學(xué)科具有極為明顯的特性,首先其極大的容量與極高的運(yùn)行和分析速度令傳統(tǒng)數(shù)據(jù)望塵莫及,其次其數(shù)據(jù)的高價(jià)值與多樣性也是傳統(tǒng)數(shù)據(jù)所無(wú)法比擬的。但大數(shù)據(jù)仍然存在低值密度問(wèn)題。這也是我們現(xiàn)在需要馬上解決的問(wèn)題,即如何實(shí)現(xiàn)快速地從這些海量數(shù)據(jù)中提取出有價(jià)值的信息。與此同時(shí),關(guān)于互聯(lián)網(wǎng)安全方面,我們普遍使用的入侵檢測(cè)系統(tǒng)只單純的進(jìn)行把獲得的數(shù)據(jù)和已存在的攻擊模式庫(kù)比較工作,這種模式對(duì)于已經(jīng)存在于模式庫(kù)內(nèi)的攻擊類型效果較好,可是對(duì)于新型攻擊或者已存攻擊的變種類型就無(wú)能為力了。故我們需要進(jìn)一步發(fā)展和使現(xiàn)有的系統(tǒng),適應(yīng)現(xiàn)在層出不窮的攻擊方式,從而解決現(xiàn)有的入侵檢測(cè)系統(tǒng)無(wú)法滿足入侵檢測(cè)系統(tǒng)日志數(shù)量的快速增所造成的問(wèn)題。由于上述問(wèn)題的出現(xiàn),此論文在有關(guān)大數(shù)據(jù)的入侵檢測(cè)系統(tǒng)方面的應(yīng)用進(jìn)行了有深度的研究。通過(guò)解析現(xiàn)有的有缺陷的頻繁項(xiàng)集挖掘算法,來(lái)主要發(fā)現(xiàn)并完善在現(xiàn)有分布式條件下的優(yōu)化算法,此論文選擇了當(dāng)前相對(duì)完善的Hadoop分布式平臺(tái)作為技術(shù)支持,由此提出完善分布式關(guān)聯(lián)規(guī)則算法的全... 

【文章來(lái)源】：西安理工大學(xué)陜西省

【文章頁(yè)數(shù)】：62 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop基本框架圖

圖 2-2 MapReduce 模型原理圖Figure 2-2 MapReduce Model Schematic圖 2-3 MapReducce 工作機(jī)制圖Figure 2-3 MapReducce Working Mechanism過(guò)程如下:端

7圖 2-3 MapReducce 工作機(jī)制圖Figure 2-3 MapReducce Working Mechanism具體執(zhí)行過(guò)程如下:(1)Map 端在進(jìn)行數(shù)據(jù)或信息的輸出時(shí)，Map 函數(shù)會(huì)運(yùn)用緩沖的途徑寫(xiě)到內(nèi)存，為了提高效率，同時(shí)會(huì)對(duì)寫(xiě)入內(nèi)容預(yù)排序。

【參考文獻(xiàn)】：
期刊論文
[1]PDMiner:基于云計(jì)算的并行分布式數(shù)據(jù)挖掘工具平臺(tái)[J]. 何清,莊福振,曾立,趙衛(wèi)中,譚慶.  中國(guó)科學(xué):信息科學(xué). 2014(07)
[2]MapReduce原理及其主要實(shí)現(xiàn)平臺(tái)分析[J]. 亢麗蕓,王效岳,白如江.  現(xiàn)代圖書(shū)情報(bào)技術(shù). 2012(02)
[3]一種基于數(shù)據(jù)挖掘的Snort系統(tǒng)的設(shè)計(jì)與應(yīng)用[J]. 魏德志,王奇光,林麗娜.  集美大學(xué)學(xué)報(bào)(自然科學(xué)版). 2011(05)
[4]基于數(shù)據(jù)挖掘技術(shù)的入侵檢測(cè)模型及實(shí)用分析[J]. 王彩榮,金碩.  微處理機(jī). 2010(01)
[5]數(shù)據(jù)挖掘技術(shù)在Snort IDS中的應(yīng)用[J]. 梁建營(yíng),王錚.  重慶工學(xué)院學(xué)報(bào)(自然科學(xué)版). 2008(05)

碩士論文
[1]云環(huán)境下數(shù)據(jù)挖掘算法的研究與設(shè)計(jì)[D]. 何佩佩.東華大學(xué) 2016
[2]基于Snort的入侵檢測(cè)系統(tǒng)的改進(jìn)與實(shí)現(xiàn)[D]. 雷鵬瑋.北京郵電大學(xué) 2015
[3]云計(jì)算技術(shù)在協(xié)同過(guò)濾推薦中的應(yīng)用研究[D]. 況亞萍.中國(guó)科學(xué)技術(shù)大學(xué) 2014
[4]基于Hadoop云計(jì)算平臺(tái)的聚類算法并行化研究[D]. 張亞楠.內(nèi)蒙古科技大學(xué) 2013
[5]基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張國(guó)喜.東北大學(xué) 2013
[6]基于SNORT入侵檢測(cè)系統(tǒng)的單模式匹配算法研究[D]. 馮燕強(qiáng).廣西大學(xué) 2013
[7]基于HDFS的存儲(chǔ)技術(shù)的研究[D]. 王永洲.南京郵電大學(xué) 2013
[8]基于云計(jì)算的日志挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 曾杰.華中科技大學(xué) 2013
[9]基于入侵檢測(cè)的網(wǎng)絡(luò)安全研究[D]. 沈濤.重慶大學(xué) 2012
[10]基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D]. 朱珠.北京郵電大學(xué) 2008



本文編號(hào)：2951528