隨著網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展,數(shù)據(jù)量呈現(xiàn)爆炸式增長,對(duì)數(shù)據(jù)挖掘技術(shù)提出了嚴(yán)峻的挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)在對(duì)這些海量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時(shí),呈現(xiàn)出效率低下,甚至無法完成等一系列問題。大數(shù)據(jù)、云計(jì)算技術(shù)的出現(xiàn),為上述問題提供了良好的解決方案,其分布式存儲(chǔ)、計(jì)算模式有效解決了內(nèi)存需求大、磁盤I/O多等諸多問題。關(guān)聯(lián)規(guī)則算法是數(shù)據(jù)挖掘中最經(jīng)典、最成熟的算法之一,其主要功能是從相互關(guān)聯(lián)的數(shù)據(jù)集中找出項(xiàng)與項(xiàng)之間的關(guān)系。本文基于Hadoop對(duì)經(jīng)典的關(guān)聯(lián)規(guī)則算法Apriori和Fp-Growth進(jìn)行并行化改進(jìn),主要研究內(nèi)容如下:對(duì)Apriori算法存在的生成大量的候選項(xiàng)集、多次掃描事務(wù)集、消耗大量的時(shí)間三方面缺陷進(jìn)行改進(jìn)。將剪枝策略運(yùn)用在MapReduce編程模型中,對(duì)原始Apriori算法進(jìn)行改進(jìn),有效降低了計(jì)算復(fù)雜度;在此基礎(chǔ)上引入HBase繼續(xù)對(duì)MR-Apriori算法改進(jìn),有效提高數(shù)據(jù)訪問效率。Fp-Growth算法是對(duì)Apriori算法的一種優(yōu)化,有效解決了Apriori算法中生成大量的候選項(xiàng)集、多次掃描事務(wù)集等弊端。但是,Fp-Growth算法在進(jìn)行海量數(shù)據(jù)挖掘、最小支持度較低時(shí),仍然存在著內(nèi)存... 

【文章來源】：南京郵電大學(xué)江蘇省

【文章頁數(shù)】：65 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

集群啟動(dòng)結(jié)果


本文編號(hào)：3116243