【摘要】：針對(duì)關(guān)聯(lián)規(guī)則Apriori算法在信息爆炸時(shí)代面對(duì)海量數(shù)據(jù)時(shí),其計(jì)算周期大、算法效率低等問(wèn)題,將數(shù)據(jù)以特定的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ),降低數(shù)據(jù)遍歷次數(shù);在連接操作前進(jìn)行剪枝操作,并且改變剪枝操作的判定條件;同時(shí)將改進(jìn)算法IApriori與基于內(nèi)存的大數(shù)據(jù)并行計(jì)算處理框架Apache Spark相結(jié)合,提出了一種基于Spark的Apriori改進(jìn)算法(Spark+IAprior)。實(shí)驗(yàn)結(jié)果表明,Spark+IApriori算法在集群伸縮性和加速比方面都優(yōu)于Apriori算法。
[Abstract]:When the association rule Apriori algorithm is faced with massive data in the era of information explosion, its calculation period is large and the algorithm efficiency is low, so the data is stored in a specific data structure to reduce the number of data traversing. The pruning operation is performed before the connection operation, and the judging conditions of the pruning operation are changed. At the same time, an improved Apriori algorithm (Spark IAprior). Based on Spark is proposed by combining the improved algorithm IApriori with the memory based big data parallel computing framework Apache Spark. Experimental results show that the, Spark IApriori algorithm is superior to the Apriori algorithm in terms of cluster scalability and speedup.
【作者單位】： 太原科技大學(xué)電子信息工程學(xué)院;
【基金】：國(guó)家自然科學(xué)基金(41272374)
【分類號(hào)】：TP301.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 朱惠;;關(guān)聯(lián)規(guī)則中Apriori算法的研究與改進(jìn)[J];電腦知識(shí)與技術(shù);2014年12期

2 馬占欣;黃維通;陸玉昌;;相關(guān)度計(jì)算方法存在的問(wèn)題及修正[J];計(jì)算機(jī)工程;2007年11期

3 司徒浩臻;數(shù)據(jù)挖掘技術(shù)在圖書(shū)館信息服務(wù)中的應(yīng)用[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2005年10期

4 徐冬,王翰虎,陳梅;圖像挖掘技術(shù)在醫(yī)學(xué)CT圖像上的應(yīng)用[J];海南師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2004年04期

5 劉雨露;;基于Web使用挖掘的學(xué)生思想動(dòng)態(tài)分析[J];重慶三峽學(xué)院學(xué)報(bào);2007年03期

6 彭玉青,張紅梅,何華,顧軍華;數(shù)據(jù)挖掘技術(shù)及其在教學(xué)中的應(yīng)用[J];河北科技大學(xué)學(xué)報(bào);2001年04期

7 鄭濤;;數(shù)據(jù)挖掘在智能計(jì)算機(jī)輔助教學(xué)中的應(yīng)用[J];中國(guó)人民公安大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

8 吳志勇;吳躍;;數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用;2005年S1期

9 劉海泉;姚全珠;;Web使用挖掘在電子商務(wù)中的應(yīng)用研究[J];計(jì)算機(jī)工程;2006年07期

10 方忠進(jìn);夏志華;周舒;;基于關(guān)聯(lián)規(guī)則挖掘的智能云防護(hù)技術(shù)研究[J];通信技術(shù);2014年08期

相關(guān)碩士學(xué)位論文 前3條

1 李世蓮;基于MVC模式的網(wǎng)上售書(shū)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2015年

2 萬(wàn)川南;幾種常用數(shù)據(jù)挖掘算法的應(yīng)用案例與分析[D];景德鎮(zhèn)陶瓷學(xué)院;2015年

3 孫磊;基于MVC模式的愛(ài)讀書(shū)網(wǎng)上售書(shū)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2015年

，

本文編號(hào)：2309915