【摘要】：針對關(guān)聯(lián)規(guī)則Apriori算法在信息爆炸時代面對海量數(shù)據(jù)時,其計算周期大、算法效率低等問題,將數(shù)據(jù)以特定的數(shù)據(jù)結(jié)構(gòu)進行存儲,降低數(shù)據(jù)遍歷次數(shù);在連接操作前進行剪枝操作,并且改變剪枝操作的判定條件;同時將改進算法IApriori與基于內(nèi)存的大數(shù)據(jù)并行計算處理框架Apache Spark相結(jié)合,提出了一種基于Spark的Apriori改進算法(Spark+IAprior)。實驗結(jié)果表明,Spark+IApriori算法在集群伸縮性和加速比方面都優(yōu)于Apriori算法。
[Abstract]:When the association rule Apriori algorithm is faced with massive data in the era of information explosion, its calculation period is large and the algorithm efficiency is low, so the data is stored in a specific data structure to reduce the number of data traversing. The pruning operation is performed before the connection operation, and the judging conditions of the pruning operation are changed. At the same time, an improved Apriori algorithm (Spark IAprior). Based on Spark is proposed by combining the improved algorithm IApriori with the memory based big data parallel computing framework Apache Spark. Experimental results show that the, Spark IApriori algorithm is superior to the Apriori algorithm in terms of cluster scalability and speedup.
【作者單位】： 太原科技大學電子信息工程學院;
【基金】：國家自然科學基金(41272374)
【分類號】：TP301.6

【相似文獻】

相關(guān)期刊論文 前10條

1 朱惠;;關(guān)聯(lián)規(guī)則中Apriori算法的研究與改進[J];電腦知識與技術(shù);2014年12期

2 馬占欣;黃維通;陸玉昌;;相關(guān)度計算方法存在的問題及修正[J];計算機工程;2007年11期

3 司徒浩臻;數(shù)據(jù)挖掘技術(shù)在圖書館信息服務(wù)中的應(yīng)用[J];現(xiàn)代圖書情報技術(shù);2005年10期

4 徐冬,王翰虎,陳梅;圖像挖掘技術(shù)在醫(yī)學CT圖像上的應(yīng)用[J];海南師范學院學報(自然科學版);2004年04期

5 劉雨露;;基于Web使用挖掘的學生思想動態(tài)分析[J];重慶三峽學院學報;2007年03期

6 彭玉青,張紅梅,何華,顧軍華;數(shù)據(jù)挖掘技術(shù)及其在教學中的應(yīng)用[J];河北科技大學學報;2001年04期

7 鄭濤;;數(shù)據(jù)挖掘在智能計算機輔助教學中的應(yīng)用[J];中國人民公安大學學報(自然科學版);2008年02期

8 吳志勇;吳躍;;數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用研究[J];計算機應(yīng)用;2005年S1期

9 劉海泉;姚全珠;;Web使用挖掘在電子商務(wù)中的應(yīng)用研究[J];計算機工程;2006年07期

10 方忠進;夏志華;周舒;;基于關(guān)聯(lián)規(guī)則挖掘的智能云防護技術(shù)研究[J];通信技術(shù);2014年08期

相關(guān)碩士學位論文 前3條

1 李世蓮;基于MVC模式的網(wǎng)上售書系統(tǒng)的設(shè)計與實現(xiàn)[D];北京工業(yè)大學;2015年

2 萬川南;幾種常用數(shù)據(jù)挖掘算法的應(yīng)用案例與分析[D];景德鎮(zhèn)陶瓷學院;2015年

3 孫磊;基于MVC模式的愛讀書網(wǎng)上售書系統(tǒng)的設(shè)計與實現(xiàn)[D];黑龍江大學;2015年

，

本文編號：2309915