本文關(guān)鍵詞：基于Spark的Apriori并行算法優(yōu)化實現(xiàn)

  更多相關(guān)文章： Spark 并行化 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Apriori

【摘要】：針對傳統(tǒng)Apriori算法處理速度和計算資源的瓶頸,以及Hadoop平臺上Map-Reduce計算框架不能處理節(jié)點失效、不能友好支持迭代計算以及不能基于內(nèi)存計算等問題,提出了Spark下并行關(guān)聯(lián)規(guī)則優(yōu)化算法.該算法只需兩次掃描事務(wù)數(shù)據(jù)庫,并充分利用Spark內(nèi)存計算的RDD存儲項集.與傳統(tǒng)Apriori算法相比,該算法掃描事務(wù)數(shù)據(jù)庫的次數(shù)大大降低;與Hadoop下Apriori算法相比,該算法不僅簡化計算,支持迭代,而且通過在內(nèi)存中緩存中間結(jié)果減少I/O花銷.實驗結(jié)果表明,該算法可以提高關(guān)聯(lián)規(guī)則算法在大數(shù)據(jù)規(guī)模下的挖掘效率.
【作者單位】： 四川師范大學(xué)計算機(jī)科學(xué)學(xué)院;中國科學(xué)院計算技術(shù)研究所;四川省計算機(jī)研究院;
【關(guān)鍵詞】： Spark 并行化 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Apriori
【基金】：國家自然科學(xué)基金資助項目(61373162) 四川省科技支撐項目(2014GZ007)
【分類號】：TP311.13
【正文快照】： 0引言關(guān)聯(lián)規(guī)則挖掘是用來描述事物之間的聯(lián)系和挖掘事物之間的相關(guān)性,它是在數(shù)據(jù)庫中搜索兩個項目之間存在的顯示或者隱式關(guān)系,有助于管理和決策.Apriori算法是最為經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法,該算法的核心是生成最大項目集,通過迭代方式逐層搜索頻繁項集,直至沒有更大項目集生成

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱惠;;關(guān)聯(lián)規(guī)則中Apriori算法的研究與改進(jìn)[J];電腦知識與技術(shù);2014年12期

2 馬占欣;黃維通;陸玉昌;;相關(guān)度計算方法存在的問題及修正[J];計算機(jī)工程;2007年11期

3 司徒浩臻;數(shù)據(jù)挖掘技術(shù)在圖書館信息服務(wù)中的應(yīng)用[J];現(xiàn)代圖書情報技術(shù);2005年10期

4 徐冬,王翰虎,陳梅;圖像挖掘技術(shù)在醫(yī)學(xué)CT圖像上的應(yīng)用[J];海南師范學(xué)院學(xué)報(自然科學(xué)版);2004年04期

5 劉雨露;;基于Web使用挖掘的學(xué)生思想動態(tài)分析[J];重慶三峽學(xué)院學(xué)報;2007年03期

6 彭玉青,張紅梅,何華,顧軍華;數(shù)據(jù)挖掘技術(shù)及其在教學(xué)中的應(yīng)用[J];河北科技大學(xué)學(xué)報;2001年04期

7 鄭濤;;數(shù)據(jù)挖掘在智能計算機(jī)輔助教學(xué)中的應(yīng)用[J];中國人民公安大學(xué)學(xué)報(自然科學(xué)版);2008年02期

8 吳志勇;吳躍;;數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用研究[J];計算機(jī)應(yīng)用;2005年S1期

9 劉海泉;姚全珠;;Web使用挖掘在電子商務(wù)中的應(yīng)用研究[J];計算機(jī)工程;2006年07期

10 方忠進(jìn);夏志華;周舒;;基于關(guān)聯(lián)規(guī)則挖掘的智能云防護(hù)技術(shù)研究[J];通信技術(shù);2014年08期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 萬川南;幾種常用數(shù)據(jù)挖掘算法的應(yīng)用案例與分析[D];景德鎮(zhèn)陶瓷學(xué)院;2015年

2 孫磊;基于MVC模式的愛讀書網(wǎng)上售書系統(tǒng)的設(shè)計與實現(xiàn)[D];黑龍江大學(xué);2015年

3 李世蓮;基于MVC模式的網(wǎng)上售書系統(tǒng)的設(shè)計與實現(xiàn)[D];北京工業(yè)大學(xué);2015年

，

本文編號：546895