本文關(guān)鍵詞：基于Spark的Apriori并行算法優(yōu)化實(shí)現(xiàn)

  更多相關(guān)文章： Spark 并行化 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Apriori

【摘要】：針對(duì)傳統(tǒng)Apriori算法處理速度和計(jì)算資源的瓶頸,以及Hadoop平臺(tái)上Map-Reduce計(jì)算框架不能處理節(jié)點(diǎn)失效、不能友好支持迭代計(jì)算以及不能基于內(nèi)存計(jì)算等問(wèn)題,提出了Spark下并行關(guān)聯(lián)規(guī)則優(yōu)化算法.該算法只需兩次掃描事務(wù)數(shù)據(jù)庫(kù),并充分利用Spark內(nèi)存計(jì)算的RDD存儲(chǔ)項(xiàng)集.與傳統(tǒng)Apriori算法相比,該算法掃描事務(wù)數(shù)據(jù)庫(kù)的次數(shù)大大降低;與Hadoop下Apriori算法相比,該算法不僅簡(jiǎn)化計(jì)算,支持迭代,而且通過(guò)在內(nèi)存中緩存中間結(jié)果減少I(mǎi)/O花銷(xiāo).實(shí)驗(yàn)結(jié)果表明,該算法可以提高關(guān)聯(lián)規(guī)則算法在大數(shù)據(jù)規(guī)模下的挖掘效率.
【作者單位】： 四川師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院;中國(guó)科學(xué)院計(jì)算技術(shù)研究所;四川省計(jì)算機(jī)研究院;
【關(guān)鍵詞】： Spark 并行化 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Apriori
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61373162) 四川省科技支撐項(xiàng)目(2014GZ007)
【分類(lèi)號(hào)】：TP311.13
【正文快照】： 0引言關(guān)聯(lián)規(guī)則挖掘是用來(lái)描述事物之間的聯(lián)系和挖掘事物之間的相關(guān)性,它是在數(shù)據(jù)庫(kù)中搜索兩個(gè)項(xiàng)目之間存在的顯示或者隱式關(guān)系,有助于管理和決策.Apriori算法是最為經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法,該算法的核心是生成最大項(xiàng)目集,通過(guò)迭代方式逐層搜索頻繁項(xiàng)集,直至沒(méi)有更大項(xiàng)目集生成

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 朱惠;;關(guān)聯(lián)規(guī)則中Apriori算法的研究與改進(jìn)[J];電腦知識(shí)與技術(shù);2014年12期

2 馬占欣;黃維通;陸玉昌;;相關(guān)度計(jì)算方法存在的問(wèn)題及修正[J];計(jì)算機(jī)工程;2007年11期

3 司徒浩臻;數(shù)據(jù)挖掘技術(shù)在圖書(shū)館信息服務(wù)中的應(yīng)用[J];現(xiàn)代圖書(shū)情報(bào)技術(shù);2005年10期

4 徐冬,王翰虎,陳梅;圖像挖掘技術(shù)在醫(yī)學(xué)CT圖像上的應(yīng)用[J];海南師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2004年04期

5 劉雨露;;基于Web使用挖掘的學(xué)生思想動(dòng)態(tài)分析[J];重慶三峽學(xué)院學(xué)報(bào);2007年03期

6 彭玉青,張紅梅,何華,顧軍華;數(shù)據(jù)挖掘技術(shù)及其在教學(xué)中的應(yīng)用[J];河北科技大學(xué)學(xué)報(bào);2001年04期

7 鄭濤;;數(shù)據(jù)挖掘在智能計(jì)算機(jī)輔助教學(xué)中的應(yīng)用[J];中國(guó)人民公安大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

8 吳志勇;吳躍;;數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用研究[J];計(jì)算機(jī)應(yīng)用;2005年S1期

9 劉海泉;姚全珠;;Web使用挖掘在電子商務(wù)中的應(yīng)用研究[J];計(jì)算機(jī)工程;2006年07期

10 方忠進(jìn);夏志華;周舒;;基于關(guān)聯(lián)規(guī)則挖掘的智能云防護(hù)技術(shù)研究[J];通信技術(shù);2014年08期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 萬(wàn)川南;幾種常用數(shù)據(jù)挖掘算法的應(yīng)用案例與分析[D];景德鎮(zhèn)陶瓷學(xué)院;2015年

2 孫磊;基于MVC模式的愛(ài)讀書(shū)網(wǎng)上售書(shū)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];黑龍江大學(xué);2015年

3 李世蓮;基于MVC模式的網(wǎng)上售書(shū)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2015年

，

本文編號(hào)：546895