本文選題：Apriori算法　切入點：頻繁項集　出處：《計算機應(yīng)用研究》2017年08期 　論文類型：期刊論文

【摘要】：Apriori算法是關(guān)聯(lián)規(guī)則挖掘中最經(jīng)典的算法之一,其核心問題是頻繁項集的獲取。針對經(jīng)典Apriori算法存在的需多次遍歷事務(wù)數(shù)據(jù)庫及需產(chǎn)生候選項集等問題,首先通過轉(zhuǎn)換存儲結(jié)構(gòu)、消除候選集產(chǎn)生過程等方法對Apriori算法進行優(yōu)化;同時,隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)量與日俱增,傳統(tǒng)算法面臨巨大挑戰(zhàn),將優(yōu)化的Apriori與Spark相結(jié)合,充分利用Spark的內(nèi)存計算、彈性分布式數(shù)據(jù)集等優(yōu)勢,提出了IABS(improved Apriori algorithm based on Spark)。通過與已有的同類算法進行比較,IABS的數(shù)據(jù)可擴展性和節(jié)點可擴展性得以驗證,并且在多種數(shù)據(jù)集上平均獲得了23.88%的性能提升,尤其隨著數(shù)據(jù)量的增長,性能提升更加明顯。
[Abstract]:Apriori algorithm is one of the most classical algorithms in association rule mining, its core problem is the acquisition of frequent itemsets. In view of the problems existing in classical Apriori algorithm, such as the need to traverse the transaction database multiple times and generate candidate itemsets, the storage structure is firstly transformed. At the same time, with the arrival of big data era, the amount of data is increasing, the traditional algorithm is facing a huge challenge, the optimized Apriori and Spark are combined to make full use of the memory computing of Spark. Based on the advantages of resilient distributed data sets, the paper proposes IABS(improved Apriori algorithm based on sparkler. By comparing the data extensibility and node extensibility of IABS(improved Apriori algorithm based on Sparkson, we can verify the extensibility of IABS(improved and node extensibility, and get an average performance improvement of 23.88% on a variety of data sets. Especially with the increase of data, the performance improvement is more obvious.
【作者單位】： 國防科學(xué)技術(shù)大學(xué)計算機學(xué)院;
【基金】：國家“863”計劃資助項目(2014AA01A302)
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 張玉強;于鳳全;金立峰;朱曉飛;;Apriori算法在雷達故障診斷系統(tǒng)中的應(yīng)用研究[J];電腦知識與技術(shù);2011年07期

2 李陽;朱宗勝;;基于優(yōu)化Apriori算法的入侵檢測系統(tǒng)模型設(shè)計[J];計算機安全;2009年11期

3 王冬秀;胡迎春;李輝;;改進的Apriori算法在股票分析中的應(yīng)用研究[J];科技通報;2013年03期

4 高琰;王臺華;郭帆;余敏;;應(yīng)用非迭代Apriori算法檢測分布式拒絕服務(wù)攻擊[J];計算機應(yīng)用;2011年06期

5 鄭麟;;一種直接生成頻繁項集的分治Apriori算法[J];計算機應(yīng)用與軟件;2014年04期

6 陶榮;;基于Apriori算法在學(xué)生信息管理系統(tǒng)中的應(yīng)用與研究[J];計算機光盤軟件與應(yīng)用;2012年21期

7 明勇;;基于數(shù)據(jù)挖掘的Apriori算法在入侵檢測中的應(yīng)用[J];電腦知識與技術(shù);2005年35期

8 肖桂艷;周滿元;;Apriori算法在基于網(wǎng)絡(luò)入侵檢測系統(tǒng)中的應(yīng)用[J];微計算機信息;2010年06期

9 吳昊;李軍國;;一種改進的Apriori算法在交通信息化中的應(yīng)用[J];信息化縱橫;2009年08期

10 甘超;陸遠;李娟;胡瑩;;基于Apriori算法的設(shè)備故障診斷技術(shù)的研究[J];組合機床與自動化加工技術(shù);2014年01期

相關(guān)會議論文 前7條

1 劉擎;劉云濤;羅翌;;關(guān)聯(lián)規(guī)則挖掘Apriori算法在當(dāng)代名老中醫(yī)流感醫(yī)案挖掘中的應(yīng)用及改進探討[A];2012中國中西醫(yī)結(jié)合學(xué)會急救醫(yī)學(xué)專業(yè)委員會學(xué)術(shù)年會論文集[C];2012年

2 陳波;董鵬;邵勇;;基于Apriori算法及其改進算法綜述[A];中國通信學(xué)會第五屆學(xué)術(shù)年會論文集[C];2008年

3 張彥;劉偉;;結(jié)合超市數(shù)據(jù)的關(guān)聯(lián)規(guī)則Apriori算法淺析[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（上冊）[C];2008年

4 楊宗波;宗容;�？�;彭廣軍;;入侵檢測中Apriori算法的研究與改進[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

5 梁昌勇;趙艷霞;;基于RFM分析的銀行信用卡客戶的行為評分模型——應(yīng)用自組織映射神經(jīng)網(wǎng)絡(luò)SOM和Apriori方法[A];第二屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議（NCIRCS-2005）論文集[C];2005年

6 高明;盛立;劉希玉;;關(guān)聯(lián)規(guī)則挖掘中Apriori算法的一種改進[A];山東省計算機學(xué)會2005年信息技術(shù)與信息化研討會論文集（二）[C];2005年

7 萬敏;潘笑;賓誼沅;;利用Apriori算法實現(xiàn)WEB的個性化服務(wù)[A];2005通信理論與技術(shù)新進展——第十屆全國青年通信學(xué)術(shù)會議論文集[C];2005年

相關(guān)碩士學(xué)位論文 前10條

1 趙宏利;改進的Apriori算法在大學(xué)生心理分析中的研究[D];華中師范大學(xué);2015年

2 王丹;基于云計算的關(guān)聯(lián)規(guī)則Apriori算法的研究與實現(xiàn)[D];南昌大學(xué);2015年

3 楊財英;Apriori算法及其在學(xué)生成績分析中的應(yīng)用研究[D];湖南大學(xué);2016年

4 吳博;Apriori算法挖掘技術(shù)在WANO人因數(shù)據(jù)中的應(yīng)用研究[D];南華大學(xué);2016年

5 侯建輝;基于改進Apriori算法的名老中醫(yī)治療高血壓病驗案挖掘研究[D];山東中醫(yī)藥大學(xué);2016年

6 王達明;基于云計算與醫(yī)療大數(shù)據(jù)的Apriori算法的優(yōu)化研究[D];北京郵電大學(xué);2015年

7 楊國英;泛在網(wǎng)下基于Apriori算法的移動群組的位置預(yù)測[D];南京郵電大學(xué);2013年

8 丁磊;一種改進的Apriori算法在手機評教系統(tǒng)中的研究[D];華中師范大學(xué);2014年

9 朱惠;關(guān)聯(lián)規(guī)則中Apriori算法的研究與改進[D];安徽理工大學(xué);2014年

10 王培吉;基于Apriori算法的關(guān)聯(lián)規(guī)則挖掘及改進[D];內(nèi)蒙古大學(xué);2003年

，

本文編號：1566682