發(fā)布時(shí)間：2018-12-29 07:39

【摘要】：為了解決傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘算法在挖掘效率、算法擴(kuò)展性等方面無(wú)法適應(yīng)大數(shù)據(jù)挖掘需求的問(wèn)題,以經(jīng)典的關(guān)聯(lián)規(guī)則挖掘算法—Apriori算法為例,首先基于Hadoop平臺(tái)和MapReduce編程模型,實(shí)現(xiàn)算法的并行化。在此基礎(chǔ)上,基于事務(wù)縮減的思想對(duì)算法進(jìn)行優(yōu)化,進(jìn)一步提高算法的挖掘效率。搭建Hadoop集群環(huán)境,對(duì)算法的挖掘結(jié)果和挖掘效率進(jìn)行實(shí)驗(yàn)。通過(guò)并行挖掘結(jié)果驗(yàn)證、串行版與并行版效率對(duì)比、挖掘時(shí)間與節(jié)點(diǎn)數(shù)目的變化關(guān)系、挖掘時(shí)間與數(shù)據(jù)量的變化關(guān)系4組實(shí)驗(yàn),結(jié)果表明:文中實(shí)現(xiàn)的Apriori算法不僅能夠準(zhǔn)確挖掘頻繁項(xiàng)集,而且比傳統(tǒng)串行算法具有更高的挖掘性能和可擴(kuò)展性。該算法能夠更好地適應(yīng)大數(shù)據(jù)集的挖掘要求,能夠?qū)崿F(xiàn)從大規(guī)模數(shù)據(jù)集中高效挖掘頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則。
[Abstract]:In order to solve the problem that the traditional association rules mining algorithm can not adapt to big data mining demand in mining efficiency and algorithm expansibility, taking the classical association rule mining algorithm-Apriori algorithm as an example, firstly, it is based on Hadoop platform and MapReduce programming model. The parallel algorithm is realized. On this basis, the algorithm is optimized based on the idea of transaction reduction to further improve the efficiency of the algorithm. The Hadoop cluster environment is built and the mining results and efficiency of the algorithm are tested. Through the verification of parallel mining results, the efficiency of serial version and parallel version is compared, the relationship between mining time and the number of nodes, and the relationship between time and data are explored in four groups of experiments. The results show that the proposed Apriori algorithm not only can mine the frequent itemsets accurately, but also has higher mining performance and scalability than the traditional serial algorithms. The algorithm can better meet the mining requirements of big data sets and can efficiently mine frequent itemsets and association rules from large-scale data sets.
【作者單位】： 南京大學(xué)信息管理學(xué)院;
【基金】：國(guó)家自科基金面上項(xiàng)目(71473114)
【分類(lèi)號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄒汪平;;一種基于網(wǎng)絡(luò)安全控制的蜂群算法應(yīng)用研究[J];吉林師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期

2 李向偉;曹博;;時(shí)間參數(shù)在HITS算法中的應(yīng)用及改進(jìn)[J];蘭州工業(yè)高等專(zhuān)科學(xué)校學(xué)報(bào);2006年02期

3 吳濤;彭篤學(xué);;一種改進(jìn)的直線段裁剪算法[J];湛江師范學(xué)院學(xué)報(bào);2008年03期

4 張瑞子;南琳;胡琨元;田景賀;;基于EPC Class-1 Gen-2標(biāo)準(zhǔn)的防沖突算法與改進(jìn)[J];計(jì)算機(jī)工程;2009年02期

5 黃超;周寧;倪佑生;;基于蟻群算法的攻擊圖分析[J];計(jì)算機(jī)工程;2009年18期

6 秦永彬;許道云;;警示傳播算法的原理分析及算法改進(jìn)[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期

7 郭毅可;韓銳;;云計(jì)算中的彈性算法:概要和展望[J];上海大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年01期

8 牛玉靜;唐棣;;雙步圓的反走樣生成算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年23期

9 肖璞;;XML索引更新算法的改進(jìn)[J];南京工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年03期

10 周駿;陳鳴;張佳明;;兩類(lèi)頻繁項(xiàng)算法在網(wǎng)絡(luò)流上的適用性評(píng)估[J];計(jì)算機(jī)工程;2011年16期

相關(guān)會(huì)議論文 前10條

1 黃紀(jì)武;毛澤華;李松濤;張錦雄;;SPMD并行查找算法的MPI實(shí)現(xiàn)[A];廣西計(jì)算機(jī)學(xué)會(huì)——2004年學(xué)術(shù)年會(huì)論文集[C];2004年

2 黃紀(jì)武;毛澤華;李松濤;張錦雄;;SPMD并行查找算法的MPI實(shí)現(xiàn)[A];廣西計(jì)算機(jī)學(xué)會(huì)2004年學(xué)術(shù)年會(huì)論文集[C];2004年

3 符麗錦;覃華;鄧海;孫欣;;一種改進(jìn)的Apriori算法的研究[A];廣西計(jì)算機(jī)學(xué)會(huì)2012年學(xué)術(shù)年會(huì)論文集[C];2012年

4 王東鋒;王軍民;陳英武;;模糊定性仿真理論研究與算法實(shí)現(xiàn)[A];'2000系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2000年

5 趙唯;;晶粒度評(píng)級(jí)的改進(jìn)算法[A];中國(guó)圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國(guó)圖象圖形科技大會(huì)論文集[C];1998年

6 劉啟文;;可擴(kuò)展的圖形學(xué)算法演示系統(tǒng)的研究[A];’2004計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)議論文集[C];2004年

7 佘智;蔣泰;朱延生;;基于Type C協(xié)議的防沖突改進(jìn)算法[A];廣西計(jì)算機(jī)學(xué)會(huì)25周年紀(jì)念會(huì)暨2011年學(xué)術(shù)年會(huì)論文集[C];2011年

8 朱紹文;趙培;朱秋云;;基于pSPADE并行挖掘序列算法的研究[A];2003年中國(guó)智能自動(dòng)化會(huì)議論文集（下冊(cè)）[C];2003年

9 楊霞;;新的基于啟發(fā)式蟻群算法的QoS路由算法[A];廣西計(jì)算機(jī)學(xué)會(huì)2009年年會(huì)論文集[C];2009年

10 陳黎飛;姜青山;董槐林;;基于圖形輪廓的快速聚類(lèi)算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

相關(guān)博士學(xué)位論文 前10條

1 鐘永騰;基于近場(chǎng)MUSIC算法的復(fù)合材料結(jié)構(gòu)健康監(jiān)測(cè)研究[D];南京航空航天大學(xué);2014年

2 劉燕;入侵雜草優(yōu)化算法在陣列天線綜合中的應(yīng)用[D];西安電子科技大學(xué);2015年

3 苗義烽;突發(fā)事件下的列車(chē)運(yùn)行調(diào)度模型與算法研究[D];中國(guó)鐵道科學(xué)研究院;2015年

4 楊玉婷;頭腦風(fēng)暴優(yōu)化算法與基于視頻的非接觸式運(yùn)動(dòng)定量分析方法研究[D];浙江大學(xué);2015年

5 單美靜;求解非線性實(shí)代數(shù)系統(tǒng)的混合算法研究[D];華東師范大學(xué);2008年

6 邱劍鋒;人工蜂群算法的改進(jìn)方法與收斂性理論的研究[D];安徽大學(xué);2014年

7 潘磊;若干社區(qū)發(fā)現(xiàn)算法研究[D];南京大學(xué);2014年

8 陳俊波;頻繁閉合項(xiàng)集挖掘算法及應(yīng)用研究[D];浙江大學(xué);2009年

9 陸楠;關(guān)聯(lián)規(guī)則的挖掘及其算法的研究[D];吉林大學(xué);2007年

10 范洪博;快速精確字符串匹配算法研究[D];哈爾濱工程大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 安世勇;命題邏輯中隨機(jī)3-SAT問(wèn)題算法研究[D];西南交通大學(xué);2015年

2 畢曉慶;油氣探礦權(quán)競(jìng)爭(zhēng)性出讓系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)(北京);2015年

3 王明明;鐵路大機(jī)與線路固定設(shè)施間距檢測(cè)算法研究[D];西南交通大學(xué);2015年

4 李靜;基于視頻圖像序列的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D];寧夏大學(xué);2015年

5 劉貝玲;基于天地圖的租房平臺(tái)開(kāi)發(fā)及其關(guān)鍵技術(shù)研究[D];西南交通大學(xué);2015年

6 曹海鋒;IDS中串匹配臭算法并行優(yōu)化研究[D];西安建筑科技大學(xué);2015年

7 周攀;基于蟻群算法的山區(qū)高速鐵路隧道火災(zāi)應(yīng)急疏散最優(yōu)路徑研究[D];西南交通大學(xué);2015年

8 張路奇;基于改進(jìn)蟻群算法的WSN路由協(xié)議的研究[D];中國(guó)地質(zhì)大學(xué)(北京);2015年

9 王曉晨;入侵雜草優(yōu)化算法的應(yīng)用與改進(jìn)[D];長(zhǎng)安大學(xué);2015年

10 信琴琴;手勢(shì)控制和識(shí)別算法研究[D];閩南師范大學(xué);2015年

，

本文編號(hào)：2394511