基于PC集群的并行FP-Growth算法的研究與實現(xiàn)
發(fā)布時間:2020-06-30 00:28
【摘要】:FP-Growth算法是當前挖掘頻繁項集算法中應(yīng)用最廣,并且不需要產(chǎn)生候選項集的頻繁項集挖掘算法。它通過對源數(shù)據(jù)庫的兩次掃描,將全部數(shù)據(jù)項信息壓縮到一個稱為FP-tree的數(shù)據(jù)結(jié)構(gòu)中,將數(shù)據(jù)庫頻繁模式的挖掘問題轉(zhuǎn)化成挖掘FP-tree的問題。然而,在處理海量數(shù)據(jù)時,生成的FP-tree數(shù)據(jù)結(jié)構(gòu)極為復(fù)雜,生成頻繁集并挖掘頻繁項集生成強關(guān)聯(lián)規(guī)則過程,對內(nèi)存和處理器要求極高。并行算法可以將計算任務(wù)合理地分配集群中的各個計算節(jié)點,因此對并行FP-Growth算法的研究在頻繁項集挖掘中具有十分重要的現(xiàn)實意義。 本文深入研究了并行計算理論、高性能計算集群和FP-Growth算法,對并行計算機的體系結(jié)構(gòu)、并行算法的設(shè)計方法、高性能計算集群的創(chuàng)建技術(shù)和FP-Growth算法各個步驟有良好的理解。為了實現(xiàn)FP-Growth算法的并行化,本文對并行FP-Growth的一些典型算法進行了分析,發(fā)現(xiàn)它們主要是基于硬件同構(gòu)并行計算平臺,對算法中計算節(jié)點負載均衡在硬件異構(gòu)并行計算平臺并未加于考慮,因此,這些算法在硬件異構(gòu)并行計算平臺中的性能不佳。為了實現(xiàn)PC集群下的并行FP-Growth算法,本文設(shè)計和實現(xiàn)了一個高性能計算集群,提出并實現(xiàn)了一種在硬件異構(gòu)計算平臺上的并行FP-Growth算法。實驗結(jié)果表明,使用本文所提出的算法后,在僅有三個計算節(jié)點的集群環(huán)境中加速比可達到2.3以上。
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2011
【分類號】:TP311.13;TP338.6
本文編號:2734581
【學(xué)位授予單位】:西安電子科技大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2011
【分類號】:TP311.13;TP338.6
【參考文獻】
相關(guān)期刊論文 前1條
1 畢建欣,張岐山;關(guān)聯(lián)規(guī)則挖掘算法綜述[J];中國工程科學(xué);2005年04期
本文編號:2734581
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2734581.html
最近更新
教材專著