本文選題：頻繁項集挖掘 + Eclat算法��； 參考：《太原理工大學(xué)》2017年碩士論文

【摘要】：隨著信息技術(shù)的發(fā)展,數(shù)據(jù)呈指數(shù)型增長,傳統(tǒng)數(shù)據(jù)挖掘算法對大規(guī)模數(shù)據(jù)的處理和應(yīng)用存在挖掘效率低,難以實現(xiàn)有效應(yīng)用等不足。數(shù)據(jù)的產(chǎn)生、收集、存儲和分析等都需要大數(shù)據(jù)技術(shù)的支持,因此如何將傳統(tǒng)數(shù)據(jù)挖掘算法與大數(shù)據(jù)技術(shù)有效結(jié)合成為當(dāng)前的研究熱點�，F(xiàn)有頻繁項集挖掘算法在處理大數(shù)據(jù)時,存在運行時間過長、內(nèi)存溢出等缺點,故將其與大數(shù)據(jù)技術(shù)有效結(jié)合,有助于進(jìn)一步實現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用。一方面,大數(shù)據(jù)技術(shù)使數(shù)據(jù)分析、處理速度加快,提高了算法運行效率;另一方面,通過分析數(shù)據(jù)的隱含價值,進(jìn)行應(yīng)用研究,為生產(chǎn)生活提供便利。本文基于頻繁項集挖掘算法和大數(shù)據(jù)技術(shù),探索效率更高的算法,并將本文算法應(yīng)用于現(xiàn)實中。具體而言,本文主要完成了以下三方面的研究:(1)Eclat算法改進(jìn)研究深入分析Eclat算法,結(jié)合頻繁項集自身性質(zhì),從候選集優(yōu)化和剪枝兩方面優(yōu)化算法。通過篩選候選集,剔除非候選集,減少交集運算的次數(shù),提出了改進(jìn)算法——Eclat’算法。在公開數(shù)據(jù)集上進(jìn)行實驗,分析算法性能,并驗證了算法的有效性。(2)改進(jìn)算法的并行化實現(xiàn)為了更高效地使用和分析數(shù)據(jù),本文基于MapReduce并行實現(xiàn)Eclat’算法,并在Hadoop集群上完成了相關(guān)實驗,實驗結(jié)果表明:并行實現(xiàn)的算法對大數(shù)據(jù)處理有較好的性能。(3)應(yīng)用研究對手機用戶數(shù)據(jù)進(jìn)行應(yīng)用研究,分析數(shù)據(jù)中各屬性間的關(guān)系,結(jié)果可向用戶更合理地推薦APP(application,手機軟件),最后對本課題在智慧城市中的應(yīng)用作了進(jìn)一步探索。
[Abstract]:With the development of information technology and exponential growth of data , the traditional data mining algorithm has the disadvantages of low mining efficiency , difficult realization of effective application , etc .

【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 阿爾伯特·梅耶;曼努爾·彼得羅·羅德里格斯·玻利瓦爾;奉瑩;王欣紅;陳葉盛;;管理智慧城市:關(guān)于智慧城市治理的文獻(xiàn)綜述[J];國際行政科學(xué)評論(中文版);2016年04期

2 奚加榮;;如何做好智慧城市的架構(gòu)設(shè)計?[J];通信世界;2015年17期

3 朱亞杰;李琦;馮逍;;基于大數(shù)據(jù)的智慧城市技術(shù)體系架構(gòu)研究[J];測繪科學(xué);2014年08期

4 劉彩蘋;毛建頻;毛建旭;屈衛(wèi)蘭;蔡玉武;;基于格的快速頻繁項集挖掘算法[J];湖南大學(xué)學(xué)報(自然科學(xué)版);2013年10期

5 徐嘉莉;楊洪軍;趙茂娟;樊云;;一種基于位運算的頻繁閉項集挖掘算法[J];計算機應(yīng)用研究;2013年11期

6 馮培恩;劉嶼;邱清盈;李立新;;提高Eclat算法效率的策略[J];浙江大學(xué)學(xué)報(工學(xué)版);2013年02期

7 宋剛;鄔倫;;創(chuàng)新2.0視野下的智慧城市[J];北京郵電大學(xué)學(xué)報(社會科學(xué)版);2012年04期

8 張李一;張守志;施伯樂;;一種不確定性數(shù)據(jù)頻繁模式的垂直挖掘算法[J];小型微型計算機系統(tǒng);2012年02期

9 郭景峰;張偉;柴然;;一種新的頻繁子圖挖掘算法[J];計算機工程;2011年20期

相關(guān)博士學(xué)位論文 前1條

1 夏大文;基于MapReduce的移動軌跡大數(shù)據(jù)挖掘方法與應(yīng)用研究[D];西南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前4條

1 劉文玲;物聯(lián)網(wǎng)環(huán)境下關(guān)聯(lián)規(guī)則算法在公交事故分析中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2016年

2 楊君薇;基于SPF的流數(shù)據(jù)離群點挖掘研究[D];太原理工大學(xué);2015年

3 黃雯;數(shù)據(jù)挖掘算法及其應(yīng)用研究[D];南京郵電大學(xué);2013年

4 楊仁華;關(guān)聯(lián)規(guī)則學(xué)習(xí)與反饋技術(shù)及其在網(wǎng)絡(luò)安全審計系統(tǒng)中的應(yīng)用研究[D];山東師范大學(xué);2010年

，

本文編號：1787293