本文關(guān)鍵詞：基于HADOOP平臺的并行關(guān)聯(lián)規(guī)則算法研究　出處：《天津工業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 數(shù)據(jù)挖掘 關(guān)聯(lián)規(guī)則 Hadoop 矩陣

【摘要】：在數(shù)據(jù)挖掘研究領(lǐng)域中,關(guān)聯(lián)規(guī)則算法因其具有目的明確、實現(xiàn)靈活、應(yīng)用范圍廣泛等特點成為挖掘數(shù)據(jù)深層價值的重要手段。在大數(shù)據(jù)時代,如何能夠以更低的成本以及更高效準(zhǔn)確的從海量數(shù)據(jù)中挖掘出有價值的信息,以幫助決策者更加科學(xué)的制定決策已成為數(shù)據(jù)挖掘領(lǐng)域的新課題。云計算的出現(xiàn)為海量數(shù)據(jù)挖掘帶來了新的解決方案。Hadoop是由Apache基金會開源實現(xiàn)的一種云計算技術(shù),,它的關(guān)鍵技術(shù)是Hadoop分布式文件系統(tǒng)和MapReduce并行編程框架。在深入研究傳統(tǒng)數(shù)據(jù)挖掘算法的基礎(chǔ)上,如何結(jié)合新的框架對傳統(tǒng)據(jù)挖掘算法進(jìn)行改進(jìn)使之能夠處理海量數(shù)據(jù)挖掘問題,是數(shù)據(jù)挖掘領(lǐng)域的一個熱點。本文首先詳細(xì)研究了云計算、Hadoop的分布式文件系統(tǒng)HDFS以及MapReduce并行編程框架。然后,對數(shù)據(jù)挖掘和關(guān)聯(lián)規(guī)則概念進(jìn)行了闡述,并對關(guān)聯(lián)規(guī)則中的經(jīng)典的Apriori算法進(jìn)行了詳細(xì)的分析研究,并在此基礎(chǔ)之上給出了算法的一個具體實例,然后將Apriori算法結(jié)合Hadoop平臺進(jìn)行并行化實現(xiàn)。在以上研究內(nèi)容的基礎(chǔ)之上,通過引入矩陣的數(shù)據(jù)結(jié)構(gòu),根據(jù)矩陣的特點以及Apriori算法的性質(zhì)提出了基于Hadoop和矩陣的關(guān)聯(lián)規(guī)則挖掘改進(jìn)算法。最后,搭建Hadoop的實驗環(huán)境,用java編程語言完成改進(jìn)算法的代碼編寫并調(diào)試,通過采用不同的實驗數(shù)據(jù)集和實驗條件對算法進(jìn)行測試。通過實驗結(jié)果的對比分析,得出改進(jìn)算法具有更好的性能。
【學(xué)位授予單位】：天津工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宮雨,武森,尹阿東,高學(xué)東;加權(quán)關(guān)聯(lián)規(guī)則的改進(jìn)算法[J];計算機(jī)工程與應(yīng)用;2004年22期

2 王華秋,曹長修,王越;一種快速并行關(guān)聯(lián)規(guī)則算法研究及仿真[J];計算機(jī)應(yīng)用研究;2005年07期

3 陳濤;張瑋;;一個改進(jìn)的并行關(guān)聯(lián)規(guī)則算法研究[J];計算機(jī)技術(shù)與發(fā)展;2007年01期

4 張志鋒;鄧璐娟;劉秀梅;;關(guān)聯(lián)規(guī)則算法在郵政商函客戶關(guān)系中的應(yīng)用[J];計算機(jī)技術(shù)與發(fā)展;2008年12期

5 付寶君;;基于關(guān)聯(lián)規(guī)則算法的研究[J];科技信息(科學(xué)教研);2008年15期

6 王琳莎;林國龍;楊斌;;新的關(guān)聯(lián)規(guī)則算法在物流行業(yè)中的應(yīng)用[J];物流工程與管理;2009年03期

7 傅國強(qiáng);郭向勇;;動態(tài)加權(quán)關(guān)聯(lián)規(guī)則算法的分析與實現(xiàn)[J];計算機(jī)工程;2010年23期

8 張瑞雪;;改進(jìn)的關(guān)聯(lián)規(guī)則算法在課堂教學(xué)評價中的應(yīng)用[J];產(chǎn)業(yè)與科技論壇;2011年06期

9 李琦,宋國新;在線挖掘關(guān)聯(lián)規(guī)則算法的改進(jìn)[J];華東理工大學(xué)學(xué)報;2000年05期

10 辛志,劉少輝,史忠植;關(guān)聯(lián)規(guī)則算法的實現(xiàn)與改進(jìn)[J];計算機(jī)工程與應(yīng)用;2002年24期

相關(guān)會議論文 前4條

1 谷斌;靳艷峰;王磊;;關(guān)聯(lián)規(guī)則算法在郵政報刊征訂中的應(yīng)用研究[A];第十屆中國科協(xié)年會信息化與社會發(fā)展學(xué)術(shù)討論會分會場論文集[C];2008年

2 王爽;魏振鋼;;空間關(guān)聯(lián)規(guī)則算法在環(huán)境污染事故應(yīng)急處理系統(tǒng)中的應(yīng)用研究[A];第四屆中國智能計算大會論文集[C];2010年

3 譚軍;卜英勇;;一種具有反單調(diào)性的加權(quán)支持度-信任度框架[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

4 高杰;李紹軍;錢鋒;;數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則算法的研究及應(yīng)用[A];第十七屆全國過路控制會議論文集[C];2006年

相關(guān)碩士學(xué)位論文 前10條

1 李遠(yuǎn)博;基于關(guān)聯(lián)規(guī)則算法的旅游推薦研究[D];陜西師范大學(xué);2015年

2 畢巖;基于Hadoop的并行關(guān)聯(lián)算法的研究[D];南京郵電大學(xué);2015年

3 于娜;基于關(guān)聯(lián)規(guī)則算法的嫌疑程度關(guān)系發(fā)現(xiàn)方法研究[D];大連工業(yè)大學(xué);2015年

4 李自勝;基于動態(tài)KMV模型和時序關(guān)聯(lián)規(guī)則的商業(yè)銀行信用風(fēng)險研究[D];浙江財經(jīng)大學(xué);2016年

5 武霞;Hadoop平臺下基于聚類和關(guān)聯(lián)規(guī)則算法的工程車輛故障預(yù)測研究[D];太原科技大學(xué);2015年

6 張依歡;關(guān)聯(lián)規(guī)則算法在教學(xué)評價中的應(yīng)用研究[D];吉林大學(xué);2016年

7 李欣弘;基于關(guān)聯(lián)規(guī)則和情感分析的圖書推薦算法研究[D];吉林大學(xué);2016年

8 孫海艦;基于大數(shù)據(jù)的動車組維修成本關(guān)鍵技術(shù)的研究[D];北京交通大學(xué);2016年

9 鄧吉君;關(guān)聯(lián)規(guī)則算法在互聯(lián)網(wǎng)教育領(lǐng)域的研究及應(yīng)用[D];湖南師范大學(xué);2016年

10 薛良勇;基于決策樹的操作系統(tǒng)隱通道研究[D];中國礦業(yè)大學(xué);2016年

，

本文編號：1323538